Ошибка в выставлении счета пользователю от Anthropic на $16,6 млн

Искусственный интеллект стартапа Anthropic случайно выставил пользователю Claude, который использует бесплатный тариф, счет на сумму $16,6 млн. Разработчик из Южной Кореи под ником remy_notes сообщил об этой ситуации в социальной сети Threads. Первое уведомление о платеже на $1,6 млн пришло 7 июля, и программист сначала подумал, что это попытка мошенничества. Однако менее чем через сутки он получил второе письмо с требованием оплаты, уже на $16,6 млн. Платежная информация и ссылка вели на официальный сайт Anthropic и ее платежную систему Stripe, но при этом панель remy_notes показывала нулевое использование API, и на аккаунте не было тарифицируемых ключей. 8 июля его банковская карта была дважды отклонена из-за превышения лимита на одну транзакцию. Оба запроса на списание поступали от американского продавца с названием ANTHROP. Пользователь проверил все процессы на своем Mac mini, включая восемь ИИ-агентов, но ничего подозрительного не обнаружил. В качестве меры предосторожности он отменил подписку на Claude Max и заблокировал карту. На выяснение обстоятельств ушло четыре дня, за которые было отправлено около 18 писем в поддержку, некоторые из которых были автоматически сгенерированы ИИ-агентом Anthropic по имени Fin. Обращение затем было передано в отдел приватности компании, хотя система продолжала отправлять запросы на списание той же суммы, что привело к блокировке карты в банке. 12 июля Anthropic в ответном письме подтвердила, что произошла ошибка и что они не списали ни одного доллара. Причиной был назван неправильно настроенный автопополнение баланса, которое было отключено для предотвращения дальнейших проблем. В письме также указано, что доступ к аккаунту пользователя не был взломан. Однако объяснить, почему система выдала именно сумму $16,6 млн, поддержка не смогла. Этот инцидент не является единичным, поскольку в конце июня The Information сообщила о переплатах со стороны корпоративных клиентов Anthropic и OpenAI. Аудиторы из Vaudit проверили счета на общую сумму $34 млн в 60 организациях с марта по июнь и выявили избыточные начисления на сумму около $1,7 млн. Многие счета были связаны с использованием Claude Code от Anthropic, и Vaudit выявила несколько системных ошибок, включая случаи начислений по новым тарифам, когда использовалась старая версия, а также «штормы повторов», когда ИИ-агент многократно повторял неудачные запросы. После обращений компании начали возвращать средства, и около 80% переплат компенсировали Amazon, Google, Microsoft, Anthropic и OpenAI. Весной Anthropic уже сталкивалась с недовольством пользователей из-за лимитов Claude Code, и после этого компания удвоила их в результате сделки с SpaceX.