Недавние исследования показывают, что способ выставления счетов за услуги искусственного интеллекта (ИИ) на основе токенов скрывает от пользователей реальную стоимость. Поставщики могут незаметно завышать расходы, манипулируя подсчётом токенов или добавляя скрытые шаги. В некоторых системах выполняются дополнительные процессы, которые не влияют на результат, но всё равно отражаются в счёте. Были предложены инструменты аудита, но без реального надзора пользователи продолжают платить больше, чем они осознают.
Как работает биллинг на основе токенов
В большинстве случаев то, за что мы платим при использовании чат-интерфейсов на базе ИИ, таких как ChatGPT-4o, измеряется в токенах: невидимых единицах текста, которые не заметны во время использования, но точно подсчитываются для целей выставления счетов. Хотя стоимость каждого обмена определяется количеством обработанных токенов, у пользователя нет прямого способа подтвердить подсчёт.Несмотря на наше (в лучшем случае) несовершенное понимание того, что мы получаем за купленный «токен», выставление счетов на основе токенов стало стандартным подходом среди поставщиков, основанным на, возможно, шатком предположении доверия.
Проблемы с подсчётом токенов
Токен не совсем то же самое, что слово, хотя часто выполняет аналогичную роль. Большинство поставщиков используют термин «токен» для описания небольших единиц текста, таких как слова, знаки препинания или фрагменты слов. Например, слово «невероятно» может быть подсчитано как один токен в одной системе, в то время как другая может разделить его на «un», «believ» и «able», увеличив таким образом стоимость.Эта система применяется как к тексту, который вводит пользователь, так и к ответу модели, причём цена основана на общем количестве этих единиц.Сложность заключается в том, что пользователи не видят этот процесс. Большинство интерфейсов не отображают количество токенов во время разговора, и способ расчёта токенов трудно воспроизвести. Даже если подсчёт отображается после ответа, уже слишком поздно, чтобы определить, был ли он справедливым, что создаёт несоответствие между тем, что видит пользователь, и тем, за что он платит.
Скрытые проблемы
Недавние исследования указывают на более глубокие проблемы:
- одно исследование показывает, как поставщики могут завышать цены, не нарушая при этом правил, просто завышая количество токенов способами, которые пользователь не может увидеть;
- другое исследование выявляет несоответствие между тем, что отображается в интерфейсах, и тем, за что фактически взимается плата, оставляя у пользователей иллюзию эффективности там, где её может и не быть;
- третье исследование раскрывает, как модели регулярно генерируют внутренние шаги рассуждений, которые никогда не показываются пользователю, но всё равно появляются в счёте.
Результаты описывают систему, которая кажется точной, с точными числами, подразумевающими ясность, но чья основная логика остаётся скрытой. Независимо от того, является ли это замыслом или структурным недостатком, результат остаётся прежним: пользователи платят за больше, чем они видят, и часто за больше, чем ожидают.
Предложения по улучшению
Исследователи из Института Макса Планка предлагают перейти на биллинг на основе подсчёта символов, а не токенов, утверждая, что это единственный подход, который даёт поставщикам повод честно сообщать об использовании. Они утверждают, что если цель — справедливое ценообразование, то привязка стоимости к видимым символам, а не к скрытым процессам, является единственным вариантом, который выдерживает проверку.Однако есть и дополнительные соображения:
- схема на основе символов может ввести дополнительную бизнес-логику, которая может быть выгодна поставщику;
- для перехода от системы токенов к более прозрачному текстовому методу выставления счетов может потребоваться законодательство;
- алгоритмы, подобные предложенным авторами, будут иметь свои собственные вычислительные затраты.
Авторы предоставляют код для своих теорий на GitHub.
Выводы
Помимо преимущества получения предоплаты от пользователей, валюта на основе скриптов (например, система «buzz» на CivitAI) помогает абстрагировать пользователей от истинной стоимости валюты, которую они тратят, или товара, который они покупают. Аналогично, предоставление поставщику свободы определять свои собственные единицы измерения ещё больше оставляет потребителя в неведении о том, на что он на самом деле тратит реальные деньги.Подобные меры, как и отсутствие часов в Лас-Вегасе, часто направлены на то, чтобы сделать потребителя безрассудным или безразличным к стоимости.Малопонятный токен, который можно потреблять и определять так многообразно, возможно, не является подходящей единицей измерения для потребления LLM — не в последнюю очередь потому, что расчёт результата LLM низкого качества на неанглийском языке может стоить во много раз больше токенов по сравнению с сеансом на английском языке.Однако вывод на основе символов, как предлагают исследователи из Института Макса Планка, скорее всего, будет благоприятствовать более сжатым языкам и наказывать естественно многословные языки. Поскольку визуальные индикаторы, такие как амортизирующий счётчик токенов, вероятно, сделали бы нас немного более расточительными в наших сеансах LLM, маловероятно, что такие полезные дополнения GUI появятся в ближайшее время — по крайней мере, без законодательных мер.