Внутри Amazon есть огромная тикетная система: эскалации от клиентов, запросы на мощности, алерты, находки по безопасности. Каждый тикет нужно отнести к одной из 20 меток. Это делала Claude Sonnet 4.6 — большая и умелая языковая модель. Её заменили на Strands Decider, «модель решений», которую Amazon выпустила примерно за месяц до публикации кейса.
Strands Decider не генерирует текст. Совсем. На вход — состояние (сам тикет), вопрос и список вариантов. На выход — вероятность по каждому варианту плюс оценка уверенности. Всё, больше она ничего не умеет.
Цифры из инженерного поста: $0,0222 за тикет против примерно $0,0005. На миллионе тикетов это $22 200 против $500 — сами авторы называют это «примерно в 44 раза дешевле» и сокращением на 98%. Среднее время вызова упало с 4 215 мс до 897 мс. Входных токенов на тикет стало 2 009 вместо 6 554, выходных — один вместо 170.
Почему это касается не только Amazon
У большинства команд, которые хоть раз подключали AI к продукту, где-то висит вызов большой модели на задаче, которая сводится к выбору из списка. Категория обращения. Приоритет. Да или нет. Нужен ли человек. Маршрутизация в нужную очередь.
Аналогия, которая хорошо ложится на этот случай: вы наняли юриста разбирать входящую почту по 20 лоткам. Разберёт отлично. Ещё и служебную записку по каждому письму напишет, хотя никто не просил. И берёт по часам. Мелкая модель — это обученный клерк: меморандумов не пишет, кладёт письма в лотки быстро и дёшево, и честно говорит, когда не уверен.
Как в это попадают
Мне эта история знакома по своему опыту тимлида. Нужно, чтобы работало к пятнице. Большая модель доводит до результата за вечер: промпт, ключ, готово — выкатываем.
И оно работает. Вот здесь и ловушка. Пункта «проверить, не стала ли задача простой» нет в роадмапе ни у кого. Так юрист два года сортирует почту, а счёт за токены растёт вместе с объёмом.
Ценное в кейсе Amazon — не модель. Ценно то, что кто-то вернулся и посмотрел на давно работающее решение.
Что не сходится
Замечания справедливые, часть из них — из комментариев на Hacker News.
- Они продают этот продукт. Кейс опубликован в блоге Amazon и рассказывает о модели Amazon. Это не делает цифры ложными, но перед нами ещё и запуск продукта, а не только инженерная история.
- Нет метрик точности. В посте сказано, что новая модель «обошла production-Sonnet на отдельном наборе наших тикетов». Ни precision, ни recall, ни размера выборки. Фраза «справилась так же хорошо» несёт здесь всю нагрузку.
- «Миллионы долларов» — это прогноз. Объём тикетов не раскрыт, поэтому проверить арифметику нельзя.
- Есть варианты дешевле. Резонный вопрос из обсуждения: почему не маленькая LLM и не обычный классификатор вроде BERT, которым такие задачи решают годами.
- Задачу пришлось подгонять под модель. Окно — 4 096 токенов. Все 20 меток переписали в критерии на одно-два предложения, а у длинных тикетов отбрасывают самые старые комментарии.
Сравнение подходов
| Параметр | Большая языковая модель | Модель решений | Классический классификатор |
|---|---|---|---|
| Что возвращает | Текст: метку, объяснение, рассуждение | Вероятность по каждому варианту плюс уверенность | Метку и вероятность класса |
| Цена на 1 млн тикетов | $22 200 (Sonnet 4.6, данные Amazon) | около $500 | в кейсе не раскрыта; обычно дешевле вызовов LLM за счёт своей инфраструктуры |
| Задержка | 4 215 мс | 897 мс | миллисекунды, зависит от железа |
| Каталог меток | Меняется свободно, хоть каждую неделю | Надо переписать в короткие критерии, окно 4 096 токенов | Нужно переобучение под новый набор |
| Объяснение решения | Есть | Нет | Нет |
| Когда брать | Задача новая и непонятная, нужен текст | Закрытый выбор из известного каталога, высокий объём, важна задержка | Давно известная задача со стабильным каталогом |
Что проверить у себя
Порядок действий простой, и его стоит пройти по всем продуктам, где вы платите за инференс.
- Выпишите все места в коде и в процессах, где вызывается большая модель.
- По каждому задайте вопрос: ответ — это один пункт из фиксированного списка? Метка, маршрут, да/нет, приоритет.
- Если да — посмотрите на объём. Пара сотен вызовов в день: не трогайте, ваше время дороже сэкономленных токенов.
- Если объём большой — запустите дешёвый вариант параллельно и сравните ответы на реальном потоке, прежде чем переключаться.
- Заранее продумайте откат. У Amazon это трёхпозиционный конфиг-переключатель: старая модель, обе параллельно, новая. Возврат занимает, по их словам, 45 секунд.
Отдельно про параллельный запуск — это самый недооценённый пункт. Сравнение на живых данных стоит почти ничего, а спасает от переключения на модель, которая уверенно ошибается на редком типе тикетов.
Когда узкая модель не подойдёт
Авторы сами перечислили ограничения, и это самая полезная часть поста. Схема сработала потому, что задача — закрытый выбор из известного каталога, объём большой, а задержка старого пути имела значение.
Обратные случаи: нужен текст с объяснением для человека, каталог меняется каждую неделю, полезный контекст не влезает в несколько тысяч токенов. Тогда модель решений просто не сможет работать, сколько бы она ни стоила.
Вывод
Большие модели хороши, чтобы быстро стартовать. Дорого — забыть про них после старта. Разница в цене между «отсортировать письмо в лоток» и «написать по нему меморандум» на масштабе превращается в сумму с пятью нулями, и обнаруживается это обычно через год после запуска — когда кто-то наконец открывает счёт.
Комментарии (1)
Войдите, чтобы комментировать.