Слогер Создать блог
AI

Как сократить счёт за AI на 98%: разбор кейса Amazon с моделью, которая не умеет писать

Amazon перевёл разметку внутренних тикетов с большой языковой модели на узкую «модель решений». Цена одного тикета упала с $0,0222 до $0,0005 — и это повод проверить, где вы платите за болтовню.

Внутри Amazon есть огромная тикетная система: эскалации от клиентов, запросы на мощности, алерты, находки по безопасности. Каждый тикет нужно отнести к одной из 20 меток. Это делала Claude Sonnet 4.6 — большая и умелая языковая модель. Её заменили на Strands Decider, «модель решений», которую Amazon выпустила примерно за месяц до публикации кейса.

Strands Decider не генерирует текст. Совсем. На вход — состояние (сам тикет), вопрос и список вариантов. На выход — вероятность по каждому варианту плюс оценка уверенности. Всё, больше она ничего не умеет.

Цифры из инженерного поста: $0,0222 за тикет против примерно $0,0005. На миллионе тикетов это $22 200 против $500 — сами авторы называют это «примерно в 44 раза дешевле» и сокращением на 98%. Среднее время вызова упало с 4 215 мс до 897 мс. Входных токенов на тикет стало 2 009 вместо 6 554, выходных — один вместо 170.

Почему это касается не только Amazon

У большинства команд, которые хоть раз подключали AI к продукту, где-то висит вызов большой модели на задаче, которая сводится к выбору из списка. Категория обращения. Приоритет. Да или нет. Нужен ли человек. Маршрутизация в нужную очередь.

Аналогия, которая хорошо ложится на этот случай: вы наняли юриста разбирать входящую почту по 20 лоткам. Разберёт отлично. Ещё и служебную записку по каждому письму напишет, хотя никто не просил. И берёт по часам. Мелкая модель — это обученный клерк: меморандумов не пишет, кладёт письма в лотки быстро и дёшево, и честно говорит, когда не уверен.

Как в это попадают

Мне эта история знакома по своему опыту тимлида. Нужно, чтобы работало к пятнице. Большая модель доводит до результата за вечер: промпт, ключ, готово — выкатываем.

И оно работает. Вот здесь и ловушка. Пункта «проверить, не стала ли задача простой» нет в роадмапе ни у кого. Так юрист два года сортирует почту, а счёт за токены растёт вместе с объёмом.

Ценное в кейсе Amazon — не модель. Ценно то, что кто-то вернулся и посмотрел на давно работающее решение.

Что не сходится

Замечания справедливые, часть из них — из комментариев на Hacker News.

  1. Они продают этот продукт. Кейс опубликован в блоге Amazon и рассказывает о модели Amazon. Это не делает цифры ложными, но перед нами ещё и запуск продукта, а не только инженерная история.
  2. Нет метрик точности. В посте сказано, что новая модель «обошла production-Sonnet на отдельном наборе наших тикетов». Ни precision, ни recall, ни размера выборки. Фраза «справилась так же хорошо» несёт здесь всю нагрузку.
  3. «Миллионы долларов» — это прогноз. Объём тикетов не раскрыт, поэтому проверить арифметику нельзя.
  4. Есть варианты дешевле. Резонный вопрос из обсуждения: почему не маленькая LLM и не обычный классификатор вроде BERT, которым такие задачи решают годами.
  5. Задачу пришлось подгонять под модель. Окно — 4 096 токенов. Все 20 меток переписали в критерии на одно-два предложения, а у длинных тикетов отбрасывают самые старые комментарии.

Сравнение подходов

ПараметрБольшая языковая модельМодель решенийКлассический классификатор
Что возвращаетТекст: метку, объяснение, рассуждениеВероятность по каждому варианту плюс уверенностьМетку и вероятность класса
Цена на 1 млн тикетов$22 200 (Sonnet 4.6, данные Amazon)около $500в кейсе не раскрыта; обычно дешевле вызовов LLM за счёт своей инфраструктуры
Задержка4 215 мс897 мсмиллисекунды, зависит от железа
Каталог метокМеняется свободно, хоть каждую неделюНадо переписать в короткие критерии, окно 4 096 токеновНужно переобучение под новый набор
Объяснение решенияЕстьНетНет
Когда братьЗадача новая и непонятная, нужен текстЗакрытый выбор из известного каталога, высокий объём, важна задержкаДавно известная задача со стабильным каталогом

Что проверить у себя

Порядок действий простой, и его стоит пройти по всем продуктам, где вы платите за инференс.

  1. Выпишите все места в коде и в процессах, где вызывается большая модель.
  2. По каждому задайте вопрос: ответ — это один пункт из фиксированного списка? Метка, маршрут, да/нет, приоритет.
  3. Если да — посмотрите на объём. Пара сотен вызовов в день: не трогайте, ваше время дороже сэкономленных токенов.
  4. Если объём большой — запустите дешёвый вариант параллельно и сравните ответы на реальном потоке, прежде чем переключаться.
  5. Заранее продумайте откат. У Amazon это трёхпозиционный конфиг-переключатель: старая модель, обе параллельно, новая. Возврат занимает, по их словам, 45 секунд.

Отдельно про параллельный запуск — это самый недооценённый пункт. Сравнение на живых данных стоит почти ничего, а спасает от переключения на модель, которая уверенно ошибается на редком типе тикетов.

Когда узкая модель не подойдёт

Авторы сами перечислили ограничения, и это самая полезная часть поста. Схема сработала потому, что задача — закрытый выбор из известного каталога, объём большой, а задержка старого пути имела значение.

Обратные случаи: нужен текст с объяснением для человека, каталог меняется каждую неделю, полезный контекст не влезает в несколько тысяч токенов. Тогда модель решений просто не сможет работать, сколько бы она ни стоила.

Вывод

Большие модели хороши, чтобы быстро стартовать. Дорого — забыть про них после старта. Разница в цене между «отсортировать письмо в лоток» и «написать по нему меморандум» на масштабе превращается в сумму с пятью нулями, и обнаруживается это обычно через год после запуска — когда кто-то наконец открывает счёт.

По материалам: career. Текст переработан редакцией Слогера.

← На главную

Рекламное место — Конец поста
Реклама · Слогер

Комментарии (1)

Войдите, чтобы комментировать.

Основная причина высоких счетов — оплата за токены, где стоимость растет пропорционально объему входного и выходного текста.
Личный опыт

Как довести до конца одно незаконченное дело: метод одной даты

Назвать брошенный проект конкретными словами, поставить реальную дату и договориться с кем-то, кто спросит один раз. Разбор простой механики, которая чаще срабатывает, чем очередной таск-менеджер.

Слогер 19.11.2026 ▲ 0
Карьера

Как автоматизировать отклики на вакансии: разбор автозаполнения заявок на Greenhouse, Lever и Ashby

Расширение для Chrome берёт на себя формы, которые вы заполняете десятый раз подряд, — но работает только на трёх системах найма и требует собственных ответов. Разбираем механику, цену и границы.

Слогер 18.11.2026 ▲ 0
Карьера

Как выбрать между двумя офферами на стажировку: разбор по шагам

Два оффера одновременно — хорошая проблема, которая всё равно выматывает. Вот порядок действий: приоритеты, реальные задачи, деньги после аренды, разговор с бывшим стажёром и честная просьба об отсрочке.

Слогер 18.11.2026 ▲ 0
Fluxs lenta
Реклама · fluxs.ru
Стартапы

Fluxs включён в реестр российского ПО Минцифры России

🇷🇺 **Fluxs официально включён в реестр российского ПО!** Наша платформа для управления бизнесом вошла в Единый реестр российских программ Минцифры России. Это важный этап развития Fluxs и новые возможности для сотрудничества с российскими компаниями, банками и организациями, заинтересованными в импортозамещении.

Слогер 17.11.2026 ▲ 0
Разработка

Как получить от клиента согласование сайта на staging: чек-лист приёмки

Устное «выглядит хорошо» в мессенджере не защищает никого: через месяц не вспомнить, что именно смотрели и на какой версии. Вот как превратить просмотр staging в нормальную запись о приёмке.

Слогер 17.11.2026 ▲ 0
Карьера

WARN Act: как работает закон о сокращениях и что делать, если уведомление не пришло

Федеральный WARN Act обязывает крупных работодателей предупреждать о закрытии предприятия или массовом сокращении за 60 дней. Разбираем пороги, исключения и порядок действий — на примере отрасли вывоза и переработки отходов, где сокращения легко пропустить.

Слогер 17.11.2026 ▲ 0
Fluxs lenta
Реклама · fluxs.ru
Карьера

Как читать WARN-уведомления о сокращениях: разбор календаря увольнений на 2027 год

Пересчёт уведомлений с датами вступления в силу в 2027 году дал 4 950 человек вместо 2 882 — и это всё ещё нижняя граница. Разбираем, откуда берётся разница в 42% и как не обмануться такой статистикой.

Слогер 17.11.2026 ▲ 0
Разработка

Заменит ли ИИ программиста: что показывают исследования и как выбрать между ИИ и разработчиком

Вопрос «зачем платить разработчику, если ИИ пишет код» построен на неверном представлении о работе программиста. Разбираем два исследования, цену такого заблуждения и практический чек-лист.

Слогер 17.11.2026 ▲ 0
Стартапы

Почему сотрудники забывают задачи и как это исправить | FLUXS

📌 **Почему сотрудники забывают поручения, даже когда всё записано?** Задача поставлена. Сотрудник записал. Срок прошёл. Результата нет. Такая ситуация встречается часто, и часто проблема не в дисциплине, а в отсутствии прозрачной системы управления задачами. Кто исполнитель? Какой срок? На каком этапе работа? 🚀 **FLUXS помогает управлять поручениями и выстраивать бизнес-процессы под правила вашей компании.** А встроенный ИИ-ассистент помогает создавать и настраивать процессы выполнения задач. 👉 Попробуйте конструктор бизнес-модели: https://fluxs.ru/konstruktor-biznes-modeli #FLUXS #УправлениеЗадачами #АвтоматизацияБизнеса #БизнесПроцессы

Слогер 16.11.2026 ▲ 1
Fluxs lenta
Реклама · fluxs.ru
Карьера

Как делиться опытом, если вы не эксперт: ловушка «об этом уже написали» и рабочие форматы

Мешает делиться знаниями не их дефицит, а мысль, что они недостаточно весомые. Разбираем, что считать полезным вкладом, как писать конкретно и с чего начать без давления.

Слогер 16.11.2026 ▲ 0