Заставить языковую модель вести себя иначе можно двумя путями: положить инструкции и примеры прямо в промпт или дообучить её на примерах. Первый способ не трогает веса модели. Второй — переписывает их. Из этой разницы растёт почти всё остальное: скорость итераций, цена запроса, объём подготовки и то, как вы будете обновлять систему через полгода.
In-context learning: поведение задаётся в каждом запросе
Вы отправляете модели инструкции и, если нужно, несколько примеров прямо в контексте. Параметры остаются прежними. Поправили формулировку — сразу увидели результат, никакого обучения запускать не надо. Для прототипа, который надо показать завтра, это единственный разумный вариант.
Плата за гибкость вполне конкретная: токены. Каждый запрос тащит на себе весь текст инструкций и примеров, и провайдер считает их как обычный ввод. На десяти вызовах это незаметно, на миллионе — уже строка в бюджете. Плюс потолок контекстного окна: рано или поздно примеры просто перестанут помещаться, и поведение упрётся в этот лимит.
Когда подходит: задача быстро проверяется, инструкции часто меняются, нужно временное поведение без тренировки.
Fine-tuning: поведение записывается в веса
Здесь модель обучают на наборе примеров и обновляют параметры. Формат ответа, тон, узкая задача — всё это становится стабильнее, и на каждый вызов уже не нужно тащить километровые инструкции. В исходнике есть важная оговорка, которую часто забывают: дообученная модель поменьше может выдавать результат на уровне большой модели, которой просто дали примеры в промпте.
Цена другая. Собрать и вычистить данные. Провести обучение. Оценить, стало ли действительно лучше. Задеплоить новую версию — изменилась модель, значит, обычно нужен передеплой. Это не разовая акция, а процесс, который придётся повторять при каждом обновлении.
Промптовые правки, кстати, тоже требуют оценки и иногда аккуратно подобранных примеров. Просто без тренировки.
Сравнение по пунктам
| Критерий | In-context learning | Fine-tuning |
|---|---|---|
| Что меняется | Только промпт, веса не трогаем | Параметры модели |
| Скорость итерации | Правка промпта — сразу результат | Сбор данных, обучение, оценка, деплой |
| Стоимость запроса | Растёт: инструкции и примеры считаются каждый раз | Ниже: часть инструкций больше не нужна |
| Ограничения | Упирается в контекстное окно | Упирается в качество и объём данных |
| Часто меняющиеся факты | Плохо: факты придётся вставлять в каждый запрос | Плохо: каждое обновление — новый цикл обучения |
| Когда выбирать | Прототип, нестабильные инструкции, временное поведение | Нужен устойчивый формат, тон или узкий навык |
Третий вариант, который путают с дообучением
Retrieval. Факты, которые часто меняются, лучше не заучивать ни в промпте, ни в весах, а подтягивать из источника — базы знаний, справочника, внутренней вики. Обновили источник, и ответы обновились. Переобучение не нужно, деплой не нужен. Именно поэтому дообучение плохо годится как способ по умолчанию «скормить модели свежие данные»: каждое изменение потянет за собой подготовку примеров, оценку и выкатку новой версии.
Как выбирать: чек-лист
- Инструкции меняются каждую неделю или вы ещё не поняли, чего хотите от модели — берите промпт. Итерации почти бесплатны по времени.
- Нужен стабильный формат или тон на большом потоке однотипных запросов — считайте экономику fine-tuning: он снимает необходимость пихать примеры в каждый вызов.
- Ответ зависит от свежих данных — retrieval, и точка.
- Прикиньте стоимость токенов промпта на реальном объёме запросов. Иногда «дешёвый» in-context learning на масштабе обгоняет по цене обучение.
- Проверьте, есть ли у вас данные и бюджет на повторный деплой. Нет — не начинайте с fine-tuning.
Ошибки, которые стоят денег
- Думать, что примеры в промпте «запоминаются» навсегда и перестают занимать контекст. Нет. Каждый запрос платит за них заново.
- Считать in-context learning шагом обучения, который меняет веса модели. Это разные вещи, и путаница ломает все дальнейшие оценки стоимости.
- Тащить fine-tuning в задачу с часто меняющимися фактами.
- Сравнивать подходы только по качеству ответов, игнорируя стоимость промпта, лимит контекстного окна, сбор данных, оценку и передеплой.
Практический вывод
Смотрите на две вещи: нужно ли вам устойчивое изменение поведения или актуальная информация, и насколько важна цена промпта в каждом запросе. Устойчивый формат и узкий навык — fine-tuning, но с готовностью собирать данные и перевыкатывать модель. Часто меняющиеся инструкции и быстрый прототип — промпт. Свежие факты — retrieval. И почти всегда стоит начать с промпта: он даст ответ за час, а не за две недели, и покажет, нужна ли вообще тренировка.
Комментарии (1)
Войдите, чтобы комментировать.