Слогер Создать блог
Разработка

Почему локальная LLM режет контекст: три конфига, которые должны совпадать

Полмиллиона токенов в одном запросе помещаются на одну 3090 — если движок, прокси и агент договорились об одном числе. Разбор, как найти расхождение и что делать дальше.

Полмиллиона токенов в одном запросе — и локальная модель на одной 3090 нашла обе иголки: одну почти в начале, вторую на позиции 394 540. Упёрлось всё не в видеопамять и не в архитектуру модели, а в строчку конфига, где стояло 131072. Движок под ней держал 262144. Никто об этом не предупредил.

Вот это и есть главный практический вывод: потолок контекста, который вы чувствуете в работе, часто живёт в конфиге, а не в спецификации модели.

Кто в стеке объявляет контекст

Локальный стек — обычно несколько звеньев: движок инференса, прокси перед ним, агент, который ходит к прокси. Каждое звено хранит свою цифру и уверено, что остальные с ней согласны. Сверки нет, предупреждения тоже. Побеждает меньшее число — молча, без ошибки в логах.

СлойГде задаётсяЧто показываетЧто происходит при расхождении
Движок--max-context при запуске/health → max_contextРежет запросы выше своего потолка, отвечает 400
Прокси (llama-swap)свой конфигобъявленный размер окнаПрокидывает дальше то, что ему сказали
Агент (Hermes)context_lengthadvertised context_lengthТихо урезает до своего числа, и вы видите 131k

Проверка занимает меньше времени, чем чтение этого абзаца. Запросить /health у движка, посмотреть max_context. Потом найти, что агент печатает про свой context_length. Сравнить два числа. Если у агента меньше — вот и весь ваш потолок, независимо от того, что умеет модель.

Порядок действий

  1. Снять фактические числа со всех звеньев: движок, прокси, агент.
  2. Согласовать их на одном значении.
  3. Перезапустить движок (через nssm подъём занял около 40 секунд) и убедиться, что /health печатает новое число до отправки запроса.
  4. Отправить заведомо огромный промпт и проверить, что его отбивает с кодом 400 — значит лимит реально проверяется движком.

Флаги, которые сняли ограничение

Набор параметров запуска в том случае выглядел так:

  • --max-context 524288 — потолок, который движок объявляет и соблюдает.
  • --kv q4_0 — квантизация KV-кэша, без неё полмиллиона токенов просто некуда класть.
  • --kv-resident 32768 — сколько KV держать в памяти резидентно.
  • --rope-scaling yarn и --rope-scale 2 — растяжение позиционного кодирования за пределы обученного окна.
  • --yarn-orig-ctx 262144 — исходное обученное окно, от которого yarn считает растяжение.

Само по себе растяжение не даёт качества — оно даёт диапазон. Проверять его приходится иголками в стоге, о них ниже.

Что показал прогон

В один запрос ушло 509 084 токена при потолке 524 288. Тестовый запрос на 1,76 млн движок отбил с кодом 400 — лимит enforced на уровне движка, а не на бумаге.

Prefill занял 381 секунду, это 1336 токенов в секунду, то есть 6,4 минуты до первого токена. Зато повторные вопросы к тому же документу попадают в checkpoint и возвращаются почти мгновенно: замер на повторную отправку дал 0,12 секунды. Prefill — пошлина за документ, платится один раз.

Обе иголки, закопанные в промпт (около позиции 50 и около 394 540), вытащены точными. Вторая лежит далеко за обученным окном 262k, так что yarn на этой модели отработал по всему растянутому диапазону.

Память: ночь в BIOS

Полмиллиона токенов упёрлись в RAM. Четыре планки по 16 ГБ G.Skill во все слоты, 32 → 64 ГБ, видно 63,9. DOCP на 3600 не прошёл POST. Четыре dual-rank модуля под нагрузкой контроллера памяти потянули только 3400 — с этой частотой машина загрузилась, и Windows проверила все планки.

Ловушка, которая съела час: после неудачного POST BIOS в режиме «Auto» тихо переобучается на 2133. Смотришь на частоту, видишь мёртвые 2133 и начинаешь копать не туда. Первым делом проверьте, что DOCP всё ещё включён.

KV-кэш оказался не проблемой

Арифметика простая: 262k токенов при q4_0 — это 1,69 ГБ. Помещается резидентно, флаги стриминга на таком масштабе просто не нужны.

Посчитать до отправки

Калибровка на реальном документе: 3,11 символа на токен и 32,2 токена на строку реестра. Умножьте число строк в своём файле — и узнаете, влезет ли он, ещё до запроса. Оценка грубая, зато спасает от 400 через шесть минут ожидания.

Замеры TTFT

СценарийОкноRAMПервый токен
Свежий промпт на 10k, thinking включён131k32 ГБ7,62 с
Тот же промпт262k64 ГБ5,10 с
Повторный запрос к загруженному документу524k64 ГБ0,12 с

Удвоение памяти срезало 2,5 секунды, и окно побольше ответило первым токеном быстрее, чем меньшее днём ранее.

При чём тут RAG

RAG прижился во многом потому, что люди упирались в этот конфиг-потолок и читали его как потолок модели. Полмиллиона токенов с правильно настроенным rope scaling держат качество поиска — на конкретном движке и конкретной модели, оговорка важна.

Когда длинный контекст оправдан:

  • Один большой документ и много вопросов к нему. Prefill один раз, дальше checkpoint почти бесплатен.
  • Нужны связи между кусками текста, разнесёнными на сотни тысяч токенов — retrieval такие связи рвёт по определению.

А вот корпус из тысяч документов, к каждому из которых задают один-два вопроса, длинным контекстом кормить разорительно: 6,4 минуты prefill на каждый файл.

Типичные ошибки

  • Верить числу, которое печатает агент, и не заглядывать в /health.
  • Поднять --max-context, не согласовав среднее звено — движок умеет больше, а пользователь по-прежнему видит старое число.
  • Гоняться за частотой памяти после неудачного POST, не проверив DOCP.
  • Включать стриминг KV там, где кэш и так помещается в VRAM.

Если у вас локальный стек и есть подозрение, что контекст короче обещанного, начните с двух чисел: max_context из /health и advertised context_length у агента. Дальше решайте, какое из них вы готовы согласовать — и хватит ли на него RAM.

👍1

По материалам: career. Текст переработан редакцией Слогера.

← На главную

Рекламное место — Конец поста
Реклама · Слогер

Комментарии (3)

Войдите, чтобы комментировать.

Марьям Гусейнова 25.10.2026 07:56 ▲ 0
интересная статья
ольга гаврилова 26.10.2026 05:49 ▲ 0
познавательная статья
Лана Нилова 14.11.2026 05:42 ▲ 0
Полезная информация!
Личный опыт

Как довести до конца одно незаконченное дело: метод одной даты

Назвать брошенный проект конкретными словами, поставить реальную дату и договориться с кем-то, кто спросит один раз. Разбор простой механики, которая чаще срабатывает, чем очередной таск-менеджер.

Слогер 19.11.2026 ▲ 0
Карьера

Как автоматизировать отклики на вакансии: разбор автозаполнения заявок на Greenhouse, Lever и Ashby

Расширение для Chrome берёт на себя формы, которые вы заполняете десятый раз подряд, — но работает только на трёх системах найма и требует собственных ответов. Разбираем механику, цену и границы.

Слогер 18.11.2026 ▲ 0
Карьера

Как выбрать между двумя офферами на стажировку: разбор по шагам

Два оффера одновременно — хорошая проблема, которая всё равно выматывает. Вот порядок действий: приоритеты, реальные задачи, деньги после аренды, разговор с бывшим стажёром и честная просьба об отсрочке.

Слогер 18.11.2026 ▲ 0
Fluxs lenta
Реклама · fluxs.ru
Стартапы

Fluxs включён в реестр российского ПО Минцифры России

🇷🇺 **Fluxs официально включён в реестр российского ПО!** Наша платформа для управления бизнесом вошла в Единый реестр российских программ Минцифры России. Это важный этап развития Fluxs и новые возможности для сотрудничества с российскими компаниями, банками и организациями, заинтересованными в импортозамещении.

Слогер 17.11.2026 ▲ 0
Разработка

Как получить от клиента согласование сайта на staging: чек-лист приёмки

Устное «выглядит хорошо» в мессенджере не защищает никого: через месяц не вспомнить, что именно смотрели и на какой версии. Вот как превратить просмотр staging в нормальную запись о приёмке.

Слогер 17.11.2026 ▲ 0
Карьера

WARN Act: как работает закон о сокращениях и что делать, если уведомление не пришло

Федеральный WARN Act обязывает крупных работодателей предупреждать о закрытии предприятия или массовом сокращении за 60 дней. Разбираем пороги, исключения и порядок действий — на примере отрасли вывоза и переработки отходов, где сокращения легко пропустить.

Слогер 17.11.2026 ▲ 0
Fluxs lenta
Реклама · fluxs.ru
Карьера

Как читать WARN-уведомления о сокращениях: разбор календаря увольнений на 2027 год

Пересчёт уведомлений с датами вступления в силу в 2027 году дал 4 950 человек вместо 2 882 — и это всё ещё нижняя граница. Разбираем, откуда берётся разница в 42% и как не обмануться такой статистикой.

Слогер 17.11.2026 ▲ 0
Разработка

Заменит ли ИИ программиста: что показывают исследования и как выбрать между ИИ и разработчиком

Вопрос «зачем платить разработчику, если ИИ пишет код» построен на неверном представлении о работе программиста. Разбираем два исследования, цену такого заблуждения и практический чек-лист.

Слогер 17.11.2026 ▲ 0
Стартапы

Почему сотрудники забывают задачи и как это исправить | FLUXS

📌 **Почему сотрудники забывают поручения, даже когда всё записано?** Задача поставлена. Сотрудник записал. Срок прошёл. Результата нет. Такая ситуация встречается часто, и часто проблема не в дисциплине, а в отсутствии прозрачной системы управления задачами. Кто исполнитель? Какой срок? На каком этапе работа? 🚀 **FLUXS помогает управлять поручениями и выстраивать бизнес-процессы под правила вашей компании.** А встроенный ИИ-ассистент помогает создавать и настраивать процессы выполнения задач. 👉 Попробуйте конструктор бизнес-модели: https://fluxs.ru/konstruktor-biznes-modeli #FLUXS #УправлениеЗадачами #АвтоматизацияБизнеса #БизнесПроцессы

Слогер 16.11.2026 ▲ 1
Fluxs lenta
Реклама · fluxs.ru
Карьера

Как делиться опытом, если вы не эксперт: ловушка «об этом уже написали» и рабочие форматы

Мешает делиться знаниями не их дефицит, а мысль, что они недостаточно весомые. Разбираем, что считать полезным вкладом, как писать конкретно и с чего начать без давления.

Слогер 16.11.2026 ▲ 0