Слогер Создать блог
Разработка

Как за 4 дня собрать скрейпер вакансий и не сойти с ума

Один запуск — 1939 IT-вакансий, 8 минут работы, 13 центов за выполнение. Рассказываю, что важнее кода и почему автоматизация рутины — про свободу, а не про экономию времени.

Четыре дня на скрейпер вакансий — и вот он собирает 1939 IT-позиций за 8 минут, стоит 13 центов за запуск и не падает. Звучит как очередная история успеха? Нет, честнее сказать: это история про то, зачем вообще автоматизировать рутину, даже если время не окупается буквально.

Зачем это делать, если не окупается?

Автор проекта вручную проверял LinkedIn и государственный портал вакансий каждую неделю. Двадцать-тридцать минут на одно погружение. Повторяющееся, выматывающее, легко забыть. Поэтому он собрал скрейпер, который делает всё сам. Результаты — в цифрах выше.

«Я бы сделал это снова, даже если бы сэкономленное время никогда не догнало время, потраченное на разработку», — говорит автор. Это и есть главный аргумент. Дело не в минутах, а в том, что мозг освобождается от задачи. Не нужно помнить, не нужно заставлять себя.

Что внутри: архитектура скрейпера

Выбор пал на связку Apify, Playwright и Node.js. Не потому что модно, а потому что надёжно. Архитектура разбита на модульные обработчики для каждого сайта: LinkedIn, MyCareersFuture и другие. Один оркестратор проходит по связке «сайты × ключевые слова × страницы». Обработка ошибок без «тихих» падений. Прокси ротирует Apify. Всё запускается в облаке, а не на ноутбуке.

Модульность — ключ. Чтобы добавить новый сайт, нужно около 50 строк кода по одному и тому же шаблону. Это не разовая поделка, а база для расширения.

Скрипт или система: в чём разница

КритерийПростой скриптСистема
Цельсделать один разработает без участия
Надёжностьможет упасть молчаобработка ошибок, повторные попытки
Измененияправить код под каждый сайтмодульные обработчики, добавить сайт = ~50 строк
Время жизнивчера работало, сегодня нетстабильно

Почему 70% времени ушло не на код

Самое сложное — не «достать данные», а сделать так, чтобы это работало потом. Селекторы меняются, страницы бывают пустыми, сеть отваливается. Отладка, прокси, краевые случаи — вот где живёт настоящая работа. Сам код скрейпинга — процентов 30. Остальное — доводка до production-grade. Разница между скриптом и системой — в этом.

Что бы я сделал иначе

Если бы я начинал заново, первым делом определил бы, как должны выглядеть результаты. Архитектура до понимания выхода — это путь к лишним итерациям. Тестирование с реальными прокси тоже стоило начать раньше: ротация ломалась в самый неподходящий момент. И да, документация — только живьём, ретроспективно её писать мучительно.

Что получилось хорошо

Правильные решения оказались простыми: модульная структура с первого дня, без ретрофита; и обработка ошибок, которая реально работает, а не просто try/catch для галочки. Плюс принцип «сначала работающий прототип, потом README». Доказать, что скрейпер собирает 1939 вакансий, а потом уже украшать.

Советы для тех, кто хочет автоматизировать

  • Не всякая задача требует ИИ. Обычный код побеждает хайп, если он просто работает.
  • Стройте на надёжность, а не на скорость. Скрейпер, который запустился 100 раз и один раз упал, хуже того, что отработал 10 раз идеально.
  • Открытый код — доверие, платный хостинг — ценность. Код можно выкладывать в открытый доступ, а зарабатывать на обслуживании.
  • Не спрашивайте, окупается ли время. Если мозг освободился — уже окупилось.

Вывод

Собрать инструмент, которым пользуешься сам, — это проверка на прочность. Ты решаешь реальные, а не выдуманные проблемы. И не важно, что за четыре дня можно было бы сэкономить лишь двадцать минут в неделю. Важно, что этих двадцати минут больше не существует.

По материалам: productivity. Текст переработан редакцией Слогера.

← На главную

Рекламное место — Конец поста
Реклама · Слогер

Комментарии (1)

Войдите, чтобы комментировать.

Shrouk 13.09.2026 16:44 ▲ 0
Это очень хорошая работа.
Личный опыт

Как довести до конца одно незаконченное дело: метод одной даты

Назвать брошенный проект конкретными словами, поставить реальную дату и договориться с кем-то, кто спросит один раз. Разбор простой механики, которая чаще срабатывает, чем очередной таск-менеджер.

Слогер 19.11.2026 ▲ 0
Карьера

Как автоматизировать отклики на вакансии: разбор автозаполнения заявок на Greenhouse, Lever и Ashby

Расширение для Chrome берёт на себя формы, которые вы заполняете десятый раз подряд, — но работает только на трёх системах найма и требует собственных ответов. Разбираем механику, цену и границы.

Слогер 18.11.2026 ▲ 0
Карьера

Как выбрать между двумя офферами на стажировку: разбор по шагам

Два оффера одновременно — хорошая проблема, которая всё равно выматывает. Вот порядок действий: приоритеты, реальные задачи, деньги после аренды, разговор с бывшим стажёром и честная просьба об отсрочке.

Слогер 18.11.2026 ▲ 0
Fluxs lenta
Реклама · fluxs.ru
Стартапы

Fluxs включён в реестр российского ПО Минцифры России

🇷🇺 **Fluxs официально включён в реестр российского ПО!** Наша платформа для управления бизнесом вошла в Единый реестр российских программ Минцифры России. Это важный этап развития Fluxs и новые возможности для сотрудничества с российскими компаниями, банками и организациями, заинтересованными в импортозамещении.

Слогер 17.11.2026 ▲ 0
Разработка

Как получить от клиента согласование сайта на staging: чек-лист приёмки

Устное «выглядит хорошо» в мессенджере не защищает никого: через месяц не вспомнить, что именно смотрели и на какой версии. Вот как превратить просмотр staging в нормальную запись о приёмке.

Слогер 17.11.2026 ▲ 0
Карьера

WARN Act: как работает закон о сокращениях и что делать, если уведомление не пришло

Федеральный WARN Act обязывает крупных работодателей предупреждать о закрытии предприятия или массовом сокращении за 60 дней. Разбираем пороги, исключения и порядок действий — на примере отрасли вывоза и переработки отходов, где сокращения легко пропустить.

Слогер 17.11.2026 ▲ 0
Fluxs lenta
Реклама · fluxs.ru
Карьера

Как читать WARN-уведомления о сокращениях: разбор календаря увольнений на 2027 год

Пересчёт уведомлений с датами вступления в силу в 2027 году дал 4 950 человек вместо 2 882 — и это всё ещё нижняя граница. Разбираем, откуда берётся разница в 42% и как не обмануться такой статистикой.

Слогер 17.11.2026 ▲ 0
Разработка

Заменит ли ИИ программиста: что показывают исследования и как выбрать между ИИ и разработчиком

Вопрос «зачем платить разработчику, если ИИ пишет код» построен на неверном представлении о работе программиста. Разбираем два исследования, цену такого заблуждения и практический чек-лист.

Слогер 17.11.2026 ▲ 0
Стартапы

Почему сотрудники забывают задачи и как это исправить | FLUXS

📌 **Почему сотрудники забывают поручения, даже когда всё записано?** Задача поставлена. Сотрудник записал. Срок прошёл. Результата нет. Такая ситуация встречается часто, и часто проблема не в дисциплине, а в отсутствии прозрачной системы управления задачами. Кто исполнитель? Какой срок? На каком этапе работа? 🚀 **FLUXS помогает управлять поручениями и выстраивать бизнес-процессы под правила вашей компании.** А встроенный ИИ-ассистент помогает создавать и настраивать процессы выполнения задач. 👉 Попробуйте конструктор бизнес-модели: https://fluxs.ru/konstruktor-biznes-modeli #FLUXS #УправлениеЗадачами #АвтоматизацияБизнеса #БизнесПроцессы

Слогер 16.11.2026 ▲ 1
Fluxs lenta
Реклама · fluxs.ru
Карьера

Как делиться опытом, если вы не эксперт: ловушка «об этом уже написали» и рабочие форматы

Мешает делиться знаниями не их дефицит, а мысль, что они недостаточно весомые. Разбираем, что считать полезным вкладом, как писать конкретно и с чего начать без давления.

Слогер 16.11.2026 ▲ 0