Backend Engineer (Python / парсинг соцсетей / LLM)
Backend Engineer (Python / парсинг соцсетей / LLM)
Мы собираем и классифицируем тренды в нишах по соцсетям. Система парсит контент площадок, размечает его по тематикам и форматам через LLM и отдает результат в контент-планы экспертов.
Сейчас модуль работает на сторонних платных сервисах, запускается вручную и считает нишу несколько дней из-за лимитов на выгрузку. Задача инженера — перевести его на собственные парсеры и автоматический запуск, расширить список площадок и снизить стоимость прогона до близкой к нулю.
Проект находится на стадии MVP. Первые эксперты должны начать пользоваться продуктом в августе 2026 года, первые клиенты ожидаются ориентировочно в сентябре. Бэклог на следующие 6–12 месяцев ещё формируется, поэтому задачи и приоритеты будут уточняться по мере тестирования продукта.
Задачи
1. Писать и поддерживать парсеры соцсетей: Instagram*, TikTok, Threads, дальше Facebook*, X и другие площадки
2. Уходить со сторонних платных сервисов на Apify и затем на собственные решения, контролируя стоимость прогона
3. Сделать автозапуск пайплайна: расписания, очереди, ретраи, мониторинг и оповещения о сбоях
4. Классифицировать контент через LLM: тематики, форматы, признаки тренда
5. Собирать и вести пайплайны обработки на LangGraph или LangChain
6. Сравнивать модели по качеству и цене и переводить разметку на более выгодную
7. Проектировать хранение и витрины данных, из которых собираются контент-планы
8. Держать систему живой при изменениях на стороне площадок
Задачи приходят не как готовые технические задания, а как описание процесса и ожидаемого результата. Инженеру нужно самостоятельно уточнить ограничения, сравнить варианты реализации и выбрать решение, подходящее для текущего масштаба, а не для гипотетического.
Команда
Инженер будет работать напрямую с Product Manager и fullstack-инженерами платформы, которая потребляет данные трендвотчинга. CTO, отдельного архитектора и DevOps в команде пока нет, поэтому сотрудник должен самостоятельно принимать технические решения и доводить задачи до production.
Расширение технической команды планируется позднее.
Стек
Backend: Python, FastAPI, асинхронные процессы, очереди, планировщики, внешние API.
Парсинг: собственные парсеры, Apify, headless-браузеры, работа с прокси и лимитами.
LLM: Gemini API, Anthropic и сопоставимые провайдеры, LangGraph, LangChain, структурированный вывод.
Данные и инфраструктура: PostgreSQL, S3-совместимое хранилище, Railway, Git.
Стек обсуждаем: инженер может предложить другие инструменты, если они лучше подходят под задачи продукта.
Что важно
1. Коммерческий опыт разработки от пяти лет и работа на senior-уровне
2. Сильный Python и опыт запуска production-приложений
3. Промышленный опыт парсинга соцсетей: пагинация, лимиты, прокси, устойчивость к изменениям на стороне площадки
4. LangGraph или LangChain — обязательно, с production-опытом, а не только в прототипах
5. Практический опыт с Gemini API и другими моделями, умение сравнивать их по качеству и стоимости
6. Классификация и разметка контента через LLM, структурированный вывод, контроль качества результата
7. Работа с очередями, расписаниями, ретраями и идемпотентностью длительных процессов
8. Уверенное знание PostgreSQL и проектирование схем под аналитические данные
9. Контроль стоимости: понимание, из чего складывается цена прогона, и умение ее снижать
10. Понимание правовых ограничений и правил площадок, готовность обсуждать риски до реализации
AI-инструменты
В ежедневной разработке используем Claude Code для работы с кодовой базой, проверки гипотез и ускорения реализации.
Инженер должен понимать и проверять сгенерированный код, замечать ошибки и отвечать за качество итогового решения. Опыт с Claude Code будет преимуществом, но подойдет и системная работа с Cursor, GitHub Copilot, Windsurf или другими AI-инструментами.
Будет плюсом
— Apify, Playwright, Puppeteer
— Оценка качества LLM-систем: наборы тест