Старший дата-инженер / DWH-инженер
Развиваем DWH Дзена на YTsaurus: от слоёв хранилища и data quality до сервисов, которыми ежедневно пользуются аналитики и продуктовые команды.
Что делаем:
- Хранилище: многослойная модель raw → ods → dds → cdm → stg → export со строгими соглашениями именования и data quality поверх ~120 пайплайнов с алертингом
- Дата-продукты: каталог таблиц и трекинг SLA доезда данных (lineage/governance), кастомный планировщик workflow, бот-интерфейс к сервисам DWH
- Работаем в монорепозитории (>1200 модулей-трансформаций) с автоматизированным code review через CI и дежурствами
Ищем инженера широкого профиля: данные + сервисы.
Задачи
- Развивать внутренние продукты команды: проектировать и писать сервисы, API, интеграции
- Проектировать и развивать модели данных по слоям хранилища
- Писать и оптимизировать трансформации на YQL и Python
- Поддерживать и расширять оркестрацию пайплайнов
- Развивать мониторинг качества данных и реагировать на инциденты
- Участвовать в ревью и поддерживать инженерную планку команды
Требования
- Уверенный Python: production-код, сервисы, а не только скрипты
- Крепкий SQL и понимание аналитических запросов и их оптимизации
- Опыт проектирования и поддержки бэкенд-сервисов / API / интеграций
- Понимание, как устроен слоёный DWH (модели данных, инкрементальная загрузка, партиционирование)
- Аккуратность к качеству данных и к соглашениям (именование, технические поля)