Ведущий инженер данных
Ищем DWH Engineer для команды VK Видео — одного из крупнейших и самых популярных видеосервисов в России!
Задачи
- Разрабатывать и поддерживать процессы обработки и доставки данных для аналитических и ML-команд
- Собирать витрины, оптимизировать
- Писать адхоки и выгрузки, раздебаги
- Собирать требования
Требования
- Понимание работы параллельных вычислений на кластере
- Опыт с Airflow, Spark, Hadoop, ClickHouse, YT (опционально)
- Знание Python: алгосы базовые (для понимания оптимального кода), классы и прочий сложный код (для чтения исходников и создания велосипедов типа операторов/сервисов)
- Знание Git и работа с кодом в команде (ревью)