Data Engineer
Summary
Data Engineer at Stratosphere working on a large bank project, building and maintaining ETL/ELT pipelines, data marts, and ML feature stores using Python, SQL, Greenplum, Apache Airflow, Apache Spark, and Trino.
В Стратосфере мы занимаемся разработкой программного обеспечения для банков, ритейла и телекома, сотрудничаем с Яндекс, МТС, ВКонтакте, Ингосстрах, Купер и др.
Мы дадим тебе возможность поработать на социально-значимых проектах, прокачать профессиональную экспертизу, украсить свое резюме и соблюсти work-life balance.
Мы – аккредитованная IT-компания, у нас можно работать удаленно из любого города страны.
Наша команда активно растет, поэтому сейчас мы в поиске опытного Data Engineer для работы над проектом крупного банка.
Нам важно:
- Профильный опыт работы в Data Engineering от 3х лет.
- Уверенное владение Python.
- Сильное знание SQL.
- Практический опыт работы с Greenplum.
- Опыт разработки и оркестрации пайплайнов в Apache Airflow.
- Опыт работы с Apache Spark.
- Опыт работы с Trino.
- Опыт построения витрин данных и витрин признаков для ML.
- Опыт разработки ETL/ELT-процессов.
- Опыт обработки больших объемов данных.
- Понимание особенностей подготовки данных для ML-моделей.
- Опыт оптимизации процессов обработки и трансформации данных.
Что нужно будет делать:
- Построение и развитие витрин данных и признаков для ML-моделей.
- Разработка и сопровождение ETL/ELT-процессов для подготовки больших объемов данных.
- Подготовка данных для uplift-моделей, моделей склонности и скоринга офферов.
- Разработка пайплайнов регулярного расчета признаков и скоров.
- Оркестрация процессов подготовки данных и автоматизация запуска расчетов.
- Работа с большими объемами клиентских данных.
- Подготовка данных для ранжирования офферов на уровне «клиент × оффер».
- Обеспечение стабильности, воспроизводимости и производительности data-пайплайнов.
- Интеграция контура подготовки данных с ML-процессами и промышленным batch-scoring.
- Участие в построении end-to-end контура запуска кампаний.
- Оптимизация SQL-запросов и процессов обработки данных.
- Взаимодействие с ML-инженерами и аналитиками при подготовке признаков и наборов данных.
Почему у нас хорошо:
- Удаленная работа;
- Возможность карьерного роста;
- Интересные задачи на крупных проектах;
- Возможность подобрать проект по интересам;
- Насыщенная корпоративная жизнь;
- Курсы за счет компании.
Поднимайся к нам в Стратосферу!