Дата-инженер

Selecty — аккредитованная IT-компания, оказывающая услуги в сфере IT-аутсорсинга.

Работаем на рынке более 10 лет, с 2013 года успешно решая задачи любой сложности в рамках цифровой трансформации для крупного бизнеса. Среди заказчиков Selecty более 300 компаний из списка "РБК Топ-500".

Задачи

• Разработка и поддержка ETL/ELT-процессов.
• Построение пайплайнов загрузки данных в PostgreSQL и S3.
• Разработка обработчиков на Python/PySpark.
• Оркестрация потоков данных с помощью Apache Airflow.
• Работа с потоковыми данными и интеграциями через Kafka.
• Участие в развитии архитектуры DWH/Data Lake.

Требования

• Опыт работы Data Engineer от 3 лет.
• Уверенное знание Python.
• Опыт работы с Spark / PySpark.
• Опыт построения DAG’ов в Apache Airflow.
• Опыт работы с S3 или S3-compatible storage.
• Опыт работы с PostgreSQL.
• Опыт работы с Kafka.
• Уверенный SQL.