Data Engineer
Summary
Data Engineer maintaining and optimizing PostgreSQL databases and an integration bus for an information-communication system, building ETL/ELT pipelines, data marts, and analytics integrations with tools like Airflow, dbt, Pentaho, or Talend.
Про проєкт
Шукаємо Data Engineer для участі у проєкті з супроводу, адміністрування та оптимізації баз даних і компонентів інтеграційної шини інформаційно-комунікаційної системи. Робота охоплює забезпечення цілісності, доступності, безпеки та безперервності функціонування СУБД на базі PostgreSQL, а також розвиток ETL/ELT-процесів та аналітичних вітрин даних.
Що потрібно буде робити
Проєктувати та розвивати структуру баз даних (OLTP / OLAP)
Супроводжувати, адмініструвати та оптимізувати бази даних і серверні компоненти інтеграційної шини
Розробляти та актуалізувати регламенти резервного копіювання, відновлення та контролю продуктивності
Розробляти та підтримувати процеси ETL / ELT (автоматизація завантаження, очищення та трансформації даних)
Будувати та оптимізовувати вітрини даних (data marts) для аналітичних потреб
Інтегрувати дані із зовнішніх джерел (API, файли, сторонні системи)
Забезпечувати цілісність, консистентність та актуальність даних
Готувати контрольні звіти та перевірки якості даних
Оптимізовувати продуктивність запитів та структуру зберігання даних
Співпрацювати з аналітиками та BI-дизайнерами
Що ми очікуємо
Впевнене володіння SQL
Досвід розробки та супроводу баз даних
Розуміння принципів побудови сховищ даних (Data Warehouse)
Досвід реалізації ETL-процесів
Розуміння моделей даних (star schema, snowflake schema)
Досвід інтеграції даних з різних джерел
Уважність до якості даних та логіки обробки
Досвід роботи з PostgreSQL / MySQL / MS SQL / Oracle (або аналогами)
Досвід роботи з інструментами ETL (Airflow, dbt, Pentaho, Talend або подібними)
Базові знання Python або іншої мови для обробки даних
Досвід роботи з великими обсягами даних
Розуміння вимог аналітичної та управлінської звітності