Senior Data Engineer | Azure Databricks
Somos uma empresa apaixonada por pessoas, pautamos sempre pela qualidade das nossas relações e pelo cuidado com cada membro do time.
Estamos buscando uma pessoa para fazer parte deste time que vem crescendo a cada dia, tanto em número quanto em desenvolvimento.
Encorajamos e acreditamos no nosso time e prezamos por fazer junto. Se você é essa pessoa, que tem um senso de equipe e que procura por desenvolvimento constante, a BIX é para você!
Vem fazer parte da BIX Tecnologia!
O que esperamos que você tenha:
- Experiência sólida em Engenharia de Dados, preferencialmente cinco anos ou mais.
- Pelo menos três anos de atuação prática com Databricks em produção.
- Certificação Databricks válida.
- Domínio de Python/PySpark, Spark e SQL.
- Experiência com desenho e implementação de arquiteturas diversas utilizando Cloud Azure e Databricks para processamento;
- Experiência com otimização e troubleshooting de jobs Spark.
- Experiência com ingestão incremental, idempotência e recuperação de falhas.
- Conhecimento prático de Azure Data Factory.
- Capacidade de definir soluções e orientar tecnicamente outros profissionais.
- Inglês para reuniões técnicas com clientes internacionais.
O que é desejável que você tenha:
- Streaming e Structured Streaming.
- CI/CD e infraestrutura como código.
- Observabilidade, qualidade e contratos de dados.
- Segurança, mascaramento e controle de acesso no Unity Catalog.
- Power BI.
- Certificações Azure.
O que você fará no dia a dia:
- Diagnosticar e otimizar workloads Spark e tabelas Delta de grande volume.
- Definir padrões de ingestão, reprocessamento, auditoria e qualidade.
- Implementar governança e segurança com Unity Catalog.
- Estruturar e desenhar decisões de arquitetura Lakehouse.
- Atuar diretamente com clientes e stakeholders internacionais.
- Orientar outros engenheiros e disseminar boas práticas.