Data Engineer Pleno (Databricks / Spark / Python)
A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.
Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco.
Papéis e Responsabilidades:
Desenvolver e manter pipelines de ingestão de dados utilizando Autoloader (incremental, schema evolution e otimização de throughput).
Processar dados em larga escala utilizando Spark Structured Streaming e Spark SQL.
Aplicar boas práticas de engenharia de dados, incluindo particionamento e otimizações com Delta Lake.
Realizar análise e otimização de performance e custos em ambientes Databricks.
Implementar processos de Data Quality para garantir confiabilidade dos dados.
Utilizar Git para controle de versionamento, incluindo pull requests e boas práticas de desenvolvimento colaborativo.
Criar documentação técnica clara e organizada das soluções implementadas.
Colaborar com times de negócio, analytics e tecnologia para garantir que os dados estejam estruturados, acessíveis e seguros.
Qualificações Essenciais:
Experiência com engenharia de dados e processamento de grandes volumes de dados.
Conhecimento em Python, Apache Spark e Databricks.
Experiência na construção e manutenção de pipelines de dados escaláveis.
Conhecimento em Spark SQL e Structured Streaming.
Experiência com versionamento de código utilizando Git.
Serão considerados Diferenciais:
Experiência com metodologias ágeis (Scrum, Kanban, entre outras).
Conhecimento em arquitetura de dados moderna e melhores práticas de ETL/ELT.
Perfil autogerenciável, com forte capacidade de resolução de problemas e tomada de decisão em ambientes complexos.
Interesse em novas tecnologias e inovação em soluções de dados.
Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade.
Vem fazer parte do Time Keyrus!
Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/
Desejamos boa sorte! 😊🚀
- Localizações
- São Paulo
Uma cultura de igualdade
Diversidade 🏳🌈 e multiculturalismo 🌍são vivenciados na Keyrus: estamos em constante contato com pessoas de diferentes partes do mundo, trocamos conhecimentos, ideias e trabalhamos muito para entregar projetos de excelente qualidade.