Data Engineer AWS - JR/PL
A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.
Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco.
Papéis e Responsabilidades:
- Desenvolver e manter pipelines de dados em tempo real e batch utilizando tecnologias AWS como Python, Airflow, Spark e Databricks.
- Implementar e otimizar processos de ETL/ELT para garantir a qualidade, integridade e consistência dos dados.
- Garantir a escalabilidade e alta disponibilidade dos pipelines, lidando com grandes volumes de dados.
- Projetar e implementar esquemas de dados para armazenar e consultar dados de forma eficiente.
- Desenvolver e otimizar consultas SQL complexas para extração e transformação de dados.
- Aplicar técnicas de transformação de dados para preparar os dados para análise e modelagem.
- Implementar mecanismos de monitoramento para identificar e resolver problemas de qualidade de dados.
- Implementar mecanismos de detecção de anomalias e alertas para garantir a integridade dos dados.
- Trabalhar em colaboração com cientistas de dados, analistas de negócios e outras equipes técnicas.
- Traduzir necessidades de negócio em requisitos técnicos para os pipelines de dados.
- Documentar e comunicar os processos de dados e as soluções implementadas.
Qualificações Essenciais:
- Experiência prática em Engenharia de Dados em AWS utilizando Python e Spark.
- Domínio de SQL e capacidade de depurar lógica complexa.
- Experiência com conceitos de integração de dados (ETL/ELT).
- Experiência na criação/operação de sistemas distribuídos e altamente disponíveis para extração, ingestão e processamento de grandes conjuntos de dados.
- Capacidade de interagir com usuários de negócios, entender suas demandas e traduzi-las em ações técnicas.
- Conhecimento e experiência com ferramentas e tecnologias de transformação de dados (ex: Spark SQL, Pandas).
- Capacidade de escrever, depurar, realizar testes unitários e testes de performance de processos de integração de dados.
- Habilidade para definir claramente os problemas de qualidade de dados e propor soluções.
- Comunicação eficaz com outros stakeholders técnicos e de negócio.
- Forte vontade de aprender e contribuir ativamente.
- Proficiência em Databricks, Unity Catalog e Open Meta Data.
- Conhecimento em segurança de dados e compliance (LGPD).
Qualificações Desejáveis:
- Experiência com tecnologias de armazenamento de dados como S3, Redshift ou DynamoDB.
- Experiência com desenvolvimento de APIs RESTful para integração de dados.
- Conhecimento de boas práticas de desenvolvimento e metodologias ágeis.
- Experiência com bancos de dados NoSQL.
- Familiaridade com conceitos de Machine Learning e Data Science.
Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade.
Vem fazer parte do Time Keyrus!
Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/
Desejamos boa sorte! 😊🚀
- Departamentos
- Data Integration
- Função
- Engenheiro de Dados
- Localizações
- Remoto
- Status remoto
- Remoto por completo
Uma cultura de igualdade
Diversidade 🏳🌈 e multiculturalismo 🌍são vivenciados na Keyrus: estamos em constante contato com pessoas de diferentes partes do mundo, trocamos conhecimentos, ideias e trabalhamos muito para entregar projetos de excelente qualidade.
Data Engineer AWS - JR/PL
Carregando formulário de candidatura
Já está trabalhando em Keyrus Brazil?
Vamos recrutar juntos e encontrar seu próximo colega.