Jun/2024 · término em validação
Compass UOL / Caixa Econômica Federal
PL DEVELOPER | DATA ENGINEERING | DATA SOLUTION ARCHITECT
Data final a validar · vínculo atual não confirmadoMais de 9 bilhões de registros processados e redução superior a 80% no tempo das cargas analíticas.
Ver responsabilidades, tecnologias e resultados
Atuação no projeto estratégico de modernização da plataforma analítica da Caixa Econômica Federal, participando da definição e implementação da arquitetura de dados responsável pela migração de processos legados para uma plataforma moderna baseada em Databricks, Apache Spark, Python e SQL Server.
Responsável pelo desenho, implementação e sustentação das camadas Raw e Bronze da arquitetura Lakehouse, estruturando pipelines de ingestão, validação, transformação e disponibilização de grandes volumes de dados provenientes de sistemas legados, garantindo governança, rastreabilidade, qualidade e escalabilidade.
Participei da modernização de processos originalmente executados em ambiente Mainframe (COBOL), contribuindo para a migração para uma arquitetura distribuída em nuvem, reduzindo significativamente o tempo de processamento e aumentando a disponibilidade das informações para consumo analítico.
Atuei em conjunto com arquitetos de soluções, especialistas de negócio, analistas e engenheiros de dados na definição da estratégia de modernização da plataforma analítica, assegurando integração entre sistemas legados e tecnologias modernas de processamento distribuído.
Também contribui para iniciativas de Pesquisa & Desenvolvimento e Inteligência Artificial, apoiando estudos relacionados à preparação de datasets, qualidade de dados, modelos analíticos, Machine Learning e evolução contínua de soluções baseadas em IA aplicadas ao ambiente corporativo.
Além do desenvolvimento dos pipelines, participei da implantação de práticas de CI/CD, Infraestrutura como Código (Terraform), automação de deploy utilizando GitHub Actions, padronizando ambientes, reduzindo erros operacionais e acelerando o ciclo de entrega das soluções.
Responsabilidades
- Arquitetura de Data Lakehouse.
- Desenvolvimento de pipelines ETL/ELT em larga escala.
- Modelagem de dados (Raw, Bronze, Silver e Gold).
- Processamento distribuído utilizando Apache Spark.
- Desenvolvimento em Python e PySpark.
- Databricks.
- Azure Data Factory.
- SQL Server, PostgreSQL e Oracle.
- Performance e otimização de consultas.
- Governança e Qualidade de Dados.
- Arquitetura de integração entre sistemas legados e Cloud.
- CI/CD utilizando Terraform, GitHub Actions
- Metodologias Ágeis (Scrum/Kanban).
- Apoio técnico em iniciativas de Inteligência Artificial.
Resultados declarados no currículo
- Participação na modernização da plataforma analítica da Caixa Econômica Federal.
- Processamento superior a 9 bilhões de registros.
- Redução superior a 80% no tempo de processamento das cargas analíticas.
- Redução de aproximadamente 16 horas para cerca de 1 hora nas principais cargas do ambiente analítico.
- Redução do processamento de arquivos TXT de aproximadamente 24 horas para cerca de 3h45.
- Estruturação da arquitetura inicial do ambiente Lakehouse utilizada pelas camadas posteriores do projeto.
- Implantação de práticas de automação, governança e qualidade de dados para suportar um ambiente analítico corporativo de missão crítica.