GC Data Consulting
HomeProdutosCasosSobreDemos ao vivoBlog
Agendar diagnóstico

Início / Cases / Empresa de meios de pagamento

Plataformas de dados

Mais de 300 pipelines em uma plataforma modernizada.

Migração de uma operação legada e integração dos dados de uma empresa adquirida.

300+ DAGsOrquestração
DatabricksNova plataforma
Legados integradosMigração e continuidade

O desafio

O fluxo de ingestão legado em Python e DynamoDB era instável e difícil de manter. A aquisição de outra empresa trouxe a necessidade de integrar um segundo ambiente mantendo a operação ativa.

O que foi construído

Migração de pipelines para Databricks com PySpark, implantação de Apache Airflow e uso de Apache NiFi na integração do legado. O suporte ao ambiente anterior foi mantido durante a transição.

O resultado

Uma base de processamento e orquestração mais estruturada, com integração do ambiente adquirido e transição acompanhada.

DatabricksPySparkAirflowAWSNiFi

Resumo adaptado do case publicado pela GC Data. Resultados anteriores não constituem previsão para outros projetos.

Da referência ao seu projeto

Esse desafio se parece com o seu?

Conte o que precisa mudar na sua operação para avaliarmos o contexto.

Fatura de dados alta demais?Agendar diagnóstico