4 bilhões de linhas migradas de SQL para Azure Synapse com Power BI em tempo real

O ponto de partida foi tratar a migração como reengenharia, não como cópia. Em um banco columnstore distribuído como o Synapse, a escolha da chave de distribuição e do particionamento determina o desempenho. Analisamos volumes e padrões de consulta para escolher, tabela a tabela, entre distribuição por hash, replicada ou round-robin — o que evita a movimentação de dados que mata a performance em sistemas MPP.

Com a modelagem definida, construímos os pipelines de carga em massa no Azure Data Factory. Mover 4 bilhões de linhas exige paralelismo, controle de lotes e tolerância a falhas: estruturamos a ingestão para carregar grandes volumes de forma eficiente e reprocessável, sem comprometer janelas operacionais.

A integridade era inegociável. Para cada tabela, reconciliamos contagens de linhas, somas de verificação sobre colunas-chave e amostras entre origem e destino. Só consideramos uma carga concluída quando os números batiam — garantindo que nenhuma linha fosse perdida ou duplicada nos 4 bilhões de registros.

O desempenho veio da calibração fina: índices columnstore agrupados, estatísticas atualizadas e consultas T-SQL reescritas para aproveitar a distribuição. Consultas analíticas que levavam horas no legado passaram a responder em uma fração do tempo, e as cargas deixaram de degradar a operação.

Por fim, separamos o consumo analítico do transacional. Expusemos os dados por API e conectamos o Power BI à camada do Synapse, de modo que os dashboards ficassem rápidos sem competir por recursos com a operação. O resultado é uma plataforma de dados que escala com o crescimento do volume, em vez de ser limitada por ele.