📝 Turboalimentando Relatórios no Laravel: Integrando DuckDB e MySQL para ETL de Alta Performance

Introdução Link para o cabeçalho

Muitas aplicações Laravel sofrem com o mesmo gargalo: à medida que o banco de dados transacional (MySQL) cresce, a geração de relatórios complexos torna-se lenta e consome recursos preciosos, muitas vezes travando tabelas vitais para a operação. Para resolver isso, surge uma combinação poderosa: Laravel como orquestrador e DuckDB como motor analítico.

O que é o DuckDB? Link para o cabeçalho

O DuckDB é um banco de dados SQL analítico (OLAP) em processo. Diferente do MySQL, que é orientado a linhas (ideal para transações), o DuckDB é orientado a colunas e utiliza execução vetorial. Isso o torna incrivelmente rápido para processar agregações (SUM, COUNT, GROUP BY) em milhões de registros.

A Arquitetura: ETL “In-Process” Link para o cabeçalho

A estratégia consiste em usar o DuckDB para “puxar” os dados do MySQL, realizar as transformações pesadas (ETL) na memória e entregar o resultado pronto para o Laravel.

1. O Motor: Extensão mysql_scanner Link para o cabeçalho

O segredo da integração é a extensão oficial do DuckDB que permite conectar-se diretamente ao MySQL. O DuckDB não importa os dados para um arquivo intermediário primeiro; ele lê o stream de dados do MySQL e processa “on-the-fly”.

2. Implementação no Laravel Link para o cabeçalho

Existem duas formas principais de integrar:

1. Via CLI: Utilizando o binário do DuckDB através do componente Illuminate\Support\Facades\Process.

2. Via FFI (Foreign Function Interface): Utilizando bibliotecas PHP que se comunicam diretamente com a biblioteca compartilhada do DuckDB.

Exemplo Prático: Transformando a Query de Aging Link para o cabeçalho

Considere a query original com centenas de colunas de aging e cálculos de SLA. No MySQL, essa query precisa ler cada linha individualmente. No DuckDB, ele lê apenas as colunas necessárias.

O Script de ETL (SQL) Link para o cabeçalho

-- Preparação do ambiente
INSTALL mysql;
LOAD mysql_scanner;

-- Conexão transparente com o banco de produção
ATTACH 'host=127.0.0.1 user=admin password=secret db=producao' AS mysql_db (TYPE MYSQL);

-- Processamento Analítico
CREATE TABLE relatorio_final AS 
SELECT 
    pco_tarefa_id,
    cliente,
    -- Cálculo de aging otimizado usando funções nativas do DuckDB
    age(now(), data_inicio_tarefa) AS tempo_total,
    CASE 
        WHEN ponta = 'B' THEN 'NÃO'
        ELSE 'SIM'
    END AS estrategia_redes,
    delta_receita
FROM mysql_db.sua_tabela_gigante
WHERE finalized_at IS NULL;

-- Exportação ultra rápida para Parquet ou CSV
COPY relatorio_final TO 'storage/app/relatorios/hoje.parquet' (FORMAT PARQUET);

Por que essa abordagem vence o MySQL tradicional?

Benefícios para o Desenvolvedor Laravel Link para o cabeçalho

1. Código Limpo: Você pode mover queries SQL gigantescas e lógicas de “Case When” complexas para scripts SQL dedicados que o DuckDB executa.

2. Flexibilidade de Formatos: O DuckDB permite que você junte dados do MySQL com arquivos CSV, JSON ou Parquet em um único JOIN.

3. Economia de Memória: O Laravel não precisa carregar milhares de Models Eloquent na memória para gerar um Excel; o DuckDB gera o arquivo final e o Laravel apenas entrega o link de download.

Conclusão

A integração do DuckDB com Laravel transforma o seu servidor web em um pequeno Data Warehouse. Se você lida com tabelas de log, auditoria ou processos complexos de SLA (como a query de tarefas e circuitos apresentada), o DuckDB não é apenas uma opção, é a evolução necessária para manter a escalabilidade do sistema.