O que construo
Capacidades
Da modelagem formal ao pipeline em produção. Cada entrega inclui documentação completa, para você saber exatamente como a stack funciona e poder evoluí-la internamente.
Composable Data Platform
Arquitetura Lakehouse sobre DuckDB + DuckLake, um formato de tabela transacional (ACID, time travel, schema evolution) com catálogo em PostgreSQL, eliminando o problema clássico de arquivos fragmentados em ingestões incrementais. Medallion (Bronze → Silver → Gold) orquestrado com dbt e Airflow. 100% open source, versionado em Git, sem vendor lock-in.
Modelagem de Dados Formal
Três camadas entregues como artefato do projeto: conceitual (Excalidraw), lógica (dbdiagram/DBML) e física (DDL Python + dbt schema.yml). Na Silver, a abordagem é escolhida por entidade: 3NF para dados estáveis de fonte única, Data Vault (Hub/Link/Satellite) para entidades com histórico de mudança e integração multi-fonte. Ambas convergem em Star/Galaxy Schema (Kimball) na Gold. Documentação via SchemaSpy e dbt Docs.
Engenharia de Pipelines
Ingestão de ERPs (Protheus/TOTVS via PyAirbyte), APIs governamentais (MDIC, IBGE, ANP), bancos relacionais e arquivos flat. Scripts Python puros para ingestão, transformação, exportação e validação. Compressão Parquet zstd, particionamento por tempo, carregamento em chunks via COPY nativo no PostgreSQL.
Qualidade & Observabilidade
Great Expectations para validações estatísticas, dbt tests para integridade referencial e unicidade, scripts Python de validação pós-carga. Row Level Security no PostgreSQL. Todos os serviços expostos com SSL via Nginx + Certbot. PgBouncer para connection pooling.
Dashboards & Visualização
Streamlit + Plotly para portais analíticos sob medida. Metabase self-hosted para BI self-service de negócio, sem licença por usuário. Dois canais deliberadamente separados por público e propósito. Storytelling de Dados e UX Design para alta gestão. Acesso seguro via subdomínio dedicado com autenticação.
Laboratório Técnico
Ambiente próprio com dois pipelines paralelos rodando em produção 24/7 desde nov/2024, com dados de ERP (Protheus) e dados públicos (MDIC/Comex). Cada componente testado, versionado e documentado como base de estudo e evolução contínua da stack.