GH analytics

Consultoria · Composable Data Platform · Laboratório Ativo

Construímos stacks de dados modernas — open source, sob medida, prontas para produção

Consultoria especializada em Composable Data Platforms. Laboratório ativo com pipelines funcionando em produção. Entregamos a stack certa para o seu volume, suas fontes e seu time.

100%

Open source — sem vendor lock-in

3NF

Modelagem formal em todo projeto

24/7

Laboratório ativo em produção

12+

Anos em Engenharia Analítica

Nossa abordagem

Uma plataforma composable, não uma solução genérica

Cada cliente tem fontes, volume e time diferentes. Por isso mantemos um laboratório com múltiplas engines testadas — DuckDB para volumes de GBs, PySpark + Delta Lake para dezenas de GBs, PyAirbyte para ERPs, Python puro para APIs públicas.

Quando iniciamos um projeto, não construímos do zero. Recortamos os componentes certos do laboratório, adaptamos ao domínio do cliente e entregamos com documentação completa: modelagem conceitual, lógica, física, dbt docs e SchemaSpy.

Explorar a Stack Timeline →
Ingestão
Python puroPyAirbytePySpark
Transformação
DuckDBdbt CoreApache Spark
Modelagem
Excalidrawdbdiagram.ioSchemaSpy
Orquestração
Apache Airflow 3.xDockerKubernetes
Serving & BI
StreamlitMetabasePostgreSQL DW
Qualidade
Great Expectationsdbt TestsRLS

O que entregamos

Da modelagem formal ao pipeline em produção — com documentação, qualidade de dados e acesso seguro incluídos.

Composable Data Platform

Montamos a stack certa para o perfil do cliente — DuckDB para volumes de GBs, PySpark + Delta Lake para dezenas de GBs ou quando time travel e ACID são necessários. Arquitetura Medallion (Bronze → Silver → Gold) com dbt, Airflow e PostgreSQL DW. 100% open source, versionada em Git, sem vendor lock-in.

Modelagem de Dados Formal

Três camadas de modelagem entregues como artefato do projeto: conceitual (Excalidraw), lógica (dbdiagram / DBML) e física (DDL Python + dbt schema.yml). Normalização até 3NF. Documentação gerada automaticamente via SchemaSpy e dbt Docs — o cliente recebe um portal navegável do modelo.

Engenharia de Pipelines

Ingestão de ERPs (Protheus/TOTVS via PyAirbyte), APIs governamentais (MDIC, IBGE, ANP), bancos relacionais e arquivos flat. Scripts Python puros para ingestão, transformação, exportação e validação. Compressão Parquet zstd, particionamento por tempo, carregamento em chunks via COPY nativo no PostgreSQL.

Qualidade & Observabilidade

Great Expectations para validações estatísticas, dbt tests para integridade referencial e unicidade, scripts Python de validação pós-carga. Row Level Security no PostgreSQL. Todos os serviços expostos com SSL via Nginx + Certbot. PgBouncer para connection pooling.

Dashboards & Visualização

Streamlit + Plotly para portais analíticos avançados. Metabase self-hosted para BI de negócio sem licença por usuário. Pandas para manipulação de dados no browser. Storytelling de Dados e UX Design para alta gestão. Acesso seguro via subdomínio dedicado com autenticação.

Consultoria & Laboratório

Laboratório ativo com dois pipelines paralelos funcionando em produção — dados de ERP (Protheus) e dados públicos (MDIC/Comex). Cada componente testado e documentado. Entregamos o recorte certo para o seu perfil: startup, média empresa, rede de franquias ou consultoria.

Laboratório ativo

Dois pipelines rodando em produção agora

Não vendemos arquitetura no papel. Cada componente da stack está funcionando, testado e documentado no nosso laboratório — rodando 24/7 em um VPS ARM com Docker.

Pipeline Comex

Dados públicos MDIC — balança comercial brasileira

API Gov → Python → OCI Object Storage → DuckDB → dbt → PostgreSQL DW. Parquet com zstd nível 3, Medallion Bronze→Silver→Gold, atualização automática via Airflow.

Python puroDuckDBdbt CoreAirflowParquet/zstdPostgreSQL

Pipeline ERP

ERP empresarial — dados comerciais e financeiros

SQL Server → PyAirbyte → PySpark + Delta Lake → DuckDB → dbt → PostgreSQL DW + RLS. Modelagem formal em três camadas. Schema evolution automático.

PyAirbytePySparkDelta LakeDuckDBdbt CoreRLS

Stack tecnológica completa

DuckDBdbt CoreApache AirflowApache SparkPySparkPythonPandasPyAirbyteDelta LakeSQL AvançadoPostgreSQLDockerKubernetesOCI / GCPGit / CI-CDStreamlitPlotlyMetabaseGreat Expectationsdbt DocsSchemaSpyExcalidrawdbdiagram.ioNginxPgBouncerCertbot / Let's EncryptParquet / zstd

Segmentos de atuação

Experiência em múltiplos setores

AgronegócioIndústriaVarejoAtacadoFranquiasTransportadoraEducaçãoFinanceiroComércio Exterior

Pronto para uma stack de dados moderna e sem lock-in?

Conte-nos sobre suas fontes de dados, volume e objetivos. Entregamos o recorte certo da stack com documentação completa.