data-platform
13 conteúdos publicados sobre este assunto.
Artigos· 6
AWS & CloudMWAA com Airflow 3.3.1: estado, linguagem e disciplina operacionalEu vejo o suporte do Amazon MWAA ao Apache Airflow 3.3.1 como uma evolução importante para pipelines que não cabem mais no modelo puramente stateless. O ganho real está em estado durável, particionamento de assets e melhor ergonomia de operação; o risco está em tratar recursos experimentais como plataforma corporativa madura cedo demais.Abrir AWS & CloudR8i: Anatomia de uma Família de Instâncias para Workloads IntensivosA família R8i chega a Tokyo, Frankfurt e Irlanda com 600 Gbps de banda de rede e 300 Gbps de banda EBS — os maiores números entre instâncias EC2 não aceleradas. Antes de migrar cargas críticas, vale dissecar a anatomia dessas quatro variantes, entender os trade-offs reais e saber exatamente quando essa família resolve o problema e quando ela é a escolha errada.Abrir IA & AgentesSageMaker Unified Studio + Terraform: IaC para Plataformas de IA FinanceirasO suporte oficial ao Terraform para o SageMaker Unified Studio, lançado em julho de 2026, fecha uma lacuna crítica para equipes de plataforma que operam em ambientes financeiros regulados: a capacidade de versionar, auditar e promover domínios de IA/dados com o mesmo rigor aplicado a qualquer outro recurso de infraestrutura. Este briefing analisa o que muda na prática, onde estão os riscos reais e como posicionar essa capacidade dentro de uma estratégia de Internal Developer Platform.Abrir IA & AgentesSageMaker Unified Studio via Terraform: Migrando para IaC em Ambientes FinanceirosO suporte a Terraform no Amazon SageMaker Unified Studio, anunciado em julho de 2026, fecha uma lacuna crítica para plataformas de dados em ambientes regulados: domínios de ML que antes exigiam ClickOps ou automação frágil via SDK agora podem ser versionados, revisados e promovidos como qualquer outro recurso de infraestrutura. Neste artigo, analiso a jornada de migração de um estado inicial baseado em console para um pipeline IaC completo, com atenção especial às armadilhas de IAM, governança de blueprints e observabilidade operacional que fazem a diferença em ambientes financeiros.Abrir Dados & PlataformasCustom Lens para Plataformas de Dados: Anatomia de um PadrãoO AWS Well-Architected Custom Lens é frequentemente tratado como um artefato de documentação — mas quando aplicado a plataformas de dados corporativas, ele se torna um mecanismo de governança operacional com dentes reais. Neste artigo, desmonto a anatomia do padrão, exponho suas falhas de adoção mais comuns e proponho um design de referência que conecta revisões de lens a pipelines de remediação automatizados.Abrir Dados & PlataformasDe Pixels a Planejamento: Plataformas de Dados Geoespaciais em AWSPlataformas de Earth AI estão saindo dos laboratórios de pesquisa e entrando em decisões operacionais reais — de crédito climático a gestão de ativos de infraestrutura. Arquitetar esse pipeline na AWS exige escolhas precisas sobre ingestão de raster/vetor, particionamento geoespacial, latência de inferência e rastreabilidade de dados. Este artigo documenta as decisões que eu tomaria hoje, os antipadrões que já vi em campo e o checklist que você pode executar amanhã.Abrir Architecture Studies· 7
Decisão (ADR)ADR: OpenSearch Serverless vs Banco Vetorial Dedicado para RAG AgênticoEste ADR avalia as opções de infraestrutura de busca vetorial para uma plataforma RAG agêntica multi-tenant na AWS, comparando OpenSearch Serverless, bancos vetoriais dedicados (Pinecone, pgvector) e busca híbrida própria. A decisão considera custo, latência p99, filtros por permissão, ingestão incremental e integração nativa com Bedrock Knowledge Bases.Abrir Decisão (ADR)ADR: Sharding no Aurora — App-Level vs Aurora Limitless vs CitusUm workload OLTP em alto crescimento esgotou a capacidade de um único writer Aurora PostgreSQL. Este ADR avalia três estratégias de sharding — implementação na camada de aplicação, Aurora Limitless Database e Citus/PostgreSQL gerenciado — pesando complexidade operacional, custo, suporte a queries cross-shard e risco de migração.Abrir Design Doc / RFCDesign Doc: RDS Proxy para Lambda + RDS sem derreter o bancoFunções Lambda em alta concorrência abrem centenas de conexões diretas ao RDS, esgotando o pool e derrubando o banco. Este documento propõe o uso do RDS Proxy como camada de multiplexação, detalha armadilhas reais de pinning, compara alternativas como Data API e poolers na aplicação, e define quando o Proxy não é a resposta certa.Abrir Decisão (ADR)ADR: Aurora vs DynamoDB para um Ledger de Dupla Entrada em Core BankingEste ADR avalia Aurora PostgreSQL e DynamoDB como motor de persistência para um ledger de dupla entrada em um sistema de core banking, pesando consistência forte, padrões de acesso, auditabilidade e custo. A decisão favorece Aurora com particionamento por range de data e uma camada de eventos imutável, reconhecendo as limitações de escala horizontal que essa escolha impõe.Abrir TeardownKafka em Escala: Tiered Storage, KRaft e Exactly-OnceUma análise aprofundada da arquitetura interna do Apache Kafka — modelo de log/segmentos, eliminação do ZooKeeper via KRaft, offload de dados para S3 com Tiered Storage, semântica exactly-once e o que o Amazon MSK abstrai (e o que ele não abstrai). Um teardown técnico para quem precisa operar Kafka de verdade.Abrir TeardownFigma: Sharding Horizontal de Postgres Sem Parar de CrescerEm 2022, o Figma enfrentou limites físicos do seu banco de dados Postgres monolítico e executou uma migração de sharding horizontal com particionamento por chave, roteamento dinâmico e migração incremental — tudo isso sem downtime e sem travar o crescimento do produto. Este teardown reconstrói a arquitetura, analisa as decisões técnicas e aponta o que eu faria diferente.Abrir TeardownDiscord: Como Armazenar Trilhões de Mensagens — Teardown da Migração Cassandra → ScyllaDBO Discord migrou seu armazenamento de mensagens de Apache Cassandra para ScyllaDB, eliminando latências de cauda imprevisíveis e pausas de GC que afetavam milhões de usuários. Este teardown reconstrói a arquitetura, examina as decisões de engenharia e os trade-offs envolvidos, e apresenta minha leitura crítica do que foi feito bem — e o que eu faria diferente.Abrir 