Pular para o conteúdo
fernando.moretes.com
BlogEstudosCursosE-booksOpen SourcePodcasts
Loading…
Fernando Azevedo

Arquiteto de TI Especialista

Arquitetura, AWS, IA em produção, sistemas financeiros e FinOps, escritos a partir do que foi operado, com os números.

  • LinkedIn
  • GitHub
  • E-mail

Conteúdo

  • Blog
  • Estudos de arquitetura
  • Cursos
  • E-books
  • Open Source
  • Podcasts
  • Assuntos
  • Trilhas

Ferramentas

  • Moretes Architect MCP
  • Well-Architected self-check
  • Arquitetura deste site
  • Números públicos
  • Histórico de estudo

Sobre

  • Comunidade
  • Hugging Face
  • IA Builder
  • Perfil
  • Currículo (CV)
  • Trabalhe comigo
  • Media kit
  • RSS do blog
  • RSS dos estudos
  • Artigos narrados (podcast)
  • llms.txt
  • Termos, privacidade e uso de IA

(c) 2026 Fernando Francisco Azevedo

Estudos/Post-mortem
RSSMarkdownLLMs
Post-mortemCloudflareEdge/Resiliência

Cloudflare (2025): um arquivo de configuração com o dobro do tamanho derruba a borda

18 de nov. de 2025 10 min Com apoio de IA000 visualizações00 reproduções

Em 18 de novembro de 2025, uma mudança de permissões no ClickHouse fez uma query devolver colunas duplicadas. O arquivo de features do Bot Management dobrou de tamanho, estourou o limite de 200 features pré-alocado no proxy e a borda da Cloudflare passou cerca de seis horas devolvendo 5xx. Esta análise mostra por que configuração gerada é código, por que um módulo acessório não pode derrubar o caminho principal e o que separa este caso do CrowdStrike 2024.

Ouvir estudo

cerca de 10 min · áudio gerado ao tocar

Fatos do incidente

Empresa
Cloudflare (CDN, segurança e plataforma de borda)
Data
18 de novembro de 2025
Início do impacto
11:28 UTC, primeiros erros 5xx
Mitigação principal
14:30 UTC, arquivo last-known-good propagado
Normalização total
17:06 UTC, cerca de 6 horas depois do início
Gatilho
Mudança de permissões no ClickHouse, query de metadados passou a devolver colunas duplicadas
Mecanismo da falha
Arquivo de features do Bot Management dobrou, passou do limite de 200 features pré-alocado, proxy entrou em panic
Serviços atingidos
CDN, Turnstile, Workers KV, Dashboard, Access, Email Security
Causa externa
Nenhuma. Não foi ataque

Em 18 de novembro de 2025, a Cloudflare passou cerca de seis horas devolvendo 5xx para uma fatia grande da internet. Não houve ataque e não houve binário novo com bug: uma mudança de permissões no ClickHouse fez uma query de metadados devolver colunas duplicadas, o arquivo de features do Bot Management dobrou de tamanho e o proxy, que reservava espaço para 200 features, entrou em panic em toda a borda. A pergunta útil aqui não é 'como um banco de analytics derrubou a CDN?', é 'por que um arquivo gerado por máquina chegou a todos os servidores do mundo sem passar por nenhum dos freios que um deploy de código teria?'. Este estudo reconstrói a cadeia e separa o que é específico da Cloudflare do que vale para qualquer plataforma que propaga configuração gerada.

O que aconteceu

O Bot Management da Cloudflare atribui a cada requisição um bot score, calculado por um modelo de machine learning. Esse modelo consome um arquivo de features: a lista de sinais que ele usa para classificar o tráfego. O arquivo é regenerado a cada poucos minutos a partir de uma query no ClickHouse e propagado para toda a rede, porque a defesa contra bots precisa acompanhar ameaças que mudam rápido. É exatamente essa velocidade que transformou o incidente em evento global.

Naquela manhã, a equipe de banco aplicou uma mudança de controle de acesso no cluster ClickHouse. A intenção era legítima: tornar explícitas permissões que antes eram implícitas, para que consultas distribuídas rodassem com a conta do usuário que as disparou. O efeito colateral foi que a query de geração do arquivo, que lia metadados de system.columns filtrando pelo nome da tabela mas não pelo banco, passou a enxergar também as tabelas subjacentes no banco r0. Cada coluna apareceu duas vezes.

O arquivo dobrou. O módulo do proxy que carrega essas features tinha um limite pré-alocado em memória de 200 features, folgado para os cerca de 60 em uso, segundo o post-mortem. Com o arquivo duplicado, o limite foi ultrapassado, o código chamou unwrap() sobre um Result com erro e o worker do FL2, a versão nova do proxy em Rust, entrou em panic. Panic no proxy é 5xx para o cliente final. Em minutos, sites atrás da Cloudflare começaram a devolver páginas de erro.

O detalhe que confundiu o diagnóstico: a mudança de permissões estava sendo aplicada de forma gradual nos nós do ClickHouse. Como o arquivo era regenerado periodicamente e a query podia cair num nó já atualizado ou não, a rede recebia ora um arquivo bom, ora um ruim. O sistema caía, voltava e caía de novo. Esse padrão de oscilação parece ataque, não bug de configuração, e foi assim que a equipe o leu nas primeiras horas.

Linha do tempo (UTC)

  1. 1

    11:05

    Mudança de controle de acesso aplicada ao cluster ClickHouse, de forma gradual entre os nós.

  2. 2

    11:28

    Primeiros 5xx em tráfego de clientes. O arquivo de features duplicado chega ao proxy e o FL2 entra em panic.

  3. 3

    11:32–13:05

    A equipe investiga erros elevados no Workers KV, suspeita de degradação do próprio KV e de ataque. A oscilação entre arquivo bom e ruim reforça a hipótese errada. A página de status, hospedada fora da Cloudflare, cai por coincidência e piora a leitura.

  4. 4

    13:05

    Workers KV e Access passam a contornar o proxy novo e voltar à versão anterior. O impacto nesses serviços cai.

  5. 5

    13:37

    O foco vira o arquivo de configuração do Bot Management: o plano passa a ser restaurar a versão last-known-good.

  6. 6

    14:24

    Geração e propagação automática de novos arquivos interrompidas. O arquivo antigo é testado com sucesso.

  7. 7

    14:30

    Arquivo last-known-good propagado globalmente. O impacto principal termina.

  8. 8

    17:06

    Todos os serviços normalizados, depois de reiniciar os serviços dependentes que ficaram em estado ruim.

Fluxo da falha: do metadado duplicado ao 5xx

O diagrama responde a uma pergunta: por onde o erro viajou sem encontrar nenhum freio. O nó focal é o proxy, onde o limite de 200 features virou panic. A seta tracejada do Dashboard para o Turnstile é dependência secundária: o login do painel precisava do Turnstile, que estava atrás do mesmo proxy. Simplificação: o FL antigo, que não entrou em panic mas zerou o bot score, ficou fora do desenho.

Control plane
  • ClickHouse · system.columns
  • Feature file job · Bot Management
  • Global propagation · config push
Edge server
  • Core proxy · FL2 (Rust)
  • Bot module · 200-feature limit
Downstream
  • Turnstile, KV, Access · behind proxy
  • Dashboard · login
  • End users · HTTP

Causa raiz

A causa raiz não é a mudança de permissões. Ela só revelou três suposições frágeis empilhadas: a query de geração assumia que system.columns devolveria só as colunas do banco default, sem filtrar por banco; o arquivo gerado foi tratado como dado confiável e propagado para a rede inteira de uma vez, sem validação de tamanho nem rollout progressivo; e o módulo de bot tinha um limite rígido de 200 features que, quando ultrapassado, virava panic no processo que serve todo o tráfego, em vez de recusar o arquivo novo e seguir com o anterior. Qualquer uma das três, corrigida, teria contido o incidente.

Um módulo acessório derrubando o caminho principal

O bot score é útil, mas não é essencial para entregar uma página. Um site atrás da Cloudflare continua funcionando se, por algumas horas, a classificação de bots ficar menos precisa. Ele não funciona se o proxy morre. Essa assimetria de valor deveria ter guiado a forma como o módulo falha, e não guiou.

O post-mortem mostra os dois comportamentos lado a lado, e o contraste é a parte mais instrutiva do caso. No FL2, o proxy novo, o erro ao carregar o arquivo virou panic e o cliente recebeu 5xx. No FL, o proxy antigo, não houve panic: o módulo seguiu rodando, mas atribuiu bot score zero a todo o tráfego. Clientes com regras para bloquear bots passaram a bloquear tráfego legítimo, um falso positivo em massa. Nenhum dos dois comportamentos é o certo. Um falha fechado de forma catastrófica, o outro falha aberto de forma silenciosa e errada.

O comportamento que eu esperaria de um módulo não essencial é um terceiro: rejeitar o arquivo inválido, manter o last-known-good em memória e emitir alarme. A análise do bot continua com features da rodada anterior, um pouco defasadas, e o caminho principal nem percebe. O ponto não é que falhar aberto é sempre melhor que falhar fechado. Para um módulo de autorização, falhar aberto é inaceitável. O ponto é que a política de falha precisa ser decidida módulo a módulo, pelo custo de cada modo de falha, e escrita no código. Um unwrap() não é uma política de falha, é a ausência dela.

Limite rígido sem degradação: pré-alocar memória para 200 features é uma decisão razoável de performance num proxy que processa cada requisição. O defeito não é o limite, é o que acontece ao bater nele. Um limite que derruba o processo transforma uma salvaguarda de recurso em ponto único de falha. O mesmo limite, checado na carga do arquivo e não no caminho quente, teria virado um arquivo rejeitado e um alarme.

Como um módulo não essencial deveria reagir a configuração inválida

Panic no processo (FL2)

Prós
  • Erro impossível de ignorar
  • Nenhum dado errado é servido
Contras
  • Derruba o caminho principal por causa de um recurso acessório
  • Blast radius igual ao alcance da propagação: global

Inaceitável para módulo que não é essencial à entrega.

Seguir com valor padrão (FL)

Prós
  • O proxy continua de pé
Contras
  • Bot score zero vira falso positivo em massa para quem bloqueia bots
  • Falha silenciosa: o dano aparece no cliente, não no alarme

Melhor que o panic, mas troca indisponibilidade por decisão errada.

Rejeitar e manter last-known-good

Prós
  • Caminho principal intacto
  • Decisões continuam corretas, só um pouco defasadas
  • Erro vira alarme acionável
Contras
  • Exige guardar a versão anterior e validar na carga
  • Precisa de alarme de defasagem, senão o arquivo velho fica para sempre

Recomendada para qualquer configuração gerada que alimenta módulo acessório.

Por que o diagnóstico levou três horas

Entre 11:28 e 14:30 o problema já existia inteiro, e a correção, voltar ao arquivo anterior, era simples. O que custou tempo foi chegar até ela. Três fatores do próprio post-mortem explicam isso, e todos se repetem em outras empresas.

O sinal oscilava: como o arquivo era regenerado periodicamente e a mudança de permissões estava no meio do rollout no ClickHouse, a rede alternava entre arquivo bom e ruim. Falha intermitente com recuperação espontânea é a assinatura clássica de ataque volumétrico, não de configuração ruim. A equipe procurou um DDoS.

A coincidência: a página de status da Cloudflare, hospedada fora da infraestrutura da empresa, ficou fora do ar no mesmo intervalo. Dois sistemas independentes caindo juntos reforçou a hipótese de ataque coordenado.

Os sintomas apareceram longe da causa: os primeiros erros investigados foram no Workers KV, que passa pelo proxy. A mitigação das 13:05, contornar o proxy novo para KV e Access, reduziu o impacto, mas tratou o sintoma no serviço e não a origem no arquivo.

Há ainda um efeito de segunda ordem que o post-mortem registra: os sistemas de debugging e observabilidade, ao enriquecer os erros não tratados, consumiram CPU e aumentaram a latência na borda. A ferramenta feita para ajudar no incidente virou carga adicional durante o incidente.

A dependência circular do próprio time: o login do Dashboard usava o Turnstile, que estava atrás do mesmo proxy. Quem não tinha sessão aberta não conseguia entrar no painel. É o padrão de sempre: a ferramenta de operação depende do produto que ela opera. Durante a falha do produto, a ferramenta falha junto, e o caminho de recuperação precisa existir fora do sistema que está caído.

Remediação e o paralelo com o CrowdStrike

O post-mortem lista quatro frentes de correção, e elas valem mais pela direção do que pelo detalhe:

  • Endurecer a ingestão de arquivos de configuração gerados pela própria Cloudflare com o mesmo rigor aplicado a entrada de usuário. É a frase mais importante do documento: o arquivo interno passa a ser tratado como não confiável.
  • Mais kill switches globais por funcionalidade, para desligar um módulo inteiro sem depender de reverter um arquivo.
  • Impedir que core dumps e relatórios de erro esgotem recursos do servidor, o que ataca diretamente o efeito de segunda ordem da observabilidade.
  • Revisar os modos de falha das condições de erro em todos os módulos do proxy principal.

O paralelo inevitável é o CrowdStrike de julho de 2024, e vale a comparação curta. Lá, um arquivo de conteúdo do sensor foi para todos os endpoints ao mesmo tempo, sem rollout em anéis, e um componente que rodava com privilégio alto não validou a entrada. A estrutura é a mesma: conteúdo tratado como dado, não como código, e por isso isento do rollout progressivo que o binário teria. A diferença está no gatilho. No CrowdStrike o conteúdo foi escrito e publicado por uma pessoa. Na Cloudflare ninguém publicou nada: o arquivo foi gerado por um job automático a partir de um banco que mudou por outro motivo, com outro dono. Isso torna o caso de 2025 mais difícil de prevenir com processo de revisão humana. Não houve um momento de publicação para revisar.

A lição que os dois casos dividem é que a distinção entre código e configuração não descreve risco. O que descreve risco é quantos servidores um artefato alcança e em quanto tempo. Um arquivo que chega a toda a borda em minutos tem o blast radius de um deploy global, e merece os mesmos freios: validação de esquema e tamanho antes de publicar, canário numa fração pequena da rede, observação de taxa de erro, e só então expansão.

Lições

Configuração gerada é código: se alcança a rede inteira, precisa do mesmo rollout progressivo do binário, com canário e expansão por anéis.
Valide antes de propagar: tamanho, contagem de features e duplicidade de nomes são checagens baratas que teriam barrado este arquivo na origem.
Política de falha por módulo: módulo acessório rejeita a entrada inválida e segue com last-known-good. Nem panic, nem valor padrão silencioso.
Limite rígido checado na carga, não no caminho quente: a salvaguarda de memória deve recusar o arquivo, nunca derrubar o processo que serve tráfego.
Query de metadados com escopo explícito: ler system.columns sem filtrar por banco é depender de uma permissão que outra equipe pode mudar.
Ferramenta de operação fora do produto operado: login do painel e caminho de recuperação não podem passar pelo sistema que está caído.
FA
Minha leitura
Arquiteto de TI Especialista

Em 16 anos operando sistemas financeiros, os incidentes que mais me custaram nunca vieram do deploy de código. O deploy tinha pipeline, aprovação, canário e rollback. Vieram de tabela de parâmetro, feature flag, arquivo de regra de antifraude: coisas que alguém chamou de configuração e que por isso pularam todos os freios. Depois de um desses, adotei uma regra simples: todo artefato que chega a produção é classificado pelo alcance, não pelo tipo. Se ele atinge mais de um anel de uma vez, entra no mesmo pipeline do binário. A segunda coisa que eu faria no lugar da Cloudflare é um teste de caos específico: publicar de propósito um arquivo de features inválido num canário e verificar que o módulo rejeita, mantém o anterior e alarma. Se esse teste não existe, a política de falha só existe no documento. E eu tiraria o login do painel de qualquer dependência do próprio produto, com um caminho de acesso de emergência testado a cada trimestre, porque o dia em que você precisa dele é exatamente o dia em que o produto não está lá.

Veredito

O incidente de 18 de novembro não foi causado por um erro grande, foi causado por três suposições pequenas que nenhum controle cruzava: uma query sem escopo de banco, um arquivo gerado tratado como confiável e um limite de memória que derrubava o processo. A Cloudflare respondeu na direção certa ao tratar a própria configuração como entrada não confiável. Para quem opera plataforma, a recomendação é condicional e direta: se um artefato gerado por máquina alcança toda a sua frota em minutos, dê a ele validação na origem, rollout em anéis e last-known-good no consumidor. Se o módulo que o consome não é essencial à entrega, ele nunca pode ter o poder de derrubar o caminho principal. Se você não consegue afirmar as duas coisas sobre os seus pipelines de configuração hoje, o seu blast radius real é maior do que o desenhado.

Referências

Cloudflare: Cloudflare outage on November 18, 2025
#cloudflare#post-mortem#edge#configuracao#rollout-progressivo#resiliencia#bot-management
Fontes do caso
Cloudflare: Cloudflare outage on November 18, 2025
Compartilhar:LinkedInWhatsAppXBaixar em Markdown
Escrito com apoio de IA a partir do caso público e da minha leitura como arquiteto.
Próximo passo
Trilha Arquiteto de IA, gratuitaFundamentos, LLMs, RAG, tools, MCP e arquitetura na AWS, em aulas curtas e interativas.Começar a trilhaAgentes de IA em produção na AWSComo eu desenho, oriento e audito agentes que vão ao ar, com os números e as fontes.Ver o IA Builder

Continue lendo

Post-mortemAWS us-east-1 (2025): uma corrida na automação de DNS do DynamoDB derruba meia regiãoEntre 23:48 PDT de 19/10 e 14:20 PDT de 20/10/2025, uma condição de corrida latente na automação de DNS do DynamoDB deixou vazio o registro do endpoint regional em us-east-1, e a própria automação não conseguiu se reparar. Analiso a cascata: o EC2 perdeu leases, os health checks do NLB derrubaram serviço saudável e a recuperação de cada camada levou horas a mais que a anterior. Fecho com o que eu mudaria num sistema de pagamentos que só roda em us-east-1.Ler Post-mortemCloudflare 2019: O Regex que Derrubou uma Rede GlobalEm 2 de julho de 2019, uma única regra de WAF contendo um regex com backtracking catastrófico saturou 100% da CPU em todos os servidores da Cloudflare globalmente, derrubando serviços por aproximadamente 27 minutos. O incidente expôs falhas críticas no processo de deploy de regras, na ausência de proteção contra complexidade algorítmica e na insuficiência do pipeline de testes para detectar padrões patológicos.Ler Post-mortemAWS us-east-1 (2025): Evento Térmico em Datacenter Derruba EC2 e EBSUma falha no sistema de refrigeração de um datacenter em us-east-1 causou superaquecimento de servidores, acionando desligamentos de proteção térmica que degradaram EC2 e EBS na região. O incidente reacende debates críticos sobre concentração de workloads em us-east-1, o papel do isolamento físico por AZ e a necessidade de graceful degradation em arquiteturas de produção.Ler
AnteriorPlaybook: Um Agente de IA de Produção na AWS em 7 PassosPróximoPlaybook: Multi-agente, quando 1 basta e quando você precisa orquestrar
Gostou deste estudo? Receba o próximo.

Post-mortems, ADRs e deep dives de arquitetura no seu email, do jeito que um arquiteto lê.

Sem spam · cancele quando quiser

Pergunte ao Fernando sobre isto

Uma resposta focada sobre este estudo, do meu assistente de IA, baseada no meu trabalho.

Participe da conversa

Entre para comentar

Confirme seu e-mail para participar, você também recebe a newsletter. Sem senha.

Neste estudo
O que aconteceuLinha do tempo (UTC)ArquiteturaUm módulo acessório derrubando o caminho principalComo um módulo não essencial deveria reagir a configuração inválidaPor que o diagnóstico levou três horasRemediação e o paralelo com o CrowdStrikeVereditoReferências