Cloudflare (2025): um arquivo de configuração com o dobro do tamanho derruba a borda
Em 18 de novembro de 2025, uma mudança de permissões no ClickHouse fez uma query devolver colunas duplicadas. O arquivo de features do Bot Management dobrou de tamanho, estourou o limite de 200 features pré-alocado no proxy e a borda da Cloudflare passou cerca de seis horas devolvendo 5xx. Esta análise mostra por que configuração gerada é código, por que um módulo acessório não pode derrubar o caminho principal e o que separa este caso do CrowdStrike 2024.
cerca de 10 min · áudio gerado ao tocar
Fatos do incidente
- Empresa
- Cloudflare (CDN, segurança e plataforma de borda)
- Data
- 18 de novembro de 2025
- Início do impacto
- 11:28 UTC, primeiros erros 5xx
- Mitigação principal
- 14:30 UTC, arquivo last-known-good propagado
- Normalização total
- 17:06 UTC, cerca de 6 horas depois do início
- Gatilho
- Mudança de permissões no ClickHouse, query de metadados passou a devolver colunas duplicadas
- Mecanismo da falha
- Arquivo de features do Bot Management dobrou, passou do limite de 200 features pré-alocado, proxy entrou em panic
- Serviços atingidos
- CDN, Turnstile, Workers KV, Dashboard, Access, Email Security
- Causa externa
- Nenhuma. Não foi ataque
Em 18 de novembro de 2025, a Cloudflare passou cerca de seis horas devolvendo 5xx para uma fatia grande da internet. Não houve ataque e não houve binário novo com bug: uma mudança de permissões no ClickHouse fez uma query de metadados devolver colunas duplicadas, o arquivo de features do Bot Management dobrou de tamanho e o proxy, que reservava espaço para 200 features, entrou em panic em toda a borda. A pergunta útil aqui não é 'como um banco de analytics derrubou a CDN?', é 'por que um arquivo gerado por máquina chegou a todos os servidores do mundo sem passar por nenhum dos freios que um deploy de código teria?'. Este estudo reconstrói a cadeia e separa o que é específico da Cloudflare do que vale para qualquer plataforma que propaga configuração gerada.
O que aconteceu
O Bot Management da Cloudflare atribui a cada requisição um bot score, calculado por um modelo de machine learning. Esse modelo consome um arquivo de features: a lista de sinais que ele usa para classificar o tráfego. O arquivo é regenerado a cada poucos minutos a partir de uma query no ClickHouse e propagado para toda a rede, porque a defesa contra bots precisa acompanhar ameaças que mudam rápido. É exatamente essa velocidade que transformou o incidente em evento global.
Naquela manhã, a equipe de banco aplicou uma mudança de controle de acesso no cluster ClickHouse. A intenção era legítima: tornar explícitas permissões que antes eram implícitas, para que consultas distribuídas rodassem com a conta do usuário que as disparou. O efeito colateral foi que a query de geração do arquivo, que lia metadados de system.columns filtrando pelo nome da tabela mas não pelo banco, passou a enxergar também as tabelas subjacentes no banco r0. Cada coluna apareceu duas vezes.
O arquivo dobrou. O módulo do proxy que carrega essas features tinha um limite pré-alocado em memória de 200 features, folgado para os cerca de 60 em uso, segundo o post-mortem. Com o arquivo duplicado, o limite foi ultrapassado, o código chamou unwrap() sobre um Result com erro e o worker do FL2, a versão nova do proxy em Rust, entrou em panic. Panic no proxy é 5xx para o cliente final. Em minutos, sites atrás da Cloudflare começaram a devolver páginas de erro.
O detalhe que confundiu o diagnóstico: a mudança de permissões estava sendo aplicada de forma gradual nos nós do ClickHouse. Como o arquivo era regenerado periodicamente e a query podia cair num nó já atualizado ou não, a rede recebia ora um arquivo bom, ora um ruim. O sistema caía, voltava e caía de novo. Esse padrão de oscilação parece ataque, não bug de configuração, e foi assim que a equipe o leu nas primeiras horas.
Linha do tempo (UTC)
- 1
11:05
Mudança de controle de acesso aplicada ao cluster ClickHouse, de forma gradual entre os nós.
- 2
11:28
Primeiros 5xx em tráfego de clientes. O arquivo de features duplicado chega ao proxy e o FL2 entra em panic.
- 3
11:32–13:05
A equipe investiga erros elevados no Workers KV, suspeita de degradação do próprio KV e de ataque. A oscilação entre arquivo bom e ruim reforça a hipótese errada. A página de status, hospedada fora da Cloudflare, cai por coincidência e piora a leitura.
- 4
13:05
Workers KV e Access passam a contornar o proxy novo e voltar à versão anterior. O impacto nesses serviços cai.
- 5
13:37
O foco vira o arquivo de configuração do Bot Management: o plano passa a ser restaurar a versão last-known-good.
- 6
14:24
Geração e propagação automática de novos arquivos interrompidas. O arquivo antigo é testado com sucesso.
- 7
14:30
Arquivo last-known-good propagado globalmente. O impacto principal termina.
- 8
17:06
Todos os serviços normalizados, depois de reiniciar os serviços dependentes que ficaram em estado ruim.
Fluxo da falha: do metadado duplicado ao 5xx
O diagrama responde a uma pergunta: por onde o erro viajou sem encontrar nenhum freio. O nó focal é o proxy, onde o limite de 200 features virou panic. A seta tracejada do Dashboard para o Turnstile é dependência secundária: o login do painel precisava do Turnstile, que estava atrás do mesmo proxy. Simplificação: o FL antigo, que não entrou em panic mas zerou o bot score, ficou fora do desenho.
- ClickHouse · system.columns
- Feature file job · Bot Management
- Global propagation · config push
- Core proxy · FL2 (Rust)
- Bot module · 200-feature limit
- Turnstile, KV, Access · behind proxy
- Dashboard · login
- End users · HTTP
Causa raiz
A causa raiz não é a mudança de permissões. Ela só revelou três suposições frágeis empilhadas: a query de geração assumia que system.columns devolveria só as colunas do banco default, sem filtrar por banco; o arquivo gerado foi tratado como dado confiável e propagado para a rede inteira de uma vez, sem validação de tamanho nem rollout progressivo; e o módulo de bot tinha um limite rígido de 200 features que, quando ultrapassado, virava panic no processo que serve todo o tráfego, em vez de recusar o arquivo novo e seguir com o anterior. Qualquer uma das três, corrigida, teria contido o incidente.
Um módulo acessório derrubando o caminho principal
O bot score é útil, mas não é essencial para entregar uma página. Um site atrás da Cloudflare continua funcionando se, por algumas horas, a classificação de bots ficar menos precisa. Ele não funciona se o proxy morre. Essa assimetria de valor deveria ter guiado a forma como o módulo falha, e não guiou.
O post-mortem mostra os dois comportamentos lado a lado, e o contraste é a parte mais instrutiva do caso. No FL2, o proxy novo, o erro ao carregar o arquivo virou panic e o cliente recebeu 5xx. No FL, o proxy antigo, não houve panic: o módulo seguiu rodando, mas atribuiu bot score zero a todo o tráfego. Clientes com regras para bloquear bots passaram a bloquear tráfego legítimo, um falso positivo em massa. Nenhum dos dois comportamentos é o certo. Um falha fechado de forma catastrófica, o outro falha aberto de forma silenciosa e errada.
O comportamento que eu esperaria de um módulo não essencial é um terceiro: rejeitar o arquivo inválido, manter o last-known-good em memória e emitir alarme. A análise do bot continua com features da rodada anterior, um pouco defasadas, e o caminho principal nem percebe. O ponto não é que falhar aberto é sempre melhor que falhar fechado. Para um módulo de autorização, falhar aberto é inaceitável. O ponto é que a política de falha precisa ser decidida módulo a módulo, pelo custo de cada modo de falha, e escrita no código. Um unwrap() não é uma política de falha, é a ausência dela.
Limite rígido sem degradação: pré-alocar memória para 200 features é uma decisão razoável de performance num proxy que processa cada requisição. O defeito não é o limite, é o que acontece ao bater nele. Um limite que derruba o processo transforma uma salvaguarda de recurso em ponto único de falha. O mesmo limite, checado na carga do arquivo e não no caminho quente, teria virado um arquivo rejeitado e um alarme.
Como um módulo não essencial deveria reagir a configuração inválida
Panic no processo (FL2)
- Erro impossível de ignorar
- Nenhum dado errado é servido
- Derruba o caminho principal por causa de um recurso acessório
- Blast radius igual ao alcance da propagação: global
Inaceitável para módulo que não é essencial à entrega.
Seguir com valor padrão (FL)
- O proxy continua de pé
- Bot score zero vira falso positivo em massa para quem bloqueia bots
- Falha silenciosa: o dano aparece no cliente, não no alarme
Melhor que o panic, mas troca indisponibilidade por decisão errada.
Rejeitar e manter last-known-good
- Caminho principal intacto
- Decisões continuam corretas, só um pouco defasadas
- Erro vira alarme acionável
- Exige guardar a versão anterior e validar na carga
- Precisa de alarme de defasagem, senão o arquivo velho fica para sempre
Recomendada para qualquer configuração gerada que alimenta módulo acessório.
Por que o diagnóstico levou três horas
Entre 11:28 e 14:30 o problema já existia inteiro, e a correção, voltar ao arquivo anterior, era simples. O que custou tempo foi chegar até ela. Três fatores do próprio post-mortem explicam isso, e todos se repetem em outras empresas.
O sinal oscilava: como o arquivo era regenerado periodicamente e a mudança de permissões estava no meio do rollout no ClickHouse, a rede alternava entre arquivo bom e ruim. Falha intermitente com recuperação espontânea é a assinatura clássica de ataque volumétrico, não de configuração ruim. A equipe procurou um DDoS.
A coincidência: a página de status da Cloudflare, hospedada fora da infraestrutura da empresa, ficou fora do ar no mesmo intervalo. Dois sistemas independentes caindo juntos reforçou a hipótese de ataque coordenado.
Os sintomas apareceram longe da causa: os primeiros erros investigados foram no Workers KV, que passa pelo proxy. A mitigação das 13:05, contornar o proxy novo para KV e Access, reduziu o impacto, mas tratou o sintoma no serviço e não a origem no arquivo.
Há ainda um efeito de segunda ordem que o post-mortem registra: os sistemas de debugging e observabilidade, ao enriquecer os erros não tratados, consumiram CPU e aumentaram a latência na borda. A ferramenta feita para ajudar no incidente virou carga adicional durante o incidente.
A dependência circular do próprio time: o login do Dashboard usava o Turnstile, que estava atrás do mesmo proxy. Quem não tinha sessão aberta não conseguia entrar no painel. É o padrão de sempre: a ferramenta de operação depende do produto que ela opera. Durante a falha do produto, a ferramenta falha junto, e o caminho de recuperação precisa existir fora do sistema que está caído.
Remediação e o paralelo com o CrowdStrike
O post-mortem lista quatro frentes de correção, e elas valem mais pela direção do que pelo detalhe:
- Endurecer a ingestão de arquivos de configuração gerados pela própria Cloudflare com o mesmo rigor aplicado a entrada de usuário. É a frase mais importante do documento: o arquivo interno passa a ser tratado como não confiável.
- Mais kill switches globais por funcionalidade, para desligar um módulo inteiro sem depender de reverter um arquivo.
- Impedir que core dumps e relatórios de erro esgotem recursos do servidor, o que ataca diretamente o efeito de segunda ordem da observabilidade.
- Revisar os modos de falha das condições de erro em todos os módulos do proxy principal.
O paralelo inevitável é o CrowdStrike de julho de 2024, e vale a comparação curta. Lá, um arquivo de conteúdo do sensor foi para todos os endpoints ao mesmo tempo, sem rollout em anéis, e um componente que rodava com privilégio alto não validou a entrada. A estrutura é a mesma: conteúdo tratado como dado, não como código, e por isso isento do rollout progressivo que o binário teria. A diferença está no gatilho. No CrowdStrike o conteúdo foi escrito e publicado por uma pessoa. Na Cloudflare ninguém publicou nada: o arquivo foi gerado por um job automático a partir de um banco que mudou por outro motivo, com outro dono. Isso torna o caso de 2025 mais difícil de prevenir com processo de revisão humana. Não houve um momento de publicação para revisar.
A lição que os dois casos dividem é que a distinção entre código e configuração não descreve risco. O que descreve risco é quantos servidores um artefato alcança e em quanto tempo. Um arquivo que chega a toda a borda em minutos tem o blast radius de um deploy global, e merece os mesmos freios: validação de esquema e tamanho antes de publicar, canário numa fração pequena da rede, observação de taxa de erro, e só então expansão.
Lições
system.columns sem filtrar por banco é depender de uma permissão que outra equipe pode mudar.Em 16 anos operando sistemas financeiros, os incidentes que mais me custaram nunca vieram do deploy de código. O deploy tinha pipeline, aprovação, canário e rollback. Vieram de tabela de parâmetro, feature flag, arquivo de regra de antifraude: coisas que alguém chamou de configuração e que por isso pularam todos os freios. Depois de um desses, adotei uma regra simples: todo artefato que chega a produção é classificado pelo alcance, não pelo tipo. Se ele atinge mais de um anel de uma vez, entra no mesmo pipeline do binário. A segunda coisa que eu faria no lugar da Cloudflare é um teste de caos específico: publicar de propósito um arquivo de features inválido num canário e verificar que o módulo rejeita, mantém o anterior e alarma. Se esse teste não existe, a política de falha só existe no documento. E eu tiraria o login do painel de qualquer dependência do próprio produto, com um caminho de acesso de emergência testado a cada trimestre, porque o dia em que você precisa dele é exatamente o dia em que o produto não está lá.
Veredito
O incidente de 18 de novembro não foi causado por um erro grande, foi causado por três suposições pequenas que nenhum controle cruzava: uma query sem escopo de banco, um arquivo gerado tratado como confiável e um limite de memória que derrubava o processo. A Cloudflare respondeu na direção certa ao tratar a própria configuração como entrada não confiável. Para quem opera plataforma, a recomendação é condicional e direta: se um artefato gerado por máquina alcança toda a sua frota em minutos, dê a ele validação na origem, rollout em anéis e last-known-good no consumidor. Se o módulo que o consome não é essencial à entrega, ele nunca pode ter o poder de derrubar o caminho principal. Se você não consegue afirmar as duas coisas sobre os seus pipelines de configuração hoje, o seu blast radius real é maior do que o desenhado.
Continue lendo
Post-mortems, ADRs e deep dives de arquitetura no seu email, do jeito que um arquiteto lê.
Sem spam · cancele quando quiser
Pergunte ao Fernando sobre isto
Uma resposta focada sobre este estudo, do meu assistente de IA, baseada no meu trabalho.
Participe da conversa
Entre para comentar
Confirme seu e-mail para participar, você também recebe a newsletter. Sem senha.