# Cloudflare (2025): um arquivo de configuração com o dobro do tamanho derruba a borda

Em 18 de novembro de 2025, uma mudança de permissões no ClickHouse fez uma query devolver colunas duplicadas. O arquivo de features do Bot Management dobrou de tamanho, estourou o limite de 200 features pré-alocado no proxy e a borda da Cloudflare passou cerca de seis horas devolvendo 5xx. Esta análise mostra por que configuração gerada é código, por que um módulo acessório não pode derrubar o caminho principal e o que separa este caso do CrowdStrike 2024.

- URL: https://fernando.moretes.com/studies/cloudflare-bot-management-2025

- Markdown: https://fernando.moretes.com/studies/cloudflare-bot-management-2025/study.md?lang=pt

- Type: Post-mortem

- Company: Cloudflare

- Domain: Edge/Resiliência

- Date: 2025-11-18

- Tags: cloudflare, post-mortem, edge, configuracao, rollout-progressivo, resiliencia, bot-management

- Reading time: 10 min

---

## Fatos do incidente

- **Empresa:** Cloudflare (CDN, segurança e plataforma de borda)
- **Data:** 18 de novembro de 2025
- **Início do impacto:** 11:28 UTC, primeiros erros 5xx
- **Mitigação principal:** 14:30 UTC, arquivo last-known-good propagado
- **Normalização total:** 17:06 UTC, cerca de 6 horas depois do início
- **Gatilho:** Mudança de permissões no ClickHouse, query de metadados passou a devolver colunas duplicadas
- **Mecanismo da falha:** Arquivo de features do Bot Management dobrou, passou do limite de 200 features pré-alocado, proxy entrou em panic
- **Serviços atingidos:** CDN, Turnstile, Workers KV, Dashboard, Access, Email Security
- **Causa externa:** Nenhuma. Não foi ataque

Em 18 de novembro de 2025, a Cloudflare passou cerca de seis horas devolvendo 5xx para uma fatia grande da internet. Não houve ataque e não houve binário novo com bug: uma mudança de permissões no ClickHouse fez uma query de metadados devolver colunas duplicadas, o arquivo de features do Bot Management dobrou de tamanho e o proxy, que reservava espaço para 200 features, entrou em panic em toda a borda. A pergunta útil aqui não é 'como um banco de analytics derrubou a CDN?', é 'por que um arquivo gerado por máquina chegou a todos os servidores do mundo sem passar por nenhum dos freios que um deploy de código teria?'. Este estudo reconstrói a cadeia e separa o que é específico da Cloudflare do que vale para qualquer plataforma que propaga configuração gerada.

## O que aconteceu

O Bot Management da Cloudflare atribui a cada requisição um bot score, calculado por um modelo de machine learning. Esse modelo consome um **arquivo de features**: a lista de sinais que ele usa para classificar o tráfego. O arquivo é regenerado a cada poucos minutos a partir de uma query no ClickHouse e propagado para toda a rede, porque a defesa contra bots precisa acompanhar ameaças que mudam rápido. É exatamente essa velocidade que transformou o incidente em evento global.

Naquela manhã, a equipe de banco aplicou uma mudança de controle de acesso no cluster ClickHouse. A intenção era legítima: tornar explícitas permissões que antes eram implícitas, para que consultas distribuídas rodassem com a conta do usuário que as disparou. O efeito colateral foi que a query de geração do arquivo, que lia metadados de `system.columns` filtrando pelo nome da tabela mas **não** pelo banco, passou a enxergar também as tabelas subjacentes no banco `r0`. Cada coluna apareceu duas vezes.

O arquivo dobrou. O módulo do proxy que carrega essas features tinha um limite pré-alocado em memória de 200 features, folgado para os cerca de 60 em uso, segundo o post-mortem. Com o arquivo duplicado, o limite foi ultrapassado, o código chamou `unwrap()` sobre um `Result` com erro e o worker do FL2, a versão nova do proxy em Rust, entrou em panic. Panic no proxy é 5xx para o cliente final. Em minutos, sites atrás da Cloudflare começaram a devolver páginas de erro.

**O detalhe que confundiu o diagnóstico:** a mudança de permissões estava sendo aplicada de forma gradual nos nós do ClickHouse. Como o arquivo era regenerado periodicamente e a query podia cair num nó já atualizado ou não, a rede recebia ora um arquivo bom, ora um ruim. O sistema caía, voltava e caía de novo. Esse padrão de oscilação parece ataque, não bug de configuração, e foi assim que a equipe o leu nas primeiras horas.

## Linha do tempo (UTC)

1. **11:05**: Mudança de controle de acesso aplicada ao cluster ClickHouse, de forma gradual entre os nós.

2. **11:28**: Primeiros 5xx em tráfego de clientes. O arquivo de features duplicado chega ao proxy e o FL2 entra em panic.

3. **11:32–13:05**: A equipe investiga erros elevados no Workers KV, suspeita de degradação do próprio KV e de ataque. A oscilação entre arquivo bom e ruim reforça a hipótese errada. A página de status, hospedada fora da Cloudflare, cai por coincidência e piora a leitura.

4. **13:05**: Workers KV e Access passam a contornar o proxy novo e voltar à versão anterior. O impacto nesses serviços cai.

5. **13:37**: O foco vira o arquivo de configuração do Bot Management: o plano passa a ser restaurar a versão last-known-good.

6. **14:24**: Geração e propagação automática de novos arquivos interrompidas. O arquivo antigo é testado com sucesso.

7. **14:30**: Arquivo last-known-good propagado globalmente. O impacto principal termina.

8. **17:06**: Todos os serviços normalizados, depois de reiniciar os serviços dependentes que ficaram em estado ruim.

## Fluxo da falha: do metadado duplicado ao 5xx

O diagrama responde a uma pergunta: por onde o erro viajou sem encontrar nenhum freio. O nó focal é o proxy, onde o limite de 200 features virou panic. A seta tracejada do Dashboard para o Turnstile é dependência secundária: o login do painel precisava do Turnstile, que estava atrás do mesmo proxy. Simplificação: o FL antigo, que não entrou em panic mas zerou o bot score, ficou fora do desenho.

### Control plane

- ClickHouse system.columns (data)
- Feature file job Bot Management (compute)
- Global propagation config push (network)

### Edge server

- Core proxy FL2 (Rust) (edge)
- Bot module 200-feature limit (security)

### Downstream

- Turnstile, KV, Access behind proxy (compute)
- Dashboard login (frontend)
- End users HTTP (user)

### Fluxos

- gen -> ch: consulta metadados
- ch -> gen: colunas duplicadas
- gen -> dist: publica arquivo 2x
- dist -> proxy: propaga sem anéis
- proxy -> bot: carrega features
- bot -> proxy: estouro, panic
- proxy -> client: HTTP 5xx
- proxy -> svc: roteia, falha
- dash -> svc: login usa Turnstile

> **Causa raiz:** A causa raiz não é a mudança de permissões. Ela só revelou três suposições frágeis empilhadas: a query de geração assumia que `system.columns` devolveria só as colunas do banco `default`, sem filtrar por banco; o arquivo gerado foi tratado como dado confiável e propagado para a rede inteira de uma vez, sem validação de tamanho nem rollout progressivo; e o módulo de bot tinha um limite rígido de 200 features que, quando ultrapassado, virava panic no processo que serve todo o tráfego, em vez de recusar o arquivo novo e seguir com o anterior. Qualquer uma das três, corrigida, teria contido o incidente.

## Um módulo acessório derrubando o caminho principal

O bot score é útil, mas não é essencial para entregar uma página. Um site atrás da Cloudflare continua funcionando se, por algumas horas, a classificação de bots ficar menos precisa. Ele não funciona se o proxy morre. Essa assimetria de valor deveria ter guiado a forma como o módulo falha, e não guiou.

O post-mortem mostra os dois comportamentos lado a lado, e o contraste é a parte mais instrutiva do caso. No **FL2**, o proxy novo, o erro ao carregar o arquivo virou panic e o cliente recebeu 5xx. No **FL**, o proxy antigo, não houve panic: o módulo seguiu rodando, mas atribuiu bot score zero a todo o tráfego. Clientes com regras para bloquear bots passaram a bloquear tráfego legítimo, um falso positivo em massa. Nenhum dos dois comportamentos é o certo. Um falha fechado de forma catastrófica, o outro falha aberto de forma silenciosa e errada.

O comportamento que eu esperaria de um módulo não essencial é um terceiro: **rejeitar o arquivo inválido, manter o last-known-good em memória e emitir alarme**. A análise do bot continua com features da rodada anterior, um pouco defasadas, e o caminho principal nem percebe. O ponto não é que falhar aberto é sempre melhor que falhar fechado. Para um módulo de autorização, falhar aberto é inaceitável. O ponto é que a política de falha precisa ser decidida módulo a módulo, pelo custo de cada modo de falha, e escrita no código. Um `unwrap()` não é uma política de falha, é a ausência dela.

**Limite rígido sem degradação:** pré-alocar memória para 200 features é uma decisão razoável de performance num proxy que processa cada requisição. O defeito não é o limite, é o que acontece ao bater nele. Um limite que derruba o processo transforma uma salvaguarda de recurso em ponto único de falha. O mesmo limite, checado na carga do arquivo e não no caminho quente, teria virado um arquivo rejeitado e um alarme.

## Como um módulo não essencial deveria reagir a configuração inválida

### Panic no processo (FL2)

**Pros**
- Erro impossível de ignorar
- Nenhum dado errado é servido

**Cons**
- Derruba o caminho principal por causa de um recurso acessório
- Blast radius igual ao alcance da propagação: global

**Verdict:** Inaceitável para módulo que não é essencial à entrega.

### Seguir com valor padrão (FL)

**Pros**
- O proxy continua de pé

**Cons**
- Bot score zero vira falso positivo em massa para quem bloqueia bots
- Falha silenciosa: o dano aparece no cliente, não no alarme

**Verdict:** Melhor que o panic, mas troca indisponibilidade por decisão errada.

### Rejeitar e manter last-known-good

**Pros**
- Caminho principal intacto
- Decisões continuam corretas, só um pouco defasadas
- Erro vira alarme acionável

**Cons**
- Exige guardar a versão anterior e validar na carga
- Precisa de alarme de defasagem, senão o arquivo velho fica para sempre

**Verdict:** **Recomendada** para qualquer configuração gerada que alimenta módulo acessório.

## Por que o diagnóstico levou três horas

Entre 11:28 e 14:30 o problema já existia inteiro, e a correção, voltar ao arquivo anterior, era simples. O que custou tempo foi chegar até ela. Três fatores do próprio post-mortem explicam isso, e todos se repetem em outras empresas.

**O sinal oscilava:** como o arquivo era regenerado periodicamente e a mudança de permissões estava no meio do rollout no ClickHouse, a rede alternava entre arquivo bom e ruim. Falha intermitente com recuperação espontânea é a assinatura clássica de ataque volumétrico, não de configuração ruim. A equipe procurou um DDoS.

**A coincidência:** a página de status da Cloudflare, hospedada fora da infraestrutura da empresa, ficou fora do ar no mesmo intervalo. Dois sistemas independentes caindo juntos reforçou a hipótese de ataque coordenado.

**Os sintomas apareceram longe da causa:** os primeiros erros investigados foram no Workers KV, que passa pelo proxy. A mitigação das 13:05, contornar o proxy novo para KV e Access, reduziu o impacto, mas tratou o sintoma no serviço e não a origem no arquivo.

Há ainda um efeito de segunda ordem que o post-mortem registra: os sistemas de debugging e observabilidade, ao enriquecer os erros não tratados, consumiram CPU e aumentaram a latência na borda. A ferramenta feita para ajudar no incidente virou carga adicional durante o incidente.

**A dependência circular do próprio time:** o login do Dashboard usava o Turnstile, que estava atrás do mesmo proxy. Quem não tinha sessão aberta não conseguia entrar no painel. É o padrão de sempre: a ferramenta de operação depende do produto que ela opera. Durante a falha do produto, a ferramenta falha junto, e o caminho de recuperação precisa existir fora do sistema que está caído.

## Remediação e o paralelo com o CrowdStrike

O post-mortem lista quatro frentes de correção, e elas valem mais pela direção do que pelo detalhe:

- **Endurecer a ingestão de arquivos de configuração gerados pela própria Cloudflare** com o mesmo rigor aplicado a entrada de usuário. É a frase mais importante do documento: o arquivo interno passa a ser tratado como não confiável.
- **Mais kill switches globais** por funcionalidade, para desligar um módulo inteiro sem depender de reverter um arquivo.
- **Impedir que core dumps e relatórios de erro esgotem recursos** do servidor, o que ataca diretamente o efeito de segunda ordem da observabilidade.
- **Revisar os modos de falha** das condições de erro em todos os módulos do proxy principal.

O paralelo inevitável é o CrowdStrike de julho de 2024, e vale a comparação curta. Lá, um arquivo de conteúdo do sensor foi para todos os endpoints ao mesmo tempo, sem rollout em anéis, e um componente que rodava com privilégio alto não validou a entrada. A estrutura é a mesma: **conteúdo tratado como dado, não como código, e por isso isento do rollout progressivo que o binário teria**. A diferença está no gatilho. No CrowdStrike o conteúdo foi escrito e publicado por uma pessoa. Na Cloudflare ninguém publicou nada: o arquivo foi gerado por um job automático a partir de um banco que mudou por outro motivo, com outro dono. Isso torna o caso de 2025 mais difícil de prevenir com processo de revisão humana. Não houve um momento de publicação para revisar.

A lição que os dois casos dividem é que a distinção entre código e configuração não descreve risco. O que descreve risco é **quantos servidores um artefato alcança e em quanto tempo**. Um arquivo que chega a toda a borda em minutos tem o blast radius de um deploy global, e merece os mesmos freios: validação de esquema e tamanho antes de publicar, canário numa fração pequena da rede, observação de taxa de erro, e só então expansão.

## Lições

- **Configuração gerada é código:** se alcança a rede inteira, precisa do mesmo rollout progressivo do binário, com canário e expansão por anéis.
- **Valide antes de propagar:** tamanho, contagem de features e duplicidade de nomes são checagens baratas que teriam barrado este arquivo na origem.
- **Política de falha por módulo:** módulo acessório rejeita a entrada inválida e segue com last-known-good. Nem panic, nem valor padrão silencioso.
- **Limite rígido checado na carga, não no caminho quente:** a salvaguarda de memória deve recusar o arquivo, nunca derrubar o processo que serve tráfego.
- **Query de metadados com escopo explícito:** ler `system.columns` sem filtrar por banco é depender de uma permissão que outra equipe pode mudar.
- **Ferramenta de operação fora do produto operado:** login do painel e caminho de recuperação não podem passar pelo sistema que está caído.

> **Minha leitura:** Em 16 anos operando sistemas financeiros, os incidentes que mais me custaram nunca vieram do deploy de código. O deploy tinha pipeline, aprovação, canário e rollback. Vieram de tabela de parâmetro, feature flag, arquivo de regra de antifraude: coisas que alguém chamou de configuração e que por isso pularam todos os freios. Depois de um desses, adotei uma regra simples: todo artefato que chega a produção é classificado pelo alcance, não pelo tipo. Se ele atinge mais de um anel de uma vez, entra no mesmo pipeline do binário. A segunda coisa que eu faria no lugar da Cloudflare é um teste de caos específico: publicar de propósito um arquivo de features inválido num canário e verificar que o módulo rejeita, mantém o anterior e alarma. Se esse teste não existe, a política de falha só existe no documento. E eu tiraria o login do painel de qualquer dependência do próprio produto, com um caminho de acesso de emergência testado a cada trimestre, porque o dia em que você precisa dele é exatamente o dia em que o produto não está lá.

## Veredito

O incidente de 18 de novembro não foi causado por um erro grande, foi causado por três suposições pequenas que nenhum controle cruzava: uma query sem escopo de banco, um arquivo gerado tratado como confiável e um limite de memória que derrubava o processo. A Cloudflare respondeu na direção certa ao tratar a própria configuração como entrada não confiável. Para quem opera plataforma, a recomendação é condicional e direta: se um artefato gerado por máquina alcança toda a sua frota em minutos, dê a ele validação na origem, rollout em anéis e last-known-good no consumidor. Se o módulo que o consome não é essencial à entrega, ele nunca pode ter o poder de derrubar o caminho principal. Se você não consegue afirmar as duas coisas sobre os seus pipelines de configuração hoje, o seu blast radius real é maior do que o desenhado.

## Referências

- [Cloudflare: Cloudflare outage on November 18, 2025](https://blog.cloudflare.com/18-november-2025-outage/)

## Fontes do caso

- [Cloudflare: Cloudflare outage on November 18, 2025](https://blog.cloudflare.com/18-november-2025-outage/)
