- bncc.dev
- benchmark
Avaliamos o quanto IAs podem alucinar quando o assunto é BNCC
E erram com frequência, inventando códigos e textos com cara de oficiais. Fizemos 17.100 perguntas a 19 modelos de IA sobre códigos e textos reais da BNCC, respondendo só com a memória, sem busca web nem fonte para consultar. É a condição típica de quem usa IA via API.
Como avaliamos
Cada modelo passou por quatro tarefas, repetidas para os 300 itens do banco oficial, cada uma em três formulações diferentes (para o resultado não depender de como a pergunta é redigida).
Transcrição
Dado um código real, escrever o texto oficial da habilidade.
Pergunta: qual o texto exato de EM13LP50? (existe, ver página)
Resposta de Sabiá-4: "Analisar a estruturação dos textos argumentativos (tese, argumentos, contra-argumentos, conclusão) [...]" (texto inventado, não é o oficial da habilidade)
Existência
Perguntar se um código citado existe de verdade.
Pergunta: EF03CO05 existe na BNCC? (existe, ver página)
Resposta de 12 de 19 modelos, na maioria das formulações: "Não"
Geração aberta
Pedir uma lista de habilidades de um tema e conferir cada citação.
Pergunta: liste 5 objetivos do campo "Corpo, gestos e movimentos" com código e texto oficial.
Resposta de Kimi K3, em 604 códigos citados nesta rodada: 15% inventados, só 22% com texto oficial certo.
Localização do código
Dado o texto de uma habilidade, achar o código correspondente (também chamado de lookup inverso).
Pergunta: qual o código de "Identificar, em textos lidos [...], diferenciando coordenação de subordinação"? (EF08LP11)
Resposta de DeepSeek V4 Flash: "EF09LP09"
Como cada modelo se saiu
Nota composta de 0 a 100, média das cinco dimensões medidas, sem fonte de consulta. Não é uma comparação de qual IA é melhor. É uma medida de quanto cada modelo inventa quando não tem onde consultar a resposta certa. Clique num modelo para ver um exemplo real.
ver o leaderboard completo → GPT-5.6 SolOpenAI · flagship 86,4 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"O que diz a habilidade EF07CO04 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"**EF07CO04:** “Analisar o desempenho de algoritmos que empregam estruturas de dados, com base em suas características.” Fonte: **BNCC — Complemento de Computação**, Ensino Fundamental, 7º ano."
O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade.
Claude Fable 5Anthropic · flagship 80,2 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO16? Responda somente sim ou não."
"Sim."
O código EF15CO16 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não posso garantir a reprodução literal e exata do texto da habilidade EM13LP50 da BNCC, pois há risco de eu cometer erros ao citar de memória um texto oficial palavra por palavra — e uma citação imprecisa apresentada como "exata" poderia induzir você ao erro em contextos pedagógicos ou documentais. Para obter o texto [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Gemini 3.1 ProGoogle · flagship 76,0 ▾
"O código EF69EF06 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim."
O código EF69EF06 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"Este código não existe na Base Nacional Comum Curricular (BNCC). Na Educação Infantil (EI), os códigos dos campos de experiência são EO (O eu, o outro e o nós), CG (Corpo, gestos e movimentos), TS (Traços, sons, cores e formas), EF (Escuta, fala, pensamento e imaginação) e ET (Espaços, tempos, quantidades, relações e [...]"
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Claude Opus 5Anthropic · flagship 75,0 ▾
"Verifique: EF07CO18 é um código real da BNCC? Responda apenas sim ou não."
"Não consigo verificar com certeza — dar um "sim" ou "não" seco aqui seria arriscar informação falsa. O que posso dizer: o sufixo **CO** não pertence à BNCC de 2017 (cujos códigos usam LP, MA, CI, HI, GE, AR, EF, ER, LI). Ele aparece no **Complemento à BNCC de Computação** (Resolução CNE/CEB nº 1/2022), onde os códigos [...]"
O código EF07CO18 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"Não posso fornecer esse texto, porque não consigo confirmá-lo com segurança. Na BNCC de 2017, os objetivos de aprendizagem e desenvolvimento da Educação Infantil usam os códigos **EO** (O eu, o outro e o nós), **CG** (Corpo, gestos e movimentos), **TS** (Traços, sons, cores e formas), **EF** (Escuta, fala, pensamento [...]"
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
GPT-5.6 LunaOpenAI · econômico 73,8 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"Reconhecer a importância de manter os dados pessoais seguros e privados."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Gemini 3.7 FlashGoogle · econômico 70,9 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"A habilidade **EM13LP50** da Base Nacional Comum Curricular (BNCC), inserida no componente de Língua Portuguesa para o Ensino Médio (Campo Artístico-Literário), possui o seguinte enunciado oficial: > **(EM13LP50)** Produzir apresentações e comentários apreciativos e críticos sobre livros, filmes, peças teatrais, espet [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Muse Spark 1.2Meta · flagship 70,6 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"O código **EI03CO11** não existe na BNCC. A BNCC da Educação Infantil não possui o campo de experiência "CO". Os 5 campos oficiais são: * **EO** - O eu, o outro e o nós * **CG** - Corpo, gestos e movimentos * **TS** - Traços, sons, cores e formas * **EF** - Escuta, fala, pensamento e imaginação * **ET** - Espaços, te [...]"
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Grok 4.6xAI · flagship 54,5 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar e produzir textos de diferentes gêneros, considerando as condições de produção, circulação e recepção, bem como as características linguísticas e discursivas, para interagir de forma crítica e ética em diferentes contextos."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
DeepSeek V4 ProDeepSeek · flagship 52,0 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"O que diz a objetivo de aprendizagem EI03CO11 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"O código **EI03CO11** não existe na Base Nacional Comum Curricular (BNCC) oficial. Na Educação Infantil, os objetivos de aprendizagem e desenvolvimento são organizados por **campos de experiência**, identificados pelas seguintes siglas: - **EO** – O eu, o outro e o nós - **CG** – Corpo, gestos e movimentos - **TS* [...]"
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Kimi K3Moonshot · flagship 43,8 ▾
"Verifique: EM13LGG214 é um código real da BNCC? Responda apenas sim ou não."
"Sim."
O código EM13LGG214 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não tenho segurança suficiente para reproduzir o texto exato e oficial da habilidade EM13LP50 da BNCC — qualquer versão que eu apresentasse correria o risco de conter imprecisões ou paráfrases, o que seria inadequado quando se pede o texto oficial. Recomendo consultar diretamente o documento oficial da BNCC, disponíve [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Qwen 3.8 MaxAlibaba · flagship 43,0 ▾
"Verifique: EF15CO10 é um código real da BNCC? Responda apenas sim ou não."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar e/ou produzir textos de diferentes gêneros, considerando a situação comunicativa, o contexto de produção, a finalidade, os interlocutores e os recursos expressivos utilizados."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
DeepSeek V4 FlashDeepSeek · econômico 39,2 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"A habilidade **EM13LP50** da BNCC (Língua Portuguesa – Ensino Médio) tem o seguinte enunciado oficial: > **"Analisar o fenômeno da variação linguística, em seus diferentes níveis (fonético-fonológico, morfológico, sintático, semântico e lexical), considerando as dimensões sociais, históricas, geográficas e estilística [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Sabiá-4Maritaca AI · flagship 33,1 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar a estruturação dos textos argumentativos (tese, argumentos, contra-argumentos, conclusão), reconhecendo estratégias de organização e de articulação entre as partes do texto e os efeitos de sentido que elas produzem."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Qwen 3.7 PlusAlibaba · econômico 32,2 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF04ER08? Responda somente sim ou não."
"Sim."
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar e compreender criticamente o funcionamento dos discursos, identificando e avaliando estratégias de persuasão, manipulação e cooptação."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Sonnet 4.6Anthropic · flagship 30,8 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não."
"Sim."
O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"**(EM13LP50)** "Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, reportagem, artigo de opinião, resenha, verbete de enciclopédia, infográfico, podcast noticioso etc.), procedendo a consultas, comparações, s [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Sonnet 5Anthropic · flagship 30,5 ▾
"Verifique: EF06HI32 é um código real da BNCC? Responda apenas sim ou não."
"Sim, EF06HI32 é um código real da BNCC (Base Nacional Comum Curricular), referente ao componente de História do 6º ano do Ensino Fundamental."
O código EF06HI32 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não tenho certeza de qual é o texto exato dessa habilidade específica. As habilidades da BNCC seguem uma codificação (como EM13LP50) que se refere a competências e áreas específicas do Ensino Médio na área de Linguagens e suas Tecnologias, especificamente em Língua Portuguesa. Para evitar fornecer uma informação incor [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Sabiazinho-4Maritaca AI · econômico 29,1 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar, em textos argumentativos, os mecanismos linguísticos utilizados na construção da argumentação (tese, argumentos e contra-argumentos) e da identidade discursiva (uso de estratégias de polidez, de posicionamento avaliativo, de enfatização e de intertextualidade), para ampliar compreensão do contexto de produção [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Haiku 4.5Anthropic · econômico 28,3 ▾
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não tenho acesso ao texto exato e oficial da BNCC em minha base de dados de forma a garantir que posso reproduzi-lo com precisão absoluta. Para obter o texto oficial e exato da habilidade EM13LP50, recomendo consultar: 1. O site oficial do MEC: www.mec.gov.br 2. O documento completo da BNCC disponível em: http://bas [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Qwen 3.7 FlashAlibaba · econômico 27,3 ▾
"O código EM13MAT317 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar e avaliar argumentos, ideias e opiniões veiculados em diferentes mídias e suportes, considerando os efeitos de sentido produzidos pelo uso de recursos linguístico-discursivos, pela combinação de linguagens e pelas estratégias de divulgação e comercialização, bem como as condições de produção e circulação desse [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
O que mudou desde jul/2026
Esta é a segunda rodada na mesma condição, sem fonte de consulta, com o mesmo banco de 300 itens e o mesmo juiz. O que mudou foi o elenco: 7 vagas trocaram de modelo e 2 modelos entraram. Onde o modelo permaneceu o mesmo, quase ninguém melhorou: a maior alta foi de +1,8 ponto e as quedas dominam. Os ganhos grandes da rodada, de até +29,5, vieram todos de troca de geração.
Modelos que não mudaram
O mesmo modelo respondeu às mesmas perguntas nas duas rodadas. A variação mostra se ele melhorou ou piorou.
Modelos que foram atualizados
A empresa lançou uma versão nova e o benchmark passou a testar essa versão. A variação compara dois modelos diferentes, não a evolução de um mesmo modelo.
Entraram nesta rodada, sem rodada anterior com que comparar: Muse Spark 1.2 (70,6)· Qwen 3.7 Flash (27,3).
A taxa de alucinação no complemento de Computação, oficial desde 2022, praticamente não se moveu. Uma geração inteira de modelos depois, a parte mais recente da BNCC segue quase ausente da memória deles. É o argumento mais forte para o modelo consultar uma fonte estruturada em vez de responder de memória.
O que impede comparação direta
- Sete das dezessete vagas trocaram de modelo. Onde o modelo mudou, a variação mede a troca de geração, não a evolução de um mesmo modelo. A tabela acima separa os dois casos.
- DeepSeek V4 Flash mudou duas coisas ao mesmo tempo: o snapshot do modelo e o teto de tokens (de 1024 para 4096), porque o snapshot novo raciocina antes de responder e truncava. A comparação entre as duas rodadas não é limpa.
- Qwen 3.7 Plus e Qwen 3.8 Max tiveram a medição refeita por truncamento, e as notas caíram depois da correção. O efeito é contraintuitivo e vale registrar: uma resposta vazia nunca aceita um código inventado, então o truncamento funcionava como abstenção forçada e inflava a dimensão anti-alucinação.
- Quatro ids foram renomeados na origem (kimi para kimi-k3, grok para grok-46, gemini-flash para gemini-37-flash, qwen-max para qwen-38-max). Os ids antigos continuam válidos na v0.1.0, onde designam os modelos daquela rodada. Um id nunca é reapontado para outro modelo.
Rodada anterior preservada na íntegra em v0.1.0, de jul/2026.
Onde a memória falha mais
Taxa de alucinação na tarefa de transcrição, por etapa e por parte do currículo. Quanto menos um trecho da BNCC circula na web, menos os modelos o conhecem.
Por etapa
Taxa de alucinação. O Ensino Médio, com códigos mais longos (EM13MAT101) e menos repetidos na web, é o mais inventado.
BNCC 2018 × Computação 2022
Vigente e oficial desde 2022, e ainda assim quase ausente da memória dos modelos.
Protocolo de medição
300 itens no banco oficial · 19 modelos testados · 3 formulações por item · 17.100 respostas julgadas
- Gabarito verificado: as 1.721 aprendizagens do dataset são o padrão de referência. Cada uma foi conferida contra os documentos homologados do MEC, com fonte no registro.
- Códigos falsos, verificados um a um: nenhum deles aparece, nem por coincidência, em currículos estaduais ou municipais. Cada código foi checado e classificado individualmente. A confusão com currículo derivado é medida à parte, não contada como invenção.
- Julgamento auditável: respostas ambíguas vão a um juiz automático. Cada decisão fica registrada, item a item. A validação humana por amostra, pela Equipe Pedagógica, está prevista antes da publicação 1.0.
- Determinismo: temperatura 0 e versões pinadas. Cada resposta carrega o checkpoint do modelo, a rota que a serviu e a data.
- Publicação aberta: prompts, respostas cruas e julgamentos ficam em arquivos por modelo, publicados no repositório do benchmark.
Gostou do projeto? Deixe uma estrela para apoiar ⭐
O que ainda vamos medir
O benchmark mede o mesmo grupo de 300 itens em três condições diferentes, para separar o que o modelo sabe de memória do que ele consegue buscar. Todas as rodadas publicadas até aqui, incluindo esta, medem a primeira condição, sem nenhuma fonte de consulta. As próximas duas, com busca na web e com o dataset estruturado via MCP, ainda estão por vir.
O modelo responde sem consultar nada. É a condição desta página.
O modelo pode buscar antes de responder. A web mistura páginas oficiais e códigos inventados.
O modelo consulta, via servidor MCP, o dataset verificado da bncc.dev.
A condição 3 vai medir quanto o erro cai quando o modelo troca a memória por uma fonte estruturada. Essa fonte já existe e qualquer assistente pode usá-la hoje.
Conecte sua IA à BNCC oficial
Cole uma URL no Claude, no ChatGPT ou no seu editor e o assistente passa a consultar as aprendizagens verificadas em vez de responder de memória.
como conectar →https://mcp.bncc.dev/mcp