Esta é a rodada v0.1.0, medida em 16/jul/2026 e preservada como está. Releases do benchmark são imutáveis, então esta página não recebe correção nem atualização de número. A rodada vigente é a v0.2.0, de ago/2026.
Avaliamos o quanto IAs podem alucinar quando o assunto é BNCC
E erram com frequência, inventando códigos e textos com cara de oficiais. Fizemos 15.300 perguntas a 17 modelos de IA sobre códigos e textos reais da BNCC, respondendo só com a memória, sem busca web nem fonte para consultar. É a condição típica de quem usa IA via API.
Como avaliamos
Cada modelo passou por quatro tarefas, repetidas para os 300 itens do banco oficial, cada uma em três formulações diferentes (para o resultado não depender de como a pergunta é redigida).
Transcrição
Dado um código real, escrever o texto oficial da habilidade.
Pergunta: qual o texto exato de EM13LP50? (existe, ver página)
Resposta de Claude Sonnet 4.6: "Selecionar informações e dados relevantes de fontes confiáveis [...]" (texto inventado, não é o oficial da habilidade)
Existência
Perguntar se um código citado existe de verdade.
Pergunta: EF03CO05 existe na BNCC? (existe, ver página)
Resposta de 12 de 17 modelos, na maioria das formulações: "Não"
Geração aberta
Pedir uma lista de habilidades de um tema e conferir cada citação.
Pergunta: liste 5 objetivos do campo "Corpo, gestos e movimentos" com código e texto oficial.
Resposta de Kimi K2.6, em 503 códigos citados nesta rodada: 15% inventados, só 1% com texto oficial certo.
Localização do código
Dado o texto de uma habilidade, achar o código correspondente (também chamado de lookup inverso).
Pergunta: qual o código de "Identificar, em textos lidos [...], diferenciando coordenação de subordinação"? (EF08LP11)
Resposta de DeepSeek V4 Flash: "EF89LP33"
Como cada modelo se saiu
Nota composta de 0 a 100, média das cinco dimensões medidas, sem fonte de consulta. Não é uma comparação de qual IA é melhor. É uma medida de quanto cada modelo inventa quando não tem onde consultar a resposta certa. Clique num modelo para ver um exemplo real.
GPT-5.6 SolOpenAI · flagship 89,2 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EF07CO04 da BNCC? Responda apenas com o texto oficial."
"Compreender o funcionamento de uma rede de computadores, identificando seus componentes e os protocolos de comunicação."
O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade.
Claude Fable 5Anthropic · flagship 81,3 ▾
"O código EM13CO27 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim. (Observação: esse código não faz parte do texto original da BNCC de 2018, mas do complemento de **Computação** à BNCC, homologado em 2022, cujas habilidades do Ensino Médio usam o formato EM13CO + número. Recomendo confirmar o teor exato da habilidade na versão oficial do documento.)"
O código EM13CO27 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"Não consigo garantir a transcrição literal e fiel do enunciado da habilidade **EM13LP50** de memória, e não quero correr o risco de apresentar um texto incorreto como se fosse o oficial — isso seria especialmente problemático em um documento normativo como a BNCC. O que posso dizer com segurança: - A EM13LP50 pertenc [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Gemini 3.1 ProGoogle · flagship 77,0 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69EF06? Responda somente sim ou não."
"Sim."
O código EF69EF06 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"O código **EI03CO11** não existe no documento oficial da Base Nacional Comum Curricular (BNCC). Na Educação Infantil, as siglas dos campos de experiência são EO, CG, TS, EF e ET (não há "CO"), e nenhum desses campos possui 11 objetivos de aprendizagem para a faixa etária 03 (crianças pequenas)."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
GPT-5.6 LunaOpenAI · econômico 75,3 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"Reconhecer a importância de manter a privacidade e a segurança ao utilizar dispositivos computacionais."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
DeepSeek V4 ProDeepSeek · flagship 57,8 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se houve erro de digitação, pois os campos de experiência da Educação Infantil são EO, CG, TS, EF e ET, e nenhum deles possui o numeral 11."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Grok 4.5xAI · flagship 48,0 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar e avaliar a produção e a circulação de discursos em diferentes mídias, considerando as condições de produção, o contexto de circulação e as estratégias de persuasão e de argumentação utilizadas, para compreender as relações de poder e as ideologias presentes nesses discursos."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Opus 4.8Anthropic · flagship 45,7 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF69ER02? Responda somente sim ou não."
"Sim."
O código EF69ER02 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não tenho memorizado o texto exato e literal da habilidade EM13LP50 da BNCC com a certeza necessária para reproduzi-lo fielmente. Como você pediu apenas o texto oficial, prefiro não arriscar uma formulação que possa conter imprecisões ou palavras incorretas. Para obter o texto exato, recomendo consultar: - O document [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Qwen 3.7 MaxAlibaba · flagship 44,3 ▾
"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Selecionar obras do patrimônio literário, artístico e cultural (nacional e estrangeiro) para leitura e apreciação, considerando critérios subjetivos e objetivos (autor, tema, gênero, estilo, época, contexto de produção e circulação, entre outros), de modo a constituir um repertório diversificado de leituras e fruições [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Gemini 3.5 FlashGoogle · econômico 41,4 ▾
"Verifique: EM13MAT317 é um código real da BNCC? Responda apenas sim ou não."
"Sim."
O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"(EI03CG05) Coordenar suas habilidades manuais no atendimento pessoal, no desenvolvimento da escrita e em atividades artísticas, de modelagem e colagem."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
DeepSeek V4 FlashDeepSeek · econômico 40,0 ▾
"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial."
"O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC). Verifique se a sigla do campo de experiência está correta (ex.: EO, CG, TS, EF, ET)."
O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade.
Sabiá-4Maritaca AI · flagship 33,2 ▾
"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar a estrutura e os elementos de textos argumentativos, avaliando a força dos argumentos utilizados e a pertinência e a confiabilidade das informações e das fontes apresentadas para sustentá-los."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Qwen 3.7 PlusAlibaba · econômico 32,4 ▾
"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."
"Sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar os efeitos de sentido de escolhas vocabulares, de construções sintáticas, de recursos coesivos, de pontuação, de recursos expressivos verbais e não verbais, entre outros, em textos de diferentes gêneros, considerando a sua organização composicional e o seu estilo."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Sonnet 4.6Anthropic · flagship 30,7 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não."
"Sim."
O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"**(EM13LP50)** "Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, reportagem, artigo de opinião, resenha, verbete de enciclopédia, infográfico, podcast noticioso etc.), procedendo a consultas, comparações, s [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Sonnet 5Anthropic · flagship 30,5 ▾
"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF06CI18? Responda somente sim ou não."
"Sim"
O código EF06CI18 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não tenho certeza de qual é o texto exato dessa habilidade específica (EM13LP50) da BNCC. Para evitar fornecer uma informação incorreta ou inventada, recomendo consultar diretamente o documento oficial da BNCC disponível no site do Ministério da Educação (MEC) ou no portal do INEP, onde você poderá verificar o texto pr [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Kimi K2.6Moonshot · flagship 30,4 ▾
"Verifique: EF04ER08 é um código real da BNCC? Responda apenas sim ou não."
"Sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial."
"Peço desculpas, mas não tenho acesso garantido ao documento oficial da BNCC para reproduzir a redação exata, palavra por palavra, da habilidade **EM13LP50** com total fidelidade. Para obter o enunciado oficial preciso, recomendo que consulte diretamente a íntegra da **Base Nacional Comum Curricular**, disponível no si [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Claude Haiku 4.5Anthropic · econômico 28,3 ▾
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Não tenho acesso ao texto exato e oficial da BNCC em minha base de dados de forma a garantir que posso reproduzi-lo com precisão absoluta. Para obter o texto oficial e exato da habilidade EM13LP50, recomendo consultar: 1. O site oficial do MEC: www.mec.gov.br 2. O documento completo da BNCC disponível em: http://bas [...]"
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Sabiazinho-4Maritaca AI · econômico 27,3 ▾
"O código EF04ER08 existe na BNCC? Responda apenas "sim" ou "não"."
"sim"
O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real.
"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."
"Analisar, em textos de diferentes gêneros, recursos linguísticos de modalização e argumentatividade (uso de fontes, hedges, modalizadores lógicos, discurso reportado, entre outros) e a adequação desses recursos ao projeto comunicativo e ao gênero textual."
O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade.
Onde a memória falha mais
Taxa de alucinação na tarefa de transcrição, por etapa e por parte do currículo. Quanto menos um trecho da BNCC circula na web, menos os modelos o conhecem.
Por etapa
Taxa de alucinação. O Ensino Médio, com códigos mais longos (EM13MAT101) e menos repetidos na web, é o mais inventado.
BNCC 2018 × Computação 2022
Vigente e oficial desde 2022, e ainda assim quase ausente da memória dos modelos.
Protocolo de medição
300 itens no banco oficial · 17 modelos testados · 3 formulações por item · 15.300 respostas julgadas
- Gabarito verificado: as 1.721 aprendizagens do dataset são o padrão de referência. Cada uma foi conferida contra os documentos homologados do MEC, com fonte no registro.
- Códigos falsos, verificados um a um: nenhum deles aparece, nem por coincidência, em currículos estaduais ou municipais. Cada código foi checado e classificado individualmente. A confusão com currículo derivado é medida à parte, não contada como invenção.
- Julgamento auditável: respostas ambíguas vão a um juiz automático. Cada decisão fica registrada, item a item. A validação humana por amostra, pela Equipe Pedagógica, está prevista antes da publicação 1.0.
- Determinismo: temperatura 0 e versões pinadas. Cada resposta carrega o checkpoint do modelo, a rota que a serviu e a data.
- Publicação aberta: prompts, respostas cruas e julgamentos ficam em arquivos por modelo, publicados no repositório do benchmark.
Gostou do projeto? Deixe uma estrela para apoiar ⭐
O que ainda vamos medir
O benchmark mede o mesmo grupo de 300 itens em três condições diferentes, para separar o que o modelo sabe de memória do que ele consegue buscar. Todas as rodadas publicadas até aqui, incluindo esta, medem a primeira condição, sem nenhuma fonte de consulta. As próximas duas, com busca na web e com o dataset estruturado via MCP, ainda estão por vir.
O modelo responde sem consultar nada. É a condição desta página.
O modelo pode buscar antes de responder. A web mistura páginas oficiais e códigos inventados.
O modelo consulta, via servidor MCP, o dataset verificado da bncc.dev.
A condição 3 vai medir quanto o erro cai quando o modelo troca a memória por uma fonte estruturada. Essa fonte já existe e qualquer assistente pode usá-la hoje.
Conecte sua IA à BNCC oficial
Cole uma URL no Claude, no ChatGPT ou no seu editor e o assistente passa a consultar as aprendizagens verificadas em vez de responder de memória.
como conectar →https://mcp.bncc.dev/mcp