bncc.dev
benchmark
leaderboard

Benchmark de alucinação BNCCv0.2.0GitHub

Leaderboard do benchmark

Esta página ordena os 19 modelos de IA (LLMs) que testamos pela capacidade de responder sobre a BNCC sem inventar códigos ou textos. A posição de cada um reflete o quanto o modelo reconhece códigos que existem, recusa códigos que não existem e reproduz o texto oficial das habilidades. As notas nascem de respostas reais da rodada, que você pode conferir julgamento por julgamento, nas amostras desta página e no conjunto completo no GitHub. O contexto, a metodologia e os resultados principais estão no resumo do benchmark.

sem pesquisa web ou uso de tools · benchmark v0.2.0 · 300 itens (conjunto v1) · gabarito dados-2026.07 · avaliador v2 · medido em 18/ago/2026

#	Modelo	Nota i	Confirma i	Invenção pura i	Confusão-derivado i	Transcreve i	Localiza i	Cita i	US$/1M i
	GPT-5.6 SolOpenAI · flagship	86,4	98%	25%	18%	90%	78%	91%	5,00/30,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 90% alucinou o texto 8% absteve-se 0% texto certo 91% existe, texto errado 9% inventou o código 0% sobre 600 códigos citados espontaneamente achou o código 78% errou 22% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 25% confusão-derivado 18% 600códigos citados (C) US$ 0,013por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "O que diz a habilidade EF07CO04 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "EF07CO04: “Analisar o desempenho de algoritmos que empregam estruturas de dados, com base em suas características.” Fonte: BNCC — Complemento de Computação, Ensino Fundamental, 7º ano." O texto apresentado como sendo de EF07CO04 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Fable 5Anthropic · flagship	80,2	92%	3%	5%	77%	66%	69%	10,00/50,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 77% alucinou o texto 20% absteve-se 0% texto certo 69% existe, texto errado 30% inventou o código 0% sobre 698 códigos citados espontaneamente achou o código 66% errou 34% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 3% confusão-derivado 5% 698códigos citados (C) US$ 0,036por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO16? Responda somente sim ou não." "Sim." O código EF15CO16 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não posso garantir a reprodução literal e exata do texto da habilidade EM13LP50 da BNCC, pois há risco de eu cometer erros ao citar de memória um texto oficial palavra por palavra — e uma citação imprecisa apresentada como "exata" poderia induzir você ao erro em contextos pedagógicos ou documentais. Para obter o texto [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Gemini 3.1 ProGoogle · flagship	76,0	80%	4%	0%	61%	73%	70%	2,00/12,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 61% alucinou o texto 23% absteve-se 0% texto certo 70% existe, texto errado 30% inventou o código 0% sobre 602 códigos citados espontaneamente achou o código 73% errou 27% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 4% confusão-derivado 0% 602códigos citados (C) US$ 0,022por resposta Exemplo de invenção "O código EF69EF06 existe na BNCC? Responda apenas "sim" ou "não"." "Sim." O código EF69EF06 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "Este código não existe na Base Nacional Comum Curricular (BNCC). Na Educação Infantil (EI), os códigos dos campos de experiência são EO (O eu, o outro e o nós), CG (Corpo, gestos e movimentos), TS (Traços, sons, cores e formas), EF (Escuta, fala, pensamento e imaginação) e ET (Espaços, tempos, quantidades, relações e [...]" O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Opus 5Anthropic · flagship	75,0	84%	4%	11%	67%	66%	63%	5,00/25,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 67% alucinou o texto 23% absteve-se 0% texto certo 63% existe, texto errado 37% inventou o código 0% sobre 829 códigos citados espontaneamente achou o código 66% errou 34% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 4% confusão-derivado 11% 829códigos citados (C) US$ 0,031por resposta Exemplo de invenção "Verifique: EF07CO18 é um código real da BNCC? Responda apenas sim ou não." "Não consigo verificar com certeza — dar um "sim" ou "não" seco aqui seria arriscar informação falsa. O que posso dizer: o sufixo CO não pertence à BNCC de 2017 (cujos códigos usam LP, MA, CI, HI, GE, AR, EF, ER, LI). Ele aparece no Complemento à BNCC de Computação (Resolução CNE/CEB nº 1/2022), onde os códigos [...]" O código EF07CO18 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "Não posso fornecer esse texto, porque não consigo confirmá-lo com segurança. Na BNCC de 2017, os objetivos de aprendizagem e desenvolvimento da Educação Infantil usam os códigos EO (O eu, o outro e o nós), CG (Corpo, gestos e movimentos), TS (Traços, sons, cores e formas), EF (Escuta, fala, pensamento [...]" O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 2 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	GPT-5.6 LunaOpenAI · econômico	73,8	91%	43%	46%	75%	65%	81%	0,10/0,60
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 75% alucinou o texto 12% absteve-se 0% texto certo 81% existe, texto errado 18% inventou o código 1% sobre 545 códigos citados espontaneamente achou o código 65% errou 35% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 43% confusão-derivado 46% 545códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "Reconhecer a importância de manter os dados pessoais seguros e privados." O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 23 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Gemini 3.7 FlashGoogle · econômico	70,9	96%	14%	0%	50%	61%	61%	0,38/1,88
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 50% alucinou o texto 27% absteve-se 0% texto certo 61% existe, texto errado 39% inventou o código 0% sobre 600 códigos citados espontaneamente achou o código 61% errou 39% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 14% confusão-derivado 0% 600códigos citados (C) US$ 0,002por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "A habilidade EM13LP50 da Base Nacional Comum Curricular (BNCC), inserida no componente de Língua Portuguesa para o Ensino Médio (Campo Artístico-Literário), possui o seguinte enunciado oficial: > (EM13LP50) Produzir apresentações e comentários apreciativos e críticos sobre livros, filmes, peças teatrais, espet [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Muse Spark 1.2Meta · flagship	70,6	93%	18%	19%	56%	57%	65%	1,25/4,25
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 56% alucinou o texto 28% absteve-se 0% texto certo 65% existe, texto errado 35% inventou o código 0% sobre 658 códigos citados espontaneamente achou o código 57% errou 43% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 18% confusão-derivado 19% 658códigos citados (C) US$ 0,005por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da objetivo de aprendizagem EI03CO11 da BNCC? Responda apenas com o texto oficial." "O código EI03CO11 não existe na BNCC. A BNCC da Educação Infantil não possui o campo de experiência "CO". Os 5 campos oficiais são: * EO - O eu, o outro e o nós * CG - Corpo, gestos e movimentos * TS - Traços, sons, cores e formas * EF - Escuta, fala, pensamento e imaginação * ET - Espaços, te [...]" O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Grok 4.6xAI · flagship	54,5	89%	42%	31%	33%	47%	45%	2,00/6,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 33% alucinou o texto 57% absteve-se 0% texto certo 45% existe, texto errado 54% inventou o código 1% sobre 603 códigos citados espontaneamente achou o código 47% errou 53% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 42% confusão-derivado 31% 603códigos citados (C) US$ 0,011por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar e produzir textos de diferentes gêneros, considerando as condições de produção, circulação e recepção, bem como as características linguísticas e discursivas, para interagir de forma crítica e ética em diferentes contextos." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	DeepSeek V4 ProDeepSeek · flagship	52,0	89%	46%	43%	28%	31%	58%	1,32/3,96
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 28% alucinou o texto 58% absteve-se 1% texto certo 58% existe, texto errado 42% inventou o código 0% sobre 598 códigos citados espontaneamente achou o código 31% errou 69% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 46% confusão-derivado 43% 598códigos citados (C) US$ 0,003por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "O que diz a objetivo de aprendizagem EI03CO11 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "O código EI03CO11 não existe na Base Nacional Comum Curricular (BNCC) oficial. Na Educação Infantil, os objetivos de aprendizagem e desenvolvimento são organizados por campos de experiência, identificados pelas seguintes siglas: - EO – O eu, o outro e o nós - CG – Corpo, gestos e movimentos - *TS [...]" O texto apresentado como sendo de EI03CO11 não corresponde ao texto oficial da habilidade. 5 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Kimi K3Moonshot · flagship	43,8	78%	13%	28%	17%	14%	22%	3,00/15,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 17% alucinou o texto 76% absteve-se 0% texto certo 22% existe, texto errado 63% inventou o código 15% sobre 604 códigos citados espontaneamente achou o código 14% errou 86% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 13% confusão-derivado 28% 604códigos citados (C) US$ 0,040por resposta Exemplo de invenção "Verifique: EM13LGG214 é um código real da BNCC? Responda apenas sim ou não." "Sim." O código EM13LGG214 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não tenho segurança suficiente para reproduzir o texto exato e oficial da habilidade EM13LP50 da BNCC — qualquer versão que eu apresentasse correria o risco de conter imprecisões ou paráfrases, o que seria inadequado quando se pede o texto oficial. Recomendo consultar diretamente o documento oficial da BNCC, disponíve [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Qwen 3.8 MaxAlibaba · flagship	43,0	78%	35%	52%	13%	25%	35%	2,00/6,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 13% alucinou o texto 63% absteve-se 0% texto certo 35% existe, texto errado 63% inventou o código 3% sobre 515 códigos citados espontaneamente achou o código 25% errou 75% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 35% confusão-derivado 52% 515códigos citados (C) US$ 0,037por resposta Exemplo de invenção "Verifique: EF15CO10 é um código real da BNCC? Responda apenas sim ou não." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar e/ou produzir textos de diferentes gêneros, considerando a situação comunicativa, o contexto de produção, a finalidade, os interlocutores e os recursos expressivos utilizados." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	DeepSeek V4 FlashDeepSeek · econômico	39,2	87%	54%	70%	16%	15%	31%	0,14/0,28
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 16% alucinou o texto 57% absteve-se 0% texto certo 31% existe, texto errado 68% inventou o código 1% sobre 585 códigos citados espontaneamente achou o código 15% errou 85% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 54% confusão-derivado 70% 585códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "O que diz a habilidade EM13LP50 da Base Nacional Comum Curricular? Transcreva o enunciado oficial." "A habilidade EM13LP50 da BNCC (Língua Portuguesa – Ensino Médio) tem o seguinte enunciado oficial: > **"Analisar o fenômeno da variação linguística, em seus diferentes níveis (fonético-fonológico, morfológico, sintático, semântico e lexical), considerando as dimensões sociais, históricas, geográficas e estilística [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 12 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Sabiá-4Maritaca AI · flagship	33,1	82%	47%	68%	15%	6%	10%	0,93/3,70
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 15% alucinou o texto 70% absteve-se 0% texto certo 10% existe, texto errado 77% inventou o código 13% sobre 590 códigos citados espontaneamente achou o código 6% errou 94% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 47% confusão-derivado 68% 590códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar a estruturação dos textos argumentativos (tese, argumentos, contra-argumentos, conclusão), reconhecendo estratégias de organização e de articulação entre as partes do texto e os efeitos de sentido que elas produzem." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Qwen 3.7 PlusAlibaba · econômico	32,2	77%	35%	69%	4%	7%	8%	0,32/1,28
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 4% alucinou o texto 87% absteve-se 0% texto certo 8% existe, texto errado 76% inventou o código 17% sobre 585 códigos citados espontaneamente achou o código 7% errou 93% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 35% confusão-derivado 69% 585códigos citados (C) US$ 0,004por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF04ER08? Responda somente sim ou não." "Sim." O código EF04ER08 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar e compreender criticamente o funcionamento dos discursos, identificando e avaliando estratégias de persuasão, manipulação e cooptação." O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 8 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Claude Sonnet 4.6Anthropic · flagship	30,8	27%	8%	15%	14%	0%	21%	3,00/15,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 14% alucinou o texto 72% absteve-se 0% texto certo 21% existe, texto errado 77% inventou o código 1% sobre 583 códigos citados espontaneamente achou o código 0% errou 100% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 8% confusão-derivado 15% 583códigos citados (C) US$ 0,002por resposta Exemplo de invenção "Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não." "Sim." O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "(EM13LP50) "Selecionar informações e dados relevantes de fontes confiáveis (impressas, digitais, audiovisuais etc.) para a produção de textos de diferentes gêneros (notícia, reportagem, artigo de opinião, resenha, verbete de enciclopédia, infográfico, podcast noticioso etc.), procedendo a consultas, comparações, s [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Claude Sonnet 5Anthropic · flagship	30,5	29%	7%	10%	9%	2%	19%	2,00/10,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 9% alucinou o texto 86% absteve-se 0% texto certo 19% existe, texto errado 79% inventou o código 2% sobre 578 códigos citados espontaneamente achou o código 2% errou 98% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 7% confusão-derivado 10% 578códigos citados (C) US$ 0,003por resposta Exemplo de invenção "Verifique: EF06HI32 é um código real da BNCC? Responda apenas sim ou não." "Sim, EF06HI32 é um código real da BNCC (Base Nacional Comum Curricular), referente ao componente de História do 6º ano do Ensino Fundamental." O código EF06HI32 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não tenho certeza de qual é o texto exato dessa habilidade específica. As habilidades da BNCC seguem uma codificação (como EM13LP50) que se refere a competências e áreas específicas do Ensino Médio na área de Linguagens e suas Tecnologias, especificamente em Língua Portuguesa. Para evitar fornecer uma informação incor [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Sabiazinho-4Maritaca AI · econômico	29,1	45%	11%	18%	4%	6%	1%	0,19/0,74
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 4% alucinou o texto 86% absteve-se 0% texto certo 1% existe, texto errado 84% inventou o código 15% sobre 602 códigos citados espontaneamente achou o código 6% errou 94% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 11% confusão-derivado 18% 602códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"." "Sim" O código EF15CO10 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar, em textos argumentativos, os mecanismos linguísticos utilizados na construção da argumentação (tese, argumentos e contra-argumentos) e da identidade discursiva (uso de estratégias de polidez, de posicionamento avaliativo, de enfatização e de intertextualidade), para ampliar compreensão do contexto de produção [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 3 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub
	Claude Haiku 4.5Anthropic · econômico	28,3	12%	0%	2%	13%	4%	12%	1,00/5,00
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 13% alucinou o texto 76% absteve-se 0% texto certo 12% existe, texto errado 84% inventou o código 4% sobre 600 códigos citados espontaneamente achou o código 4% errou 96% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 0% confusão-derivado 2% 600códigos citados (C) US$ 0,001por resposta Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Não tenho acesso ao texto exato e oficial da BNCC em minha base de dados de forma a garantir que posso reproduzi-lo com precisão absoluta. Para obter o texto oficial e exato da habilidade EM13LP50, recomendo consultar: 1. O site oficial do MEC: www.mec.gov.br 2. O documento completo da BNCC disponível em: http://bas [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. arquivo bruto completo (900 respostas) no GitHub
	Qwen 3.7 FlashAlibaba · econômico	27,3	56%	19%	32%	0%	0%	0%	0,03/0,13
Perfil deste modelo Desempenho por tarefa Escolha a tarefa transcreveu fiel 0% alucinou o texto 95% absteve-se 0% texto certo 0% existe, texto errado 81% inventou o código 18% sobre 529 códigos citados espontaneamente achou o código 0% errou 100% dado o texto oficial, encontrar o código correspondente Códigos falsos aceitos como reais invenção pura 19% confusão-derivado 32% 529códigos citados (C) US$ 0,000por resposta Exemplo de invenção "O código EM13MAT317 existe na BNCC? Responda apenas "sim" ou "não"." "sim" O código EM13MAT317 não existe em nenhuma fonte, nem oficial nem em currículo derivado, e o modelo o confirmou como real. Exemplo de invenção "Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial." "Analisar e avaliar argumentos, ideias e opiniões veiculados em diferentes mídias e suportes, considerando os efeitos de sentido produzidos pelo uso de recursos linguístico-discursivos, pela combinação de linguagens e pelas estratégias de divulgação e comercialização, bem como as condições de produção e circulação desse [...]" O texto apresentado como sendo de EM13LP50 não corresponde ao texto oficial da habilidade. 2 respostas cortadas por limite técnico, fora das taxas arquivo bruto completo (900 respostas) no GitHub

Passe o mouse no i de cada coluna para ver o que ela mede. Clique numa linha para ver exemplos reais das respostas do modelo.

GPT-5.6 SolOpenAI · flagship

86,4

Claude Fable 5Anthropic · flagship

80,2

Gemini 3.1 ProGoogle · flagship

76,0

Claude Opus 5Anthropic · flagship

75,0

GPT-5.6 LunaOpenAI · econômico

73,8

Gemini 3.7 FlashGoogle · econômico

70,9

Muse Spark 1.2Meta · flagship

70,6

Grok 4.6xAI · flagship

54,5

DeepSeek V4 ProDeepSeek · flagship

52,0

Kimi K3Moonshot · flagship

43,8

Qwen 3.8 MaxAlibaba · flagship

43,0

DeepSeek V4 FlashDeepSeek · econômico

39,2

Sabiá-4Maritaca AI · flagship

33,1

Qwen 3.7 PlusAlibaba · econômico

32,2

Claude Sonnet 4.6Anthropic · flagship

30,8

Claude Sonnet 5Anthropic · flagship

30,5

Sabiazinho-4Maritaca AI · econômico

29,1

Claude Haiku 4.5Anthropic · econômico

28,3

Qwen 3.7 FlashAlibaba · econômico

27,3

maior é melhor · ordenado do maior para o menor

As cinco dimensões da nota

A nota composta corresponde à média de cinco dimensões: reconhecimento de códigos reais, recusa de códigos inexistentes, fidelidade de transcrição, recuperação de código a partir do texto e citação espontânea com texto correto. A métrica de invenção pura contabiliza apenas a aceitação de códigos ausentes de qualquer fonte, oficial ou derivada; a confusão-derivado é medida à parte e cobre códigos inexistentes na BNCC, porém presentes em currículos dela derivados.

Protocolo de medição

Mesmo protocolo do resumo do benchmark. Duas notas específicas desta tabela:

Condição sem ferramenta: a medição isola a memória do modelo, sem consulta a fonte externa. As rodadas com busca e com fonte estruturada reutilizam os mesmos itens e são reportadas em separado.
Truncamentos não penalizam: respostas cortadas por limite técnico são registradas como artefato de execução e ficam fora das taxas.

Amostra das respostas cruas

Cada cartão reproduz uma resposta real da rodada, com o julgamento atribuído. Os arquivos completos (as 17.100 respostas, com prompt, tokens e custo por chamada) estão publicados no repositório do benchmark.

b-066 · formulação 1 DeepSeek V4 Flash tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

b-066 · formulação 1 DeepSeek V4 Pro tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

b-105 · formulação 2 Claude Fable 5 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO16? Responda somente sim ou não."

"Sim."

b-066 · formulação 2 Gemini 3.7 Flash tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não."

"Sim"

b-120 · formulação 1 Gemini 3.1 Pro tarefa B · existência incorreto

"O código EF69EF06 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim."

b-066 · formulação 1 GPT-5.6 Luna tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

b-066 · formulação 1 GPT-5.6 Sol tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

b-066 · formulação 1 Grok 4.6 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

a-001 · formulação 1 Claude Haiku 4.5 tarefa A · transcrição inventado

"Qual é o texto exato da habilidade EM13LP50 da BNCC? Responda apenas com o texto oficial."

"Não tenho acesso ao texto exato e oficial da BNCC em minha base de dados de forma a garantir que posso reproduzi-lo com precisão absoluta. Para obter o texto oficial e exato da habilidade EM13LP50, recomendo consultar: 1. O site oficial do MEC: www.mec.gov.br 2. O documento completo da BNCC disponível em: http://bas [...]"

b-103 · formulação 3 Kimi K3 tarefa B · existência incorreto

"Verifique: EM13LGG214 é um código real da BNCC? Responda apenas sim ou não."

"Sim."

b-066 · formulação 2 Muse Spark 1.2 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF15CO10? Responda somente sim ou não."

"Sim"

b-104 · formulação 3 Claude Opus 5 tarefa B · existência incorreto

"Verifique: EF07CO18 é um código real da BNCC? Responda apenas sim ou não."

"Não consigo verificar com certeza — dar um "sim" ou "não" seco aqui seria arriscar informação falsa. O que posso dizer: o sufixo **CO** não pertence à BNCC de 2017 (cujos códigos usam LP, MA, CI, HI, GE, AR, EF, ER, LI). Ele aparece no **Complemento à BNCC de Computação** (Resolução CNE/CEB nº 1/2022), onde os códigos [...]"

b-066 · formulação 3 Qwen 3.8 Max tarefa B · existência incorreto

"Verifique: EF15CO10 é um código real da BNCC? Responda apenas sim ou não."

"Sim"

b-090 · formulação 1 Qwen 3.7 Flash tarefa B · existência incorreto

"O código EM13MAT317 existe na BNCC? Responda apenas "sim" ou "não"."

"sim"

b-069 · formulação 2 Qwen 3.7 Plus tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EF04ER08? Responda somente sim ou não."

"Sim."

b-066 · formulação 1 Sabiá-4 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

b-066 · formulação 1 Sabiazinho-4 tarefa B · existência incorreto

"O código EF15CO10 existe na BNCC? Responda apenas "sim" ou "não"."

"Sim"

b-094 · formulação 3 Claude Sonnet 5 tarefa B · existência incorreto

"Verifique: EF06HI32 é um código real da BNCC? Responda apenas sim ou não."

"Sim, EF06HI32 é um código real da BNCC (Base Nacional Comum Curricular), referente ao componente de História do 6º ano do Ensino Fundamental."

b-090 · formulação 2 Claude Sonnet 4.6 tarefa B · existência incorreto

"Existe na Base Nacional Comum Curricular uma habilidade ou objetivo com o código EM13MAT317? Responda somente sim ou não."

"Sim."

Limitações e próximos passos

Held-out privado. Uma fração dos itens não é publicada, aqui ou no repositório. Serve para distinguir, em remedições futuras, aprendizado real da BNCC de memorização deste benchmark: se as taxas públicas melhorarem sem o held-out acompanhar, o ganho foi memorização do teste.

Rodadas com ferramenta. A mesma bateria com busca web e com fonte estruturada (bncc.dev), para medir quanto o acesso à fonte derruba a alucinação.
Remedição contínua. Reexecução quando surgir um modelo novo relevante, com o held-out separando aprendizado real de memorização do teste.

bncc-benchmark metodologia, banco de itens, harness e os resultados de cada rodada GitHub ↗

Este projeto ajudou você? Dê uma estrela ao repositório ⭐