Dos cursos avaliados no Enade, 30% estão abaixo da média: isso significa rigorosamente nada

É muito engraçado ler as manchetes dos principais órgãos da imprensa a respeito dos resultados do Enade:

G1: Enade tem 30% dos cursos do ensino superior abaixo da média, diz MEC
Folha: 30% dos cursos tiveram desempenho insatisfatório no Enade, diz MEC
Estadão: Enade: 30% dos cursos de ensino superior têm desempenho insuficiente
 

Os comentários do Ministro Mercadante vão na mesma direção. No G1: "Entretanto, mesmo com o resultado, o ministro da Educação, Aloizio Mercadante, considera que o ensino no país está evoluindo se comparados aos resultados do Enade de 2009, quando foi feita a avaliação dos mesmos cursos avaliados em 2012."

 

Só é possível concluir que o Ministro e os jornalistas que cobriram a divulgação dos resultados estavam muito mal preparados ou não entendem como é gerado o Conceito Enade e por isso dão declarações que equivalem a dizer que 1+1=2 como se isso fosse uma grande novidade. Vou mostrar a seguir que pela forma como ele é gerado, exceto em casos extremos que também comentarei, SEMPRE cerca de 30% dos cursos terão nota entre 0 e 2, com pequenas flutuações aleatórias de ano para ano.

 

Clique aqui para ler o blog Cultura Científica, do prof. Leandro Tessler
 

O processo de tratamento dos dados está descrito em Nota Técnica do Inep.  Para se obter o Conceito Enade é feita uma mudança de escala muito usada em estatística, chamada de padronização. Os conceitos são calculados a partir da média e do desvio padrão da distribuição de notas. Os estatísticos têm boas razões para supor que a distribuição de notas do Enade obedece uma curva em forma de sino chamada distribuição normal. A primeira mudança de escala transforma as distribuições de nota em uma curva em que a média vale zero e cada desvio padrão vale um. Então para transformar essa escala padronizada em uma escala supostamente linear de zero a 5 é feita uma segunda padronização que deve estremecer qualquer estatístico que entende do assunto: adiciona-se a menor nota padronizada a todas as pontuações, fazendo a curva começar em zero e depois divide-se as pontuações pelo maior valor obtido, chegando a uma escala entre zero e um que é multiplicada por 5 para chegar na escala entre zero e cinco. Essa segunda padronização, que eu saiba (não sou estatístico, apesar de usar muito estatística em minha vida profissional), não tem justificativa teórica alguma, mas transforma os dados em uma escala entre zero e cinco. Como isso é complicado, esse  é o momento para elaborar alguns exemplos.

 

Imaginemos que o resultado do exame de 3 edições seguidas apresenta as 3 curvas na figura 1 na ordem verde, preta e vermelha. Isso significa que o ensino superior brasileiro está piorando? Talvez, mas pode também significar que ele está melhorando ao mesmo tempo que as provas estão ficando mais difíceis.

 

Figura 1. Três possíveis distribuições de notas no ENADE

 

 

Uma das justificativas da padronização é justamente tornar o Conceito Enade insensível a variações no grau de dificuldade das provas. Após a primeira padronização, as três curvas ficam exatamente iguais, representadas na figura 2.

 

Figura 2. As mesmas distribuições da figura 1 padronizadas

 

 

Isso mostra de forma bastante conclusiva que independentemente do grau de dificuldade da prova, que no meu exemplo teve uma variação exagerada, a padronização faz com que as distribuições de notas tenham sempre a mesma cara e sigam uma mesma escala. Afinal, é para isso mesmo que serve a padronização: evitar que uma prova atipicamente difícil ou atipicamente fácil altere de forma significativa o resultado da avaliação, que tem como objetivo comparar desempenhos de quem faz uma prova, jamais comparar quem faz provas diferentes.

 

Então fazemos a segunda padronização e chegamos à próxima figura, que corresponde à distribuição do Conceito Enade (as notas são arredondadas para o valor mais próximo para chegar a uma escala de inteiros de zero a 5).

 

Figura 3. O conceito ENADE para as curvas anteriores;
A área entre zero e 2 corresponde a 31% da área total

 

 

Cabe ainda perguntar que percentual da curva corresponde aos conceitos entre zero e 2. Como a curva da distribuição normal segue uma função conhecida e não é possível calcular sua área analiticamente (a partir de sua integral, como diriam os matemáticos), qualquer livro de probabilidade ou de estatística tem esses valores tabelados. Eu procurei no livro do Sheldon Ross de Probabilidade (simplesmente porque o tinha em casa) e encontrei essa área igual a exatamente 30,85%.  Portanto, não deveria surpreender que 30% dois cursos tenham nota inferior a 3, ou que "Um em cada três cursos de Direito tenha desempenho ruim no Enade". É assim para todos os cursos, porque o Conceito Enade é definido dessa forma.

 

Eu venho dizendo que se as pessoas soubessem um mínimo de estatística elas estariam muito mais bem equipadas intelectualmente para lidar com pseudo-ciência e curas milagrosas. Elas também deixariam de se surpreender a cada ano por ter 30% ou 1/3 dos cursos "reprovados" no Enade.

 

Antes de terminar eu quero chamar a atenção para o absurdo que é a segunda padronização, a que transforma a escala ancorada na média numa escala linear. Imagine que um único curso tenha um desempenho particularmente ruim no Enade e fique com uma nota padronizada muito abaixo da média (um outlier no jargão técnico). Quando for feita a segunda mudança de escala, todos os Conceitos Enade serão artificialmente empurrados para cima. Certamente o Ministro elogiará o fato de quase todos os cursos brasileiros (exceto o coitadinho com desempenho muito abaixo da média) estarem "aprovados" com Conceito maior que 3. Isso não significaria absolutamente nada também, a não ser que uma escola teve nota muito inferior às demais. Isso na verdade ocorreu numa das primeiras avaliações de Medicina, como foi discutido de forma muito clara no artigo O Enigma do ENADE por Simon Schwartzman em 2005.

 

A propósito, quando fui buscar a referência vi que ele escreveu um texto muito bom e mais conciso sobre o mesmo assunto.

 

Eu havia abordado essencialmente o mesmo assunto de agora em um texto sobre o Enem.

 

Enfim, ao contrário do que o Ministro da Educação afirmou, não é possível dizer que o ensino superior brasileiro melhorou a partir do resultado do Enade, nem seria de se esperar que um número muito diferente de 30% ou 1/3 dos cursos tirasse uma nota abaixo de 3.