Despadronização do Enade

No controle estatístico do processo uma ação sobre o resultado é, frequentemente, menos econômica quando se elimina o produto fora da especificação sem se preocupar com o fato gerador do problema. Na educação, também, se o resultado atual não atinge consistentemente os requisitos mínimos de qualidade educacional exigidos, antes da reprova dever-se-ia avaliar todos os procedimentos pedagógicos e, em seguida, refugar ou retrabalhar as metodologias não-conformes. Esta atitude deveria ser mantida até que a ação corretiva necessária fosse tomada. Mas é mais fácil descartar os alunos e suas instituições, como se fossem peças fora dos conformes das fábricas. No Exame Nacional de Desempenho de Estudantes (ENADE) acontece exatamente isso. As escolas com menor desempenho são reprovadas, antes de mais nada. É a teoria dos três sigmas (desvios-padrões) para mais e para menos, em relação à média, que na fábrica é previamente estabelecida, mas no INEP é calculada em cada avaliação. Assim, num ciclo avaliativo de Direito, por exemplo, tirar nota 60 pode ser trágico, dependendo do desvio padrão e da média geral daquele ano. Em outro pode ser excelente nota que pode conferir à IES privilégios especiais.

Felizmente o INEP/MEC está pensando no assunto. A sua diretora de Avaliação da Educação Superior (DAES), Mariângela Abrão, recentemente falou sobre os limites e novas possibilidades da avaliação da educação superior. Reconheceu que há necessidade dos atuais indicadores serem aprimorados para estimarem melhor as condições de oferta dos cursos e da estrutura das Instituições de Ensino Superior. Defendeu a ideia de se criar uma metodologia parecida a do Exame Nacional do Ensino Médio (ENEM) em que o resultado final permite apontar o nível de conhecimento do ensino ministrado, a partir das notas dos alunos. Nele, quem tira 450 pontos já é considerado com bom desempenho e pode pleitear uma Bolsa FIES. Propôs transformar as notas do ENADE, hoje distribuídas de zero a cinco, numa composição de escalas de valores que expressem medidas absolutas e permitam a comparação entre as edições dos indicadores. Para isso, defende a composição de "cesta de indicadores" para subsidiar processos decisórios e de avaliação de políticas públicas de naturezas e finalidades distintas, ao invés se utilizar um mesmo indicador composto para fins diversos. De fato, um curso com nota 5 ou 1 no ENADE, por exemplo, não significa, necessariamente, qualidade máxima ou mínima. Não faz muito tempo em que a imprensa denunciou "estratégias" não ortodoxas de algumas Faculdades para conseguirem sucesso.

Por melhores que sejam os indicadores do ENADE, não retratam as condições concretas dos processos formativos e estrutura das IES, portanto, não substituem a avaliação in loco; expressam valores relativos e não absolutos. Os resultados obtidos em um ano não são comparáveis entre suas edições e áreas de avaliação porque cada prova tem um nível de avaliação diferente.

Concordo com o grupo do INEP que propõe uma despadronização dos indicadores, para que se possa ter certeza que uma nota cinco represente, de fato, qualidade de excelência. Isto é, realizar uma mudança nos indicadores pois, pela padronização atual, uma nota 5 pode significar o menos pior. Por outro lado, um aluno nota 1 pode até ter tido um desempenho muito bom na prova, com, por exemplo, mais de 90% de acertos, mas se classificar entre os últimos e, por isso, induzir a reprovação de sua Faculdade quando, de fato, deveria ser elogiada. Além disso, o ENADE não é utilizado para definição de políticas educacionais nem documenta o desempenho do aluno em seu histórico escolar.

Diferentemente, o Pisa - Programa Internacional de Avaliação de Alunos - uma avaliação internacional que mede o nível educacional de jovens, realizado a cada três anos pela OCDE (Organização para Cooperação e Desenvolvimento Econômico) tem o objetivo de produzir indicadores que contribuam para a discussão da qualidade da educação e que possam subsidiar políticas nacionais de melhoria da educação. O último Pisa em 2015 mostrou que hoje sabemos menos matemática que em 2009. O Brasil caiu quatro posições na maior avaliação educacional do mundo. Mostrou que em matemática, pela primeira vez, o país regrediu ao nível próximo a 2006. Esse é um exemplo de avaliação que sugere muitas reflexões e mudanças. Se fosse o ENADE, traria o percentual dos despreparados, dos mais preparados e dos demais, sem, contudo, inferir se os estudantes brasileiros regrediram ou melhoraram em relação aos anos anteriores.

No ENADE, ano após ano, sempre existirão os mesmos percentuais de alunos com nota 1, 2, 3, 4 e 5. Nunca induzirá a conclusões se o ensino superior melhorou ou piorou de qualidade.