Perícia revela fragilidades no Enem 2016

Análise técnica expõe limitações na metodologia aplicada

Uma investigação especializada conduzida no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) identificou vulnerabilidades significativas no processo de pontuação do Enem 2016. O trabalho, encomendado pelo Ministério Público Federal (MPF) em Uberlândia, Minas Gerais, baseou-se em ação judicial e examinou detalhadamente as avaliações do Exame Nacional do Ensino Médio realizado em duas ocasiões distintas naquele ano. O objetivo central era determinar se a discrepância no número de participantes entre as aplicações influenciou os resultados finais e prejudicou estudantes da segunda fase do exame.

O contexto que levou ao agendamento duplo do Enem 2016 ocorreu devido aos movimentos de ocupação estudantil que afetaram diversas instituições de ensino públicas em vinte e três estados brasileiros e no Distrito Federal. A primeira aplicação aconteceu nos dias cinco e seis de novembro, contando com aproximadamente cinco milhões e oitocentos mil participantes. A segunda aplicação realizou-se nos dias três e quatro de dezembro, com menos de cento e setenta mil inscritos. Essa diferença drástica no número de candidatos gerou suspeitas entre estudantes sobre possível inequidade nos critérios de avaliação.

Detalhes da perícia e metodologia de análise

O especialista responsável pela perícia foi Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) na Universidade Federal de Juiz de Fora. Soares possui experiência significativa como membro do conselho científico do Enem e é reconhecido como especialista em Teoria da Resposta ao Item (TRI), a metodologia fundamental utilizada no processo de avaliação. O perito obteve acesso a informações confidenciais armazenadas no Inep e produziu um documento técnico com duzentas e sete páginas, apresentando suas conclusões detalhadas.

Entre os dias cinco e nove de fevereiro de dois mil e dezoito, a perícia foi efetivamente realizada nas instalações do Inep. O documento encaminhado ao Ministério Público Federal descreveu as fragilidades detectadas no processo de pontuação do Enem, identificando questões que poderiam comprometer a comparabilidade entre os resultados das duas provas diferentes. O laudo destacou quatro pontos de fragilidade em ordem de importância: quantidade insuficiente de itens comuns previamente calibrados nos pré-testes e incorporados na prova regular; dimensão inadequada das amostras utilizadas em alguns pré-testes; falta de precisão na divulgação dos resultados para o público geral; e ausência de informações transparentes sobre qualidade dos testes e das medidas utilizadas.

Conclusões técnicas sobre disciplinas específicas

A análise técnica revelou padrões interessantes quando se observaram disciplinas individuais. Nas áreas de Ciências Humanas e Ciências da Natureza, ambas as aplicações do Enem apresentaram níveis praticamente idênticos de precisão em praticamente todos os estágios de proficiência. Nesse aspecto particular, os testes demonstraram-se praticamente equivalentes, embora a prova de Ciências da Natureza na segunda aplicação tenha apresentado um nível de dificuldade ligeiramente menor.

Contudo, as variações mais significativas observadas concentraram-se nas disciplinas de Linguagens e Códigos, além de Matemática. Na primeira disciplina, os candidatos da primeira aplicação apresentaram vantagem nos resultados, enquanto na segunda disciplina, aqueles que realizaram a segunda aplicação obtiveram resultados superiores. As disparidades menos expressivas foram registradas especificamente em Ciências da Natureza. O perito ressalvou, porém, que não seria viável executar uma análise de comparabilidade completa para todos os casos individualmente, dentro das dimensões características do Enem.

Segundo o parecerista, "cada caso precisaria ser analisado individualmente e, provavelmente, não se chegaria a uma conclusão definitiva na maioria", conforme registrado explicitamente no laudo técnico submetido. Além de identificar fragilidades, o professor responsável pela perícia ofereceu sugestões de aprimoramento quanto à forma de confecção e divulgação subsequente das provas.

Posicionamento do Inep e próximos desdobramentos

O Inep, por meio de sua assessoria de comunicação, informou que não recebeu notificação oficial sobre resultados específicos dessa perícia. A instituição reafirmou sua segurança quanto à metodologia adotada desde dois mil e nove, metodologia essa reconhecida nos âmbitos nacional e internacional. O comunicado do instituto concluiu afirmando que "independentemente do conteúdo, o laudo representa uma opinião isolada", deixando implícita a discordância com as conclusões apresentadas.

O procurador da República Leonardo Macedo, responsável pelo inquérito civil que investiga possíveis irregularidades relacionadas à adoção de diferentes critérios de correção das provas do Enem 2016, comunicou que encaminhou os resultados da perícia tanto para o Inep quanto para estudantes que afirmaram ter sido prejudicados pelo processo avaliativo. Segundo o procurador, a estratégia prosseguirá em etapas: primeiro, os interessados receberão prazo para análise do material; posteriormente, será agendada uma audiência pública onde todas as partes poderão apresentar argumentos; somente após isso o Ministério Público Federal decidirá sobre as medidas a serem adotadas.

Macedo reforçou que ainda não existe data definida para a realização dessa audiência. Em declaração à imprensa, afirmou: "Estamos lidando com um elefante de porcelana. Vamos agir com cautela e, depois da audiência, analisar se vamos pedir uma indenização, aumentar a nota de estudantes ou outras opções". Essa postura cautelosa reflete a complexidade das questões técnicas e administrativas envolvidas no caso.

Contexto das reclamações de candidatos prejudicados

A investigação iniciada pelo Ministério Público Federal teve origem após a divulgação dos resultados do Enem 2016 em janeiro de dois mil e dezessete. Naquele momento, estudantes provenientes de diferentes regiões do país procuraram o órgão manifestando descontentamento com as notas obtidas, particularmente aqueles que realizaram a segunda aplicação da prova. Esses candidatos argumentavam que seus resultados eram significativamente inferiores quando comparados aos de colegas que fizeram a primeira aplicação.

De acordo com análises preliminares do MPF, quando as notas de candidatos reclamantes eram contrastadas com as de participantes da primeira aplicação, observava-se uma discrepância pronunciada. O procurador Leonardo Macedo esclareceu que estudantes da primeira prova consistentemente obtiveram notas maiores. A hipótese levantada pelo órgão investigador sugeria que a metodologia TRI poderia estar funcionando de maneira desfavorável aos candidatos da segunda aplicação, considerando fatores como o percentual diferenciado de "treineiros" em cada momento, a abstenção superior na segunda aplicação e o perfil de candidatos presentes em locais específicos.

Essa disparidade nos resultados, conforme argumentou o MPF, poderia estar relacionada à estrutura da Teoria da Resposta ao Item, que leva em consideração o número total de candidatos e suas características na ponderação das respostas individuais. Com um universo reduzido de participantes na segunda aplicação, a metodologia teria produzido efeitos distintos comparativamente à primeira aplicação, potencialmente prejudicando estudantes que enfrentaram maior dificuldade para completar a prova na data atrasada.

Perspectivas futuras e possíveis reparações

O encaminhamento futuro do caso dependerá das discussões que ocorrerão na audiência pública ainda a ser agendada. Entre as possibilidades mencionadas pelo procurador estão a solicitação de indenizações aos candidatos afetados, o aumento das notas de estudantes prejudicados, ou ainda outras formas de reparação que possam ser determinadas após análise completa de todo o material técnico. A complexidade do caso, envolvendo questões estatísticas sofisticadas e implicações administrativas significativas, exigirá cuidadosa avaliação antes de qualquer decisão final.

O Ministério Público Federal mantém sua investigação ativa sobre as possíveis irregularidades no processo de correção das provas de dois mil e dezesseis, reafirmando o compromisso com a garantia de isonomia nos processos avaliativos de grande escala no país. A perícia realizada por especialista de reconhecida competência técnica fornece elementos concretos para essa avaliação, mesmo que suas conclusões não sejam unanimemente aceitas por toda a comunidade científica envolvida com educação e medidas psicométricas.