Fonte: MEC
Entre os documentos que subsidiaram a decisão do desembargador Paulo Roberto de Oliveira Lima, presidente do Tribunal Regional Federal da 5ª Região, que circunscreveu a anulação das 13 questões do Exame Nacional do Ensino Médio (Enem) 2011 aos estudantes do Colégio Christus, de Fortaleza, destaca-se uma nota técnica assinada pelo ex-presidente do Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), Reynaldo Fernandes, professor da Universidade de São Paulo (USP), e pelos professores José Francisco Soares, da Universidade Federal de Minas Gerais (UFMG), Tufi Machado Soares, da Universidade Federal de Juiz de Fora (UFJF) e Ruben Klein, da Fundação Cesgranrio.
Eis a íntegra da nota:
“A Teoria de Resposta ao Item (TRI) é um conjunto de modelos matemáticos que considera o item como unidade básica de análise e postula que o desempenho de um avaliado em um teste pode ser predito (ou explicado) pela proficiência (habilidade) e pelas características dos itens do teste. A TRI modela a probabilidade de um indivíduo responder corretamente a um item como função dos parâmetros do item e da proficiência (habilidade) do respondente. Essa relação é expressa por meio de uma função monotônica crescente que indica que quanto maior a proficiência do avaliado, maior será a sua probabilidade de acertar o item (ver, por exemplo, Andrade & cols, 2000; Baker & Kim, 2004; Hambleton & cols, 1991; Klein, 2003; Pasquali, 1997).
No Enem, o modelo matemático utilizado é o logístico de três parâmetros desenvolvido por Birbaum (1968). De acordo com esse modelo, três características do item são consideradas para cálculo da proficiência do aluno: poder de discriminação (parâmetro a), dificuldade (parâmetro b) e a probabilidade de acerto ao acaso (parâmetro c).Proficiências estimadas a partir de subconjuntos de itens na mesma escala poderão ser comparadas, independentemente dos itens e do número de itens utilizados para o cálculo.
A teoria pressupõe que um participante situado em certo nível de proficiência tende a acertar os itens de nível de dificuldade menor que sua proficiência (itens mais fáceis) e errar os itens de nível de dificuldade maior (itens mais difíceis). Ou seja, o padrão de resposta do participante é considerado no cálculo da proficiência. Isso se deve ao fato de que no modelo logístico de três parâmetros da TRI, o cálculo da proficiência não está relacionado somente ao número de acertos, mas também aos parâmetros dos itens e a coerência das respostas.
Certamente, a quantidade de itens acertados influencia na estimação da proficiência, mas pessoas com o mesmo número de acertos podem ter proficiências diferentes e uma pessoa pode ter uma proficiência maior que uma outra com um maior número de acertos, dependendo das características dos itens acertados, incluindo sua dificuldade, e do padrão de respostas do candidato. O cálculo da proficiência é objetivo, e estudantes com exatamente o mesmo padrão de respostas apresentam as mesmas proficiências.
Deve ficar claro que isso não significa dizer que o número de itens em um teste não interfere no cálculo das proficiências. Em toda avaliação, quanto mais informação, maior será a precisão. Como os itens são a fonte de informação do teste, quanto mais itens, mais precisão. Todavia, de modo geral, variações pequenas no número de itens de um teste tendem a ter pequenas interferências nas estimações das proficiências.
No Enem, para cada aluno, são calculadas quatro proficiências, uma para cada área de conhecimento. Cada proficiência é baseada em 45 itens.
Considerando o caso das 14 questões que foram de conhecimento antecipado dos estudantes do Colégio Christus, três soluções técnicas foram levantadas:
(1) Reaplicação do exame somente para os estudantes do Colégio Christus. Essa é a medida que o Inep adotou para resgatar a isonomia quando o participante prejudicado não tenha responsabilidade sobre o ocorrido. Como a TRI permite que as notas de alunos submetidos a provas distintas possam ser comparadas, essa medida eliminaria a alegada vantagem desses estudantes por já terem se defrontado com parte das questões do exame em simulado realizado pela escola. No entanto, uma nova prova em data posterior não está isenta de questionamentos. Alegando favorecimento dos estudantes do Colégio Christus, pode-se argumentar que os mesmos teriam 30 dias a mais de estudo, o que poderia trazer algum tipo de privilégio. Alegando desfavorecimento, pode-se advogar que uma nova prova poderia prejudicar esses estudantes em outros vestibulares, seja porque a nova data pode coincidir com outros vestibulares seja por aumentar ainda mais a pressão a que esses estudantes estão submetidos.
(2) Anulação das 14 questões (quatro em ciências humanas, cinco em ciências da natureza, uma em linguagens e códigos e quatro em matemática) para todos os participantes do Enem. Nesse caso, a igualdade de condições, em relação ao ineditismo das questões, estaria restabelecida. O custo dessa medida é o de reduzir a precisão da medida de proficiência para todos os participantes do exame. Ainda que essa perda de precisão seja pequena, não parece razoável adotá-la para aproximadamente 4 milhões de participantes quando apenas cerca de 600 estudantes já haviam se defrontado com essas questões previamente. Vale ressaltar que, do ponto de vista da medida, o ideal para um exame como o Enem seria o de ordenar seus participantes de acordo com suas “verdadeiras” proficiências. Assim, obter estimativas mais precisas possíveis dessas proficiências constitui-se um dos principais objetivos. Foi justamente por isso que a TRI foi introduzida e a prova é relativamente extensa. A anulação das 14 questões para todos os participan
tes pode ser injusta.
(3) Anulação das 14 questões somente para os estudantes do Colégio Christus. A estimação da proficiência em uma mesma escala, para cada área, pode ser realizada mesmo com número diferente de questões entre as provas, assim, a anulação de 14 questões somente para os estudantes do Colégio Christus continuará permitindo a comparabilidade. Na análise, pressupõe-se que essas questões não foram apresentadas aos estudantes do Christus, portanto, para os cálculos das proficiências serão consideradas 41 questões em ciências humanas, 40 em ciências da natureza, 44 em linguagens e códigos e 41 em matemática. A Teoria Clássica dos Testes (percentual de acerto) já permitiria que essa solução fosse a mais indicada em caso de um grupo tão reduzido de participantes do universo avaliado ter tido acesso anteriormente a um pequeno número de questões (14 em 180). A TRI é ainda mais adequada para avaliar provas com número de itens diferentes, uma vez que o cálculo das proficiências é realizado considerando o padrão de respostas em relação ao itens apresentados. Essa medida não afeta e permite uma melhor precisão para os outros 4 milhões de participantes do Enem 2011 e as proficiências obtidas com um número menor de questões estarão circunscritas a um número diminuto de alunos.
Dessa forma, avalia-se que tecnicamente a solução mais adequada e que garante a maior isonomia para os participantes do Enem é a anulação das questões somente para os estudantes do Colégio Christus.
REFERÊNCIAS
Andrade, D. F. de, Tavares, H. R. & Valle, R. da C. (2000). Teoria de resposta ao item: conceitos e aplicações. São Paulo: ABE – Associação Brasileira de Estatística.
Baker, F. B. & Kim, S. (2004). Item response theory: parameter estimation techniques. Nova York: Marcel Dekker.
Birbaum, A. (1968). Some latent trait models and their models ant their use in inferring an examinee´s ability. In F. M. Lord and M.R. Novick (Eds.), Statistical theories of mental test socres (pp 397-479). Reading, MA: Addison-Wesley
Hambleton, R. K., Swaminathan, H. & Rogers, H. J. (1991). Fundamentals of item response theory. California: Sage Publications.
Klein, R. (2003). Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.11, n.40, p. 283-296.
Pasquali, L. (1997). Psicometria: teoria e aplicações. Brasília: Editora Universidade de Brasília.
Nenhum comentário:
Postar um comentário