quarta-feira, 17 de abril de 2013

O GAVE tem sempre razão

Só nos últimos dias reparei que a Associação de Professores de Matemática (APM) elaborou em 17 de Março um parecer sobre o Teste Intermédio de Matemática A (12º Ano), realizado em 28 de Fevereiro. Tal parecer mereceu resposta do GAVE, por "parte da equipa responsável pelos testes intermédios". O parecer e a respectiva resposta estão publicados na página da APM.

No passado dia 1 de Março elaborei neste blog um comentário ao referido teste intermédio. Não tinha a pretensão de que tal comentário merecesse resposta do GAVE, como não teve. Encontro, no entanto, na resposta dada por esta entidade à APM alguns esclarecimentos que se enquadram na temática dos comentários que escrevi.

Perdoem-me então que comente agora alguns pontos da dita resposta do GAVE.

Começo por referir que o faço de forma individual, num exercício de cidadania que, julgo me é permitido fazer num estado de direito, e como agente participante, com direito a opinião, no processo educativo do meu País. Mais acrescento que não sou sócio da APM e que tenho, na maior parte das ocasiões, discordado de muitas das suas posições.

A primeira coisa que salta à vista da leitura da resposta do GAVE é esta: o GAVE tem sempre razão, mesmo quando não tem. Como é assim, por dever de obediência, fico por aqui neste parágrafo.

A resposta do GAVE começa por usar as estatísticas para contestar a opinião da APM de que a extensão do teste colocou em causa a qualidade ou a possibilidade de acerto nas questões. Segundo os dados estatísticos do teste (que continuam a ser segredo de estado!), "dos 33854 alunos que realizaram o teste, 319 tiveram uma classificação igual ou superior a 19,5 valores e, destes, 93 tiveram 20 valores". Ou seja, em percentagem, 0,9% dos alunos e 0,3%, respectivamente. Quer isto dizer, segundo o GAVE, que o facto de 1 aluno em 100 ter uma classificação igual ou superior a 19,5 valores permite concluir que a extensão do teste foi adequada. Já agora convém recordar que, no teste intermédio do ano lectivo anterior (13/Março/2013), a percentagem dos alunos com uma classificação igual ou superior a 19,5 valores andou próxima dos 3%.

O GAVE argumenta também que, comparativamente aos testes intermédios aplicados a Matemática A desde 2008/2009, não há alteração significativa no valor da percentagem de respostas nulas aos últimos itens dos testes. Aceito que esta percentagem possa ser um indicador relevante do ajustamento entre a extensão do teste e o tempo disponível para a sua resolução. No entanto, tal indicador deve ser usado com cuidado. Depende, por exemplo, das próprias matérias que nos últimos itens estão a ser testadas ou do próprio "aspecto" desses itens. Depende mais ainda da maturidade dos alunos que estão a realizar a prova. Ora, no 12º Ano, a maioria dos alunos já sabe que não tem que resolver a prova pela ordem das questões. Sabe que deve dar "uma vista de olhos" global ao teste antes de o começar a resolver, de modo a escolher primeiro aqueles itens que lhes parecem conseguir resolver com mais facilidade ou que lhes ocupem menos tempo. O que o GAVE se esqueceu de dizer na sua resposta é que existe um item, o 1.2, com uma percentagem de 66,31% de respostas com cotação nula (cerca de 22449 alunos). No historial de testes intermédios que o GAVE usa para a sua análise comparativa existirá algum item com tão elevada percentagem de respostas nulas? Não deverá este facto ser considerado também como indicador para analisar a extensão do teste? Terá sido este o item que a maioria dos alunos deixou para o fim e, depois, não teve tempo para resolver?

Refere ainda a resposta do GAVE que a média nacional deste teste intermédio, 9,3 valores, é semelhante à média do exame de 2012. Suponho que os signatários da resposta se referem à média da 1ª fase (8,7 valores). A minha opinião é que o termo de comparação não devia ser o exame, dado que o tempo de realização, a estrutura e os conteúdos das provas diferem. Acho preferível comparar com o teste intermédio da mesma altura de 2012, o de 13 de Março. Aí a média foi 11,8 valores, ou seja, caiu 2,5 valores.

Fui aos meus papeis e deparei com um documento que me foi entregue no âmbito de uma formação ministrada pelo GAVE (Avaliação Externa no Ensino Secundário) que frequentei há uns anos atrás. A certa altura do documento pode ler-se: "Um dos objectivos do exame do 12º ano é discriminar os alunos. Assim, os itens devem ser desejavelmente discriminatórios, isto é, devem ser acessíveis aos bons alunos e pouco acessíveis aos maus alunos". Continua no parágrafo seguinte: "Estudos sobre avaliação mostram que os itens de dificuldade média são os que mais discriminam, portanto, embora num exame devam existir itens com um grau de dificuldade variado, devem predominar os de dificuldade média. É desejável que, para a maioria dos itens, a cotação média obtida esteja entre 30 e 70% da cotação máxima (coeficiente de dificuldade do item)". A tabela seguinte apresenta, para os itens do Grupo II, os coeficientes de dificuldade obtidos nos testes intermédios de 13/Março/2012 e de 28/Fevereiro/2013:
Segundo o critério enunciado para caracterizar a dificuldade dos itens, observamos que no teste de Março de 2012 todos os itens apresentam um coeficiente dentro dos limites estabelecidos, existindo dois com valores próximos do limite inferior (itens 3.2 e 4). No teste de Fevereiro de 2013, os itens 1.2 e 3.2 têm um coeficiente abaixo do limite mínimo desejável, o item 4.2 consegue ultrapassar ligeiramente esse limite e os itens 1.1 e 3.1 ficam abaixo dos 45%. Deixo as conclusões ao leitor, mas acho que estes números vão de encontro ao que escrevi, no post anterior sobre este assunto, quando disse que tinha "dificuldade em encontrar neste TI exercícios em número suficiente para garantir a um aluno com um desempenho na Matemática baixo, médio baixo ou até mediano, a possibilidade de ter positiva" e que "num teste, o nível de dificuldade deve ser doseado" e que "devem existir questões com diferentes níveis de dificuldade".

Não posso terminar sem comentar o que a resposta do GAVE refere quanto ao enquadramento que os limites solicitados no teste intermédio têm no programa em vigor. E só há um comentário a fazer: querem lá eles saber do programa!
Prova disso é o que acaba de acontecer no momento em que escrevo estas linhas. Acabam de revogar o programa de Matemática do Ensino Básico. Durou 6 anos. Já não serve pois foram "os outros" que o fizeram.Vai para o lixo, juntamente com todo o dinheiro que se gastou no seu acompanhamento. E com ele vão os livros que deviam passar do filho mais velho para o mais novo.
Grande negócio este das editoras! 

1 comentário:

Jorge Ramiro disse...

Eu tenho um cliente que sempre vem para comprar ração proplan e ele sempre tem algumas histórias e ele sempre quer ter razão.