A construção e a utilização dos instrumentos de avaliação

Existem vários tipos de instrumentos de aprendizagem, dos quais consideramos como fundamentais: os testes (objectivos e subjectivos), os registos de observação e os questionários ou inquéritos de opiniões e atitudes.

Cada um dos tipos tem características próprias no respeitante ao que pode medir, à objectividade, ao tempo de execução, à preparação, à correcção, à utilização, etc., pelo que a sua construção obedece a regras diferenciadas, tendo em conta que é indispensável obter sempre a máxima validade, qualidade e funcionalidade, quando se utiliza qualquer instrumento de avaliação.

O quadro I estabelece algumas comparações entre os vários tipos de instrumentos, designadamente no que respeita ao tipo de informação obtida, à objectividade e à relação tempo/resultado.

 

Técnicas de Avaliação

 

TESTE NÃO OBJECTIVO

TESTE OBJECTIVO

REGISTO DE OBSERVAÇÃO

QUESTIONÁRIO / INQUÉRITO

 

Tipo de informação obtido

Skills cognitivos

Valores

Conhecimentos

(pouco fiável)

Skills cognitivos

Conhecimentos

Desempenhos

Atitudes

Desempenhos

Reacções emocionais

Interacção social

Skills psicomotores

Opiniões

Atitudes

Valores

Auto-conceito

Apreciações subjectivas

 

Objectividade

Pouco objectivo, sujeito a interferência tendencial, sem estabilidade temporal

Objectivo e fiável

Estável

Potencialmente objectivo, se os instrumentos forem muito discriminativos, sujeito a interferência tendencial

Pouco objectivo

Sujeito a interferência tendencial

 

Relação Tempo/Resultado

Demorado na análise de resultados.

Exige comparações relativas

Pouco demorado na correcção e recolha de resultados.

Exige organização e planeamento

Muito demorado.

Exige treino de aplicação

Demorado

Exige muita elaboração, quer na preparação quer no tratamento dos resultados

Adaptado de: LEMOS, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20

 

Os testes – tipos e caracterização

Os testes são o instrumento mais utilizado na medição da aprendizagem. Consistem fundamentalmente numa lista de questões a que os alunos deverão responder. A forma das perguntas e das respostas pode variar, mas o modo como os itens se organizam num teste é muito importante: deve evitar-se que a estrutura do teste, de algum modo dificulte o trabalho do aluno ou introduza factores exteriores aos objectivos do ensino. De entre vários aspectos a ter em conta, salientam-se os seguintes:

  1. Cada item deve estar correctamente identificado por um número de série.

  2. O enunciado de um item deve estar completo na mesma página, isto é, o enunciado não deve ser dividido por duas páginas.

  3. O teste deve ser dactilografado ou, no caso de ser manuscrito, deve ser completamente legível em todos os pormenores.

  4. Havendo uma folha de respostas separada, as indicações para a sua utilização devem ser precisas.

  5. A forma de resposta pedida deve ser claramente definida no enunciado.

  6. Quando haja agrupamento de itens, este deve ser organizado em função de objectivos estreitamente correlacionados e, se possível, agrupar itens de forma idêntica.

  7. As indicações sobre a forma das respostas devem ser claramente separadas das componentes da pergunta propriamente dita, através de outro tipo de letra, sublinhado, parêntesis, etc.

  8. Quando existem opções de escolha entre itens, essa opção deve ser feita entre itens de testagem dos mesmos objectivos, e os itens devem ter coeficiente de dificuldade idêntico, além de valor igual em termos de pontuação.

  9. A listagem utilizada deve ser do completo conhecimento e familiaridade dos alunos, nunca introduzindo termos, símbolos ou expressões completamente novas, ainda que aparentemente não pareçam influenciar o texto ou a forma.

  10. O tempo exigido para a realização do teste deve ser calculado em função da velocidade média da realização da turma, adicionado de 20 a 25% de tolerância.

  11. A forma de correcção e pontuação do teste deve ser do prévio conhecimento dos alunos, ou estar claramente definida no próprio teste.

 

Para além destas regras atrás definidas, outras existem no respeitante especificamente à elaboração de cada item em cada teste. Existem dois tipos fundamentais de itens: os que requerem do aluno uma resposta exacta sem ambiguidades – testes objectivos; e os que requerem uma resposta que pode variar um intervalo de correcção, não estando sujeita a critérios absolutos exactos – testes subjectivos.

O quadro seguinte compara os dois tipos de testes no que se refere a aspectos pedagógicos essenciais.

 

 

Tipos de Testes – Itens

 

 

TESTE SUBJECTIVO

TESTE OBJECTIVO

Competências medidas

Requer expressão do aluno por palavras próprias, usando informação do seu conhecimento.

Requer a selecção de respostas correctas entre opções dadas ou de um número limitado de palavras.

 

Permite a testagem de operações cognitivas de qualquer nível, bem como a criatividade.

Permite a testagem de operações cognitivas de qualquer nível, mas não os aspectos criativos.

 

Não mede eficientemente a informação factual.

Mede eficientemente o conhecimento de factos.

Tempo de execução

Exige respostas cuja preparação e execução é demorada, o que implica testagens de diversificação limitada.

Exige respostas de execução rápida facilitando a diversificação dos aspectos a testar.

Incentivo aos alunos

Encoraja os alunos a aprender a organizar as suas ideias e a expressá-las.

 

Encoraja os alunos a estudar e desenvolver competências em toda a área de aprendizagem.

 

Beneficia alunos com maior fluência de linguagem escrita, em prejuízo dos restantes.

Não tem benefícios ou prejuízos discriminados.

Preparação

Exige poucas perguntas por cada testagem.

Cada testagem pode contar muitas perguntas.

 

Cada pergunta tem que conter a indicação de limites da resposta.

Exige muita precisão de linguagem, com total ausência de ambiguidades.

Correcção

Exige muito tempo e a utilização de critérios absolutos e relativos e, ainda assim, com falha de precisão.

Exige pouco tempo. É precisa e consistente. Dispensa critérios relativos.

Adaptado de: LEMOS, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20

 

Testes – itens não objectivos

As características a ter em conta para a elaboração de itens de testes não objectivos são as seguintes:

1 – Só devem usar-se para medir objectivos que não sejam mais facilmente mensuráveis por itens objectivos.

2 – Devem cingir-se a problemas específicos, devidamente delimitados na formulação da pergunta.

3 – Não devem exigir respostas demasiado longas, sendo preferível a realização de várias perguntas sequenciais.

4 – Devem incluir indicações claras acerca do tamanho e profundidade da resposta (número de razões, exemplos, argumentos, etc.).

 

Exemplos:

a) Milhões de árvores são abatidas, todos os anos, nas florestas tropicais. A elas juntam-se os incêndios e o aumento das áreas desertas. Verifica-se ao mesmo tempo que a diversidade de espécies animais tem vindo a diminuir nestas regiões.

Estabelece uma relação entre os dois fenómenos, referindo duas causas possíveis para os mesmos.

b) “As guerras civis são necessárias para o desenvolvimento social de um país”

Defende ou refuta a afirmação anterior, apresentando quatro razões lógicas para os argumentos utilizados e ilustrando cada uma com um exemplo histórico real.

 

 

Testes – itens objectivos

Existem vários tipos de itens objectivos, de acordo com a forma da resposta exigida.

 

a) Resposta curta

Exigem uma resposta limitada a uma palavra ou frase por inteiro, ou a completar frases, textos, diagramas, esquemas, etc., previamente fornecidos. Os aspectos a ter em conta na sua construção são os seguintes:

1 – A resposta correcta deve poder ser dada, sem qualquer ambiguidade numa palavra ou frase.

2 – A questão deve incluir as indicações sobre a linguagem a usar na resposta (palavras, expressões numéricas, aritméticas ou geométricas, símbolos, unidades de medida, fórmulas, etc.)

3 – Quando se trata de completar esquemas, frases, legendas, expressões matemáticas, etc., deve pedir-se um número restrito por item.

4 – Partes a completar nunca devem ser colocadas no início da frase ou expressão.

 

Exemplos:

a) Qual o nome que se dá a uma forma de relevo composta por:

1.  um conjunto de serras?

2. uma vasta área plana?

b)

1. Completa a expressão seguinte:

9x2 – 25 = (3x-5) (        )

2.Considera agora que:

9x2 – 25 = 0

Calcula o valor de x, registando as operações de cálculo.

c) “ O seu rasto estendia-se pelo céu nocturno, com o fulgor de gigante em chama”.

1. Na frase anterior é utilizada a palavra “chama”. Indica dois sinónimos desta palavra, de acordo com o sentido da frase.

2. A palavra anterior pode também ser usada como uma forma do verbo “chamar”. Indica dois substantivos derivados deste verbo.

d) Qual a capital de Angola?

________________________________________________________________________________

e) Indique 1 elemento que possa ser recolhido pela observação e que sirva para avaliação, de cada um dos seguintes domínios:

Afectivo - _______________________________________________________________________

Cognitivo - ______________________________________________________________________

Psicomotor - ____________________________________________________________________

 

Vantagens da produção curta

  • Concepção rápida e fácil

  • Resposta rápida e fácil

  • Avaliação objectiva

 

Inconvenientes da produção curta

  • Limita a criatividade do formando.

 

Algumas regras indispensáveis à elaboração adequada de questões de produção curta

  • O texto deve ser claro e o mais curto possível.

  • Deve indicar a quantidade de respostas que se pretendem (a capital, 1 elemento, etc.) ou a extensão das mesmas (em tantas linhas, em poucas palavras, numa frase, etc.)

  • As respostas solicitadas devem ser tanto quanto possível homogéneas e semelhantes em extensão.

 

b) Testes de selecção ou resposta fechada

Nos testes de selecção fornecem-se ao formando a pergunta e, geralmente, várias respostas entre as quais ele terá de seleccionar a(s) resposta(s) adequada(s).

 

Vantagens genéricas dos testes de selecção

… para o formando

  • Resposta rápida

  • Objectividade das respostas: só admitem respostas concretas, permitindo uma avaliação comparativa e objectiva.

… para o formador

  • Correcção rápida e fácil.

  • Objectividade das respostas: só admitem respostas concretas, permitindo uma avaliação comparativa e objectiva.

… para a avaliação

  • Diferentes formadores avaliarão da mesma maneira com maior frequência.

 

Inconvenientes genéricos dos testes de selecção:

… para o formando

  • Limitam a sua criatividade.

… para o formador

  • Concepção morosa.

  • Exigem muito treino.

  • Exigem domínio perfeito da matéria tratada e das técnicas de elaboração das questões.

… para a avaliação

  • Probabilidade de acertar respostas ao acaso.

 

São usuais quatro tipo de testes de selecção:

1 – Verdadeiro-falso (ou dupla selecção ou escolha dupla);

2 – De completar (ou preenchimento ou lacunares);

3 – Emparelhamento (ou correspondência ou de associação);

4 – Questões de escolha múltipla (ou teste americano ou selecção múltipla).

 

1 – Verdadeiro/Falso – exigem uma resposta identificativa da veracidade de afirmações dadas. Características para a elaboração:

1 – Cada expressão ou afirmação deve ser de significado definido e sem qualquer ambiguidade.

2 – Cada afirmação ou expressão deve ser verdadeira ou falsa em absoluto, sem qualificação ou excepções.

3 – Cada expressão deve ser curta e directa, evitando considerandos ou qualificações.

4 – A expressão deve ter uma só interpretação possível, evitando, portanto, as de “duplo sentido”.

5 – Só devem ser usadas expressões afirmativas, evitando sempre o uso de expressões definidas pela negativa.

6 – Não devem conter advérbios de modo tais como geralmente, sempre, nunca, por vezes, etc.

7 – Tratando-se de tornar verdadeira uma afirmação falsa, deve-se exigir somente a modificação de uma ou duas palavras ou símbolos e nunca toda a expressão ou a sua estrutura.

 

Exemplos:

a)Identifica das seguintes frases as que são falsas e as que são verdadeiras:

  1. A taxa de natalidade indica o número de nascimentos que ocorrem por mil habitantes, num determinado espaço de tempo.

  2. A diferença entre as taxas de natalidade e de mortalidade designa-se por taxa de crescimento natural.

  3. A esperança média de vida de uma população é definida pela idade média dos nascimentos.

  4. A taxa de mortalidade calcula-se dividindo o número de óbitos pelo número de nascimentos e multiplicando o resultado pela população total.

 

Algumas regras indispensáveis à elaboração adequada de questões verdadeiro/falso

O texto deve:

  • Ser claro e o mais curto possível;

  • Ser afirmativo;

  • Conter apenas uma ideia, sendo totalmente falso ou totalmente verdadeiro.

As instruções devem indicar claramente a forma de proceder para que o formando indique a sua opção.

 

Vantagens das questões verdadeiro/falso

  • Fácil e rápida concepção.

  • Fácil e rápida resposta.

 

Inconvenientes das questões verdadeiro/falso

  • Probabilidade de acertar ao acaso: dado que só há duas alternativas essa probabilidade é de 50%.

 

2 – De completar – consistem em apresentar ao formando frases incompletas, solicitando-lhe que as complete por forma a que tenham sentido.

 

Exemplo:

Complete as afirmações seguintes, escrevendo uma palavra nos espaços em branco

1 Os testes de completar também são conhecidos por testes ___________ ou de ___________.

2. Angola localiza-se na costa ocidental do continente ___________ e tem ___________ milhões de habitantes.

 

Algumas regras indispensáveis à elaboração adequada de questões de completar

  • O texto deve ser claro e o mais curto possível.

  • A frase deve ter sentido lógico, apesar dos elementos omitidos (não deve ser uma frase sem nexo).

  • Os elementos omitidos e os espaços a completar devem ser homogéneos e de extensão semelhante, tanto quanto possível.

  • Só se devem omitir elementos importantes (que o formando deverá conhecer).

  • Não devem ser fornecidas pistas gramaticais.

  • Os elementos omitidos devem situar-se de preferência na parte final da frase.

  • Só deve ser possível uma única resposta, isto é, não deve haver ambiguidade.

 

Vantagens e inconvenientes das questões de completar

  • São os que se referem genericamente para os testes de selecção.

 

3 – Emparelhamento – exigem que seja estabelecida uma relação entre pares de palavras, frases ou símbolos. Características para a construção:

1 – Cada par de listas deve reportar-se somente a um objectivo ou conceito.

2 – Uma das listas deve ser cerca de 50% maior que a outra, e a mais pequena não deve conter mais que seis ou sete itens.

3 – A cada premissa de uma lista deve corresponder, sempre que possível, uma só reposta na outra lista.

4 – Quando seja exigida uma combinação entre uma premissa numa lista e várias na outra, deve ser indicado o número destas que é requerido.

5 – Não devem usar-se expressões de “duplo sentido”. As expressões devem ser claras e objectivas.

 

Exemplos:

  1. Relaciona cada uma das designações da coluna da esquerda com uma das designações da coluna da direita.

 

1. Rocha metamórfica

a) granito

2. Rocha sedimentar

b) feldspato

3. Rocha eruptiva

c) xisto

 

d) arenito

 

Algumas regras indispensáveis à elaboração adequada de questões de emparelhamento

  • As instruções devem ser claras e precisas indicando nomeadamente:

- a forma de proceder ao emparelhamento

- se a um elemento de um grupo corresponde um único ou mais que um elemento no outro

  • O texto deve ser claro e o mais curto possível.

  • Para evitar o acertar ao acaso, uma das listas dum grupo deve conter mais um ou dois elementos que a outra (em regra mais 50% de elementos), os quais não deverão ser correctos.

(A lista mais longa não deverá contudo ultrapassar 7 elementos, como regra, para evitar o cansaço, a dispersão e a desatenção).

  • Os elementos a fazer corresponder devem ser afins e homogéneos e conter apenas uma ideia, totalmente a optar ou a rejeitar.

 

Vantagens e inconvenientes das questões de emparelhamento

  • São os que se referem genericamente para os testes de selecção.

 

4 – Questões de escolha múltipla (QEM) – exigem a selecção de uma resposta correcta de entre várias opções dadas. Características para a construção:

 

1 – Referir-se a um só problema ou questão.

2 – Cada lista de opções deve conter uma só reposta correcta.

3 – Não devem usar-se expressões definidas pelo sentido negativo.

4 – As alternativas apresentadas devem ser similares, em palavras, estilo, tamanho, etc.

5 – As alternativas incorrectas devem ser plausíveis, tanto quanto possível.

6 – As alternativas devem ser mutuamente exclusivas.

7 – Não devem usar-se expressões de “duplo sentido”.

8 – Deve evitar-se o uso de alternativas “nenhuma das anteriores”.

9 – O número ideal de opções é de quatro e não deve ser inferior a três.

10 – As palavras que se devem repetir em todas as opções devem fazer parte da base da pergunta e não das opções.

 

Algumas regras indispensáveis à elaboração adequada de questões de QEM

a)      Redigir as questões com clareza e o mais curto possível.

b)      Introduzir no tronco todas as palavras necessárias, para evitar repeti-las na lista de escolhas, tornando esta desnecessariamente extensa.

c)      As instruções devem ser claras e objectivas, indicando nomeadamente se há só uma resposta certa (ou errada), várias certas, forma de a(s) assinalar, etc.

Nota: as instruções fazem geralmente parte do tronco; contudo, elas aparecem por vezes, por razões de ordem prática, antes ou depois dele ou ainda após a lista de escolhas.

d)      Se as instruções são comuns a mais que uma QEM, agrupar essas questões, por forma a que fiquem destacadas todas as questões com uma só resposta certa, com várias respostas certas, complementos simples, etc.

e)      Comprovar a objectividade da(s) resposta(s) que se pretende(m) certa(s), verificando se não existe nos distractores reposta(s) tão adequada(s) ou mais adequada(s) do que as prevista(s) como certa(s).

f)        Os distractores e a(s) resposta(s) certa(s) deverão ser homogéneos em extensão tanto quanto possível, lógicos e coerentes.

Nota: por vezes comete-se o erro de tornar a resposta certa mais longa, porque queremos clarificá-la, pormenorizá-la. Se isso for indispensável, deveremos procurar fazer o mesmo aos distractores.

g)      A resposta correcta deve aparecer na lista de escolhas numa ordem arbitrária, em todas as posições (há a tendência de a esconder no meio).

h)      Na redacção da lista de escolhas evitar o uso de palavras como “sempre”, “nunca”, “todos”, uma vez que há pouca probabilidade de termos tão abrangentes serem verdadeiros, e portanto o formando tenderá a rejeitar esses distractores. De igual modo as palavras “geralmente”, “por vezes”, “em certas condições”, por serem limitantes, tendem a tornar as escolhas verdadeiras, pelo que também devem ser evitadas.

i)        Na lista de escolhas podem por vezes incluir-se opções como:

- Nenhuma das respostas

- Todas as respostas

j)        Conceber sempre que possível 5 escolhas (geralmente 4 distractores e 1 resposta certa), a fim de reduzir a probabilidade de acertar ao acaso.

 

Vantagens das QEM

  • Objectividade…

… na resposta a dar pelos formandos

… na avaliação pelo formador

 

  • Rapidez…

… na resposta do formando

… na correcção do formador

 

Inconvenientes das QEM

  • Probabilidade maior ou menor de acertar ao acaso, mesmo desconhecendo a matéria.

  • Concepção exigente e morosa.

  • Não permitem a criatividade do formando.

  • Não têm em conta a opinião do formando sobre a matéria.

  • Exigem uma boa capacidade de interpretação (compreensão da leitura), favorecendo os que têm maior capacidade de interpretação.

Adaptado de: LEMOS, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20 e de: SAMPAIO, José, Avaliação na Formação Profissional, Técnicas e Instrumentos, Lisboa, Instituto do Emprego e Formação Profissional, 1993

 

 

Testes: produção longa, resposta longa ou redacção

Neste tipo de testes apresentam-se as questões ao formando, permitindo que ele responda livremente, espontaneamente, dando largas à sua imaginação e criatividade.

É esta característica que lhes confere vantagem sobre outros tipos de teste escritos, sendo os instrumentos ideais para avaliar matérias complexas e processos mentais superiores como o espírito crítico, a capacidade de julgar e a criatividade.

Uma outra vantagem é a concepção fácil e rápida do formador. O grande inconveniente deste tipo de testes é o conduzirem a uma avaliação subjectiva, permitindo geralmente mais que uma resposta com maior ou menor profundidade. Por vezes o formando sente necessidade de tentar adivinhar o que o formador gostaria que respondesse.

Há portanto possibilidade de haver mais que uma resposta, destas poderem ter diferentes desenvolvimentos e de o formando lhes imprimir o seu cunho pessoal, a sua criatividade.

Apelas razões apresentadas a avaliação da produção longa torna-se difícil, morosa e subjectiva, sendo difícil comparar diferentes respostas.

 

Exemplos de questões de produção longa.

- Explique as razões que levam a uma avaliação subjectiva.

- Inventarie as causas e aponte soluções que levam à abolição do insucesso escolar.

- Descreva o processo de produção de energia eléctrica numa barragem.

 

Qualquer uma das questões é extremamente vaga e subjectiva.

Pretende-se que o formando responda em 3, 30 ou 300 linhas?

Qualquer das questões pode dar origem a um livro ou a um tratado sobre o assunto.

Quando o objectivo da avaliação não for essencialmente a capacidade criativa, este inconveniente de extensão e subjectividade da resposta pode ser atenuado, ou até suprimido, se limitarmos o âmbito e a extensão da resposta, condicionando por exemplo o tempo ou o espaço (x minutos, x linhas, etc.).

Em formação profissional raramente faz sentido a utilização destes testes tão subjectivos e as questões de produção longa a utilizar, poderão na maior parte dos casos ser fragmentadas em questões subsidiárias, de âmbito mais limitado, que no conjunto levarão o formando a demonstrar que domina globalmente o assunto.

 

Algumas regras indispensáveis à elaboração adequada de questões de produção longa

  • O texto deverá ser claro e o mais curto possível.

  • Limitar o âmbito da questão (forma, quantidade, qualidade ou profundidade).

  • Indicar claramente o que se pretende.

  • Sempre que possível, subdividir a pergunta em fracções coerentes, tornando as respostas menos longas.

Adaptado de: SAMPAIO, José, Avaliação na Formação Profissional, Técnicas e Instrumentos, Lisboa, Instituto do Emprego e Formação Profissional, 1993

 

 

Fases da elaboração dos instrumentos de avaliação

O processo de elaboração de instrumentos de avaliação pode ser dividido em seis fases:

1.     Identificar o Tipo de Avaliação.

2.     Construir Questões.

3.     Criar a Corrigenda.

4.     Criar Tabelas de Notação.

5.     Prever a Decisão.

6.     Prever a Remediação.

 

  1. Identificar o Tipo de Avaliação pretendida (formativa, sumativa, etc.) e adequar os instrumentos à finalidade dessa avaliação, seleccionando objectivos gerais, específicos ou micro-objectivos, para serem avaliados.

 

  1. Construir Questões, por forma a que haja equivalência entre:

 

 

 

 

 

 

 

 

     

  1. Criar a Corrigenda com as respectivas respostas-tipo correctas.

 

  1. Criar Tabelas de Notação (ou cotação), nas quais se deverão prever:

    • cotação a atribuir;

    • desconto a efectuar por cada questão errada (ou parcialmente errada se tal for admissível).

 

  1. Prever a Decisão, isto é, qual o limite mínimo de conhecimentos admitidos. De acordo com a importância da matéria (critério definido nos objectivos e nos instrumentos) poderá ser por exemplo:

    • não se admite nenhum erro (sem erros)

    • admitem-se x erros

    • admite-se a cotação mínima de …

Se o formando satisfez as exigências mínimas, a decisão poderá ser:

    • domina a matéria, pode prosseguir, etc.

    • aprovado, apto, etc.

Se o formando não satisfez as exigências mínimas, a decisão poderá ser:

    • não domina matéria, não pode prosseguir, etc.

    • reprovado, eliminado, etc.

 

  1. Prever a Remediação: na avaliação formativa, quando o formando não domina, deve prever-se a remediação, a qual pode consistir em aconselhar o formando a rever a parte da matéria que não domina ou oferecer-lhe outras alternativas de aprendizagem (outros métodos, outros meios, etc.), pois o objectivo principal não é o de classificar mas sobretudo diagnosticar, para que o formando tenha êxito na aprendizagem.

Adaptado de: SAMPAIO, José, Avaliação na Formação Profissional, Técnicas e Instrumentos, Lisboa, Instituto do Emprego e Formação Profissional, 1993, pp. 81-84

  

 

Ensaio dos Instrumentos de avaliação

Ensaiar para detectar falhas na redacção (imprecisões, erros, omissões), no nível de dificuldade, etc., a fim de procedermos à sua correcção.

 

Metodologia do Ensaio

a.   Discussão oral

Consiste em fazer perguntas oralmente ou por escrito, debatendo-as e confrontando as respostas. Poderemos assim verificar se há erros de construção ou de interpretação, ou se há diferentes repostas para a mesma questão.

 

b.  Determinar o índice de facilidade/dificuldade

Em grupo maior (no mínimo 20 a 30 formandos), testamos para cada pergunta a percentagem de:

    • Bons resultados: se a % for alta, a pergunta é fácil.

    • Maus resultados: se a % for alta, a pergunta é difícil.

 

c.   Determinar o índice de eficácia

O índice de facilidade pode ser acompanhado pelo factor sorte. Por isso, deve ser acompanhado pelo índice de eficácia, o qual nos revela em que medida uma pergunta discrimina os formandos “bons” dos “fracos”.

 

Cálculo do Índice de Eficácia Pelo Método Simples Proposto por Pidgeon e Yates

a)

Dividir o grupo em três níveis.

Bons, médios e fracos

b)

Para cada questão calcular a % de formandos de cada nível que obteve bom resultado.

Ex.  questão A: bons.-.95%; fracos – 20%

c)

Para cada questão calcular a diferença entre a % de bons resultados do grupo “bons” e a % de bons resultados do grupo “fracos”.

Ex. questão A (95-20)=75

Conclui-se que a questão A discrimina bastante os “bons” dos “fracos”.

De acordo com os nossos objectivos (nível de formação e de selecção que pretendemos), decidiremos se nos interessa manter assim a questão ou alterá-la.

 

d.  Determinar a atracção pelas escolhas (para QEM)

Dispondo o formando de 5 escolhas (4 distractores e a resposta certa):

    • a resposta certa deve atrair 60% dos formandos;

    • cada distractor deve atrair 10% dos formandos.

Verificamos assim se os distractores foram bem conseguidos ou não, e neste caso terão de ser alterados.

Adaptado de: SAMPAIO, José, Avaliação na Formação Profissional, Técnicas e Instrumentos, Lisboa, Instituto do Emprego e Formação Profissional, 1993

 

 

Reformulação dos instrumentos de avaliação

O formador deverá partir do princípio de que os instrumentos nunca são um produto acabado, e deve estar disposto a corrigi-los permanentemente.

Mesmo que os instrumentos em si não necessitassem de melhorias, devemos ter em conta que podem alterar-se as condições por parte dos formandos: subida ou descida do nível geral de preparação, diferentes exigências no nível de formação, etc.

Adaptado de: SAMPAIO, José, Avaliação na Formação Profissional, Técnicas e Instrumentos, Lisboa, Instituto do Emprego e Formação Profissional, 1993

 

 

Qualidade dos testes

A qualidade dos testes afere-se por várias características, as quais podem ser ordenadas e agrupadas de diversos modos. Apresentam-se de seguida três das que consideramos mais importantes e significativas:

  • Validade – o teste deve requerer do aluno exactamente os mesmos comportamentos (acções, operações, conhecimentos) definidos nos objectivos, e sob idênticas condições.

  • Fidelidade – o teste deve constituir uma medida consistente da consecução dos objectivos, em qualquer momento ou circunstância, estando portanto liberto de factores estranhos que possam influenciar o desempenho do aluno.

  • Objectividade – não deve haver dúvidas quanto ao critério de sucesso do aluno na resolução do teste. Para testes não objectivos deve usar-se o sistema de concordância de dois ou mais observadores, além de um procedimento de correcção baseado em critério relativo.

 

Validade

A validade diz respeito ao que o teste mede. Refere-se à medida da relação entre as questões do teste e os objectivos que se pretendem medir.

Distinguem-se quatro tipos de validade: conteúdo, conjunto, concorrente e preditiva. A que realmente interessa ao professor, nas suas avaliações de aprendizagem, é a validade de conteúdo. Esta refere-se à relação entre as perguntas e os objectivos fixados.

Trata-se de um procedimento de rigor na construção do teste, de modo a que ele se refira todo e só aos objectivos de aprendizagem fixados e estudados, reflectindo também (na quantidade de itens ou na forma de pontuação) a importância relativa de cada objectivo, a qual está directamente relacionada com o ênfase e o tempo dispendido nas actividades de ensino-aprendizagem respectivas.

Algumas regras elementares:

  1. Todos os objectivos de aprendizagem (em cada unidade ou sequência) que foram estudados, devem ser testados.

  2. Cada objectivo deve ser testado separadamente no contexto do teste.

  3. Cada item deve medir somente um e um só objectivo.

  4. O número de questões por objectivo deve ser o necessário e suficiente para assegurar da consecução desse objectivo.

  5. Havendo pontuação diferenciada, ela deve corresponder à importância (ênfase do ensino-aprendizagem) dos objectivos.

Estas instruções em conjunto com as definidas anteriormente para a construção dos testes garantem uma relativa margem de segurança no respeitante à validade do teste que se está a utilizar.

Existem outros procedimentos que podem ser tidos em conta para obviar as ameaças à validade. Um deles, refere-se à apreciação do teste por outros colegas. Face à lista de objectivos e ao teste, se dois professores da mesma área ou disciplina, discordarem quanto à validade da medição de algum objectivo por um dos itens, este deve ser imediatamente reformulado ou substituído por outro que não deixe margem a dúvidas.

Um outro aspecto diz respeito às opiniões, que os próprios alunos emitem sobre o teste. Quando um professor ouvir dos seus alunos o comentário: “não foi isto que demos na aula”; em vez de tentar justificar que a afirmação está errada ou incorrecta (atitude muito comum) deve sim reanalisar imediatamente o teste, porque normalmente trata-se de uma questão de validade, em geral relacionada com uma relação indevida entre a importância (ênfase) do(s) objectivo(s) e o respectivo peso no teste, quando não se trata de um item inadequado ao objectivo, o que sucede com frequência maior que a  desejável.

 

Fidelidade

A fidelidade refere-se à característica de um teste medir com exactidão o que se pretende. Esta característica depende dos procedimentos já indicados para melhorar a validade, assim como dos índices relativos à sua construção.

Quando o professor não define os objectivos e constrói para cada um deles um item, e faz uma selecção aleatória (ou não) de conceitos ou princípios no âmbito da “matéria ensinada” ou ainda resolve testar (ou retestar) alguns dos objectivos definidos, deve, nestes casos, fazer o estudo da fidelidade do teste.

Para comprovar a fidelidade existem três tipos de procedimentos fundamentais:

  1. Teste – Reteste – Aplica-se o teste novamente após algum tempo de se ter aplicado pela primeira vez. Calcula-se depois o coeficiente de correlação dos resultados.

  2. b)Formas equivalentes – Aplicam-se duas formas consideradas equivalentes (extensão, dificuldade e conteúdo) do mesmo teste, calculando-se a seguir o coeficiente de correlação dos resultados.

  3. Método das metades – divide-se o teste ao meio (por exemplo, perguntas pares e perguntas impares). Calcula-se depois o coeficiente de correlação dos resultados obtidos em cada metade.

 

Objectividade

O grau de objectividade não é uma medida numérica, mas qualitativa, comprovando-se com os procedimentos utilizados para a construção e aplicação do teste.

Os procedimentos para garantir a objectividade do teste foram descritos quando se analisaram as características dos testes objectivos.

Adaptado de: LEMOS, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20

 

 

Tratamento de resultados de testes e questionários

O tratamento de resultados faz-se, fundamentalmente, para determinar dois aspectos: a dispersão dos resultados e a tendência central dos mesmos.

 

Medidas de tendência central

Existem três tipos fundamentais de medidas de tendência central: moda, mediana e média.

 

Moda

A moda é o resultado que se repete com mais frequência.

Quando se trabalha com objectivos definidos, aos quais se atribui igual importância, interessando saber quantos objectivos foram atingidos, a moda é uma medida essencial pois indica o grau de consecução dos objectivos obtidos por mais alunos, permitindo analisar o nível de aprendizagem alcançado.

 

Mediana

É o que podemos designar como o ponto médio da distribuição de resultados.

Assim, 50% dos resultados estão acima desse ponto e 50% abaixo dele.

Se tivermos uma turma de 21 alunos em que os resultados dos testes foram expressos numa escala de 0 a 100. Colocando os resultados numa tabela ascendente a mediana é o valor correspondente ao 11º resultado, que é o ponto médio. Se o número de alunos for par, a mediana será a média das notas centrais (a média entre o 10º e o 11º resultado).

 

Média aritmética

É uma medida que nos dá o rendimento médio de um grupo num teste. A média é calculada com a fórmula:

 

                        M=∑X / N

 

M – média

∑X – soma dos resultados dos alunos

N – número de alunos

 

 

A média pode ser pouco significativa se a dispersão dos resultados for grande, ou seja se existirem valores extremos muito afastados. Neste caso, será correcto fazer o cálculo da mediana que espelha mais claramente a realidade do grupo.

Adaptado de: LEMOS, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20

 

 

A correcção e a pontuação dos testes e a classificação dos alunos

A classificação final a atribuir aos alunos, expressa numa escala qualitativa ou quantitativa tem como objectivos:

1 – Expressar de forma simplificada o nível de aprendizagem global atingido pelo aluno;

2 – Permitir estabelecer comparações entre níveis de aprendizagem dos diversos alunos.

A atribuição dessa classificação é portanto, o ponto culminante do processo de avaliação de aprendizagem e a sua importância é decisiva. Por isso é importante o maior rigor e objectividade.

 

 

Correcção e pontuação dos resultados

A cotação das perguntas assim como a pontuação das respostas, independentemente da escala escolhida, estão estritamente dependentes de toda a planificação do ensino, previamente elaborada, e que implica actuações diferentes na avaliação por parte do professor, consoante a forma como planificou o ensino-aprendizagem. Assim, de acordo com a perspectiva de organização do ensino, deverão estar as técnicas de cotação e pontuação dos testes e restantes instrumentos de avaliação.

Quando o professor quer atribuir a cada item de um teste ou outro instrumento, uma cotação, no contexto de todo o teste, deve ter em conta a importância relativa de cada item. Como cada item diz respeito a um objectivo, é a importância de cada objectivo que é necessário estabelecer.

Se todos os objectivos forem igualmente importantes, todos têm igual cotação. O nível de aprendizagem é dado pela quantidade e/ou qualidade dos objectivos alcançados.

Se as questões de um teste são hierarquizadas, por ordem de importância, atribui-se em consequência uma cotação que estabelece essa hierarquia. Assim, o aspecto fundamental a ter em conta para a cotação é a importância relativa do objectivo testado por cada item. A importância de um objectivo não é sinónimo de dificuldade, para a definir existem dois indicadores que podem ser utilizados:

1. A ênfase (tempo e esforço) colocada nas actividades de ensino-aprendizagem dos diversos objectivos.

(A maior ênfase no ensino deve corresponder maior importância na avaliação).

2. A medida em que cada objectivo constitui um pré-requisito para outros que serão abordados em fase posterior.

(Os objectivos que constituem pré-requisitos de aprendizagem a fazer posteriormente, são mais importantes do que os que não possuem tal característica).

 

Correcção e pontuação dos testes objectivos

Quando a resposta é composta por várias partes (casos de resposta curta – identificação, completamento de frases, verdadeiro-falso, combinação, etc.) haverá que considerar previamente quais ou quantas as partes que deverão ser obrigatoriamente respondidas correctamente para se considerar a resposta satisfatória, isto é, considerar que o aluno atingiu o objectivo.

Pode também atribuir-se uma cotação à questão previamente repartida pelas diversas partes da resposta, tendo em conta, o critério da importância de cada parte no contexto da resposta.

 

Correcção e pontuação de testes não-objectivos

A correcção torna-se mais fácil quando se quantificam as perguntas (por exemplo: indicar o número de exemplos, de argumentos, de justificações, etc, a apresentar na resposta).

Quando não estão em jogo quantidades mas conceitos, princípios, factos, etc., devem previamente ser fixados os termos, conceitos, demonstrações, etc. que a resposta deve conter para ser considerado atingido o objectivo.

  

Correcção e pontuação de registos de observação

Os registos de observação podem ser de dois tipos: listas de verificação e grelhas de análise.

As listas de verificação dizem respeito à observação da realização de acções.

A cotação dos diversos items de uma lista de verificação pode fazer-se segundo duas perspectivas: centrada no processo ou centrada no produto de aprendizagem.

Se nos centramos no produto de aprendizagem, no comportamento terminal, devemos ter em conta dois aspectos: (1) o que se relaciona com a cotação relativa de cada item, tendo em conta o total da lista, e (2) o que respeita à pontuação do nível de realização de cada acção.

Além das listas de verificação, os registos de observação podem também tomar a forma de grelhas de análise. Destinam-se a registar as frequências de ocorrência de determinados comportamentos dos alunos. Para estas frequências devem estabelecer-se níveis correspondentes numa escala de pontuação, que, é importante que possua poucos intervalos (ex. 1 a 5). Por exemplo para o item “arruma o material”, um aluno que o arruma sempre tem 5 e o que nunca arruma tem 1, fixando as frequências intermédias para os níveis 2, 3, 4. sendo o 2 para o que raramente (só uma ou duas vezes) arrumou o material e o 3 e o 4 para os que costumam arrumar o material não o fazendo, por vezes.

Adaptado de: LEMOS, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20

 

  

Observação: algumas regras indispensáveis para uma observação eficaz

Para tirar o máximo partido da observação, deveremos seguir algumas regras como:

  • Inventariar previamente, sempre que possível, os dados que pretendemos recolher, isto é, fazer com que a observação seja uma técnica e não uma improvisação.

  • Observar discretamente, sem perturbar o formando.

  • Criar no grupo um ambiente de franqueza, de à-vontade, propício à observação.

  • Ter em conta a natureza dos formandos, não beneficiando mais os comunicativos (que por vezes dão propositadamente nas vistas), em prejuízo dos mais reservados.

  • Procurar ser imparcial e objectivo.

  • Manter o bom senso e a prudência quanto ao tratamento, generalização e utilização dos dados recolhidos.

  • Criar instrumentos adequados à observação, objectivos, para não misturar factos concretos com simples opiniões subjectivas.

Adaptado de: SAMPAIO, José, Avaliação na Formação Profissional, Técnicas e Instrumentos, Lisboa, Instituto do Emprego e Formação Profissional, 1993

 

 

Vantagens e inconvenientes da observação

Uma das vantagens é permitir colher dados no momento em que estão a acontecer, sendo portanto reais e fidedignos.

Para que a observação seja correcta, o formador/avaliador necessita despender muito tempo. Enquanto observa e avalia determinados pormenores relativamente a um formando, não poderá, naturalmente, estar atento ao que se passa com os outros.

Este inconveniente pode atenuar-se criando previamente instrumentos adequados à observação, possibilitando, assim, poupar tempo e aumentar a disponibilidade do formador para o grupo.

Adaptado de: SAMPAIO, José, Avaliação na Formação Profissional, Técnicas e Instrumentos, Lisboa, Instituto do Emprego e Formação Profissional, 1993

 

 

Registos de observação

Estes instrumentos podem usar-se para verificação da frequência de determinados comportamentos e qualidade dos desempenhos específicos. Podem assumir basicamente duas formas: lista de verificação ou grelha de análise.

 

A – Listas de verificação

As listas de verificação não se usam geralmente quando se trata da frequência de determinados comportamentos, mas somente quando se trata da simples presença ou ausência dos mesmos. Para elaboração de uma lista de verificação, é necessário identificar previamente os comportamentos ou características importantes. As propriedades de uma boa lista de verificação, são as seguintes:

1 – Deve ser curta.

2 – Cada item deve ser claro e o mais objectivo possível.

3 – Cada item deve referir-se a uma só característica ou comportamento.

4 – Devem estar incluídas características ou comportamentos importantes.

5 – Deve ser facilmente manuseável (por exemplo, nunca estar escrita na frente e costas de uma folha).

 

 

Exemplo:

Avaliação de uma pintura baseada em figuras geométricas.

- Estão presentes todas as figuras pedidas.

- Não denota erros na construção das figuras.

- Denota equilíbrio na distribuição das figuras e linhas rectas e de linhas curvas.

- Não deixou visíveis traços auxiliares de construção.

- Não usou cores primárias (tal como era indicado).

- A execução das figuras é rigorosa.

- A execução da pintura é rigorosa, não havendo ultrapassagens ou sobreposições indevidas.

- A combinação das cores é agradável.

- Cada tonalidade apresenta aspecto uniforme.

- Utilizou todo e só o espaço permitido.

 

 

B – Grelhas de análise

Devem utilizar-se quando se pretende observar a frequência de determinados comportamentos. Para elaboração de uma grelha de análise é necessário seleccionar previamente os comportamentos cuja frequência se deseja observar. As propriedades de uma grelha de análise são as seguintes:

1 – Deve referir-se a um número reduzido de comportamentos.

2 – Deve estar organizada de modo a que seja possível assinalar cada ocorrência de forma simples, fácil e rápida.

3 – Deve ser facilmente manuseável (nunca frente e costas de uma folha).

 

  

Exemplo:

 comportamentos

datas

Interrompe o professor

Interrompe os colegas

Ajuda os colegas

Arruma o material

Não cumpre as regras em grupo

1ª semana

 

 

 

 

 

2ª semana

 

 

 

 

 

3ª semana

 

 

 

 

 

 

 

 

 

 

Totais

 

 

 

 

 

 

 

As grelhas de análise podem ser complementadas por escalas qualitativas, cuja função é a de avaliar a qualidade de um comportamento ou característica. Um exemplo de um item de uma escala qualitativa é o seguinte:

 

Em que medida o coordenador do grupo encoraja a discussão?

 

/_____________________/_________________________/______________________/

    desencoraja com               não encoraja nem desencoraja      encoraja com comentários

 comentários negativos                                                                            positivos

 

Embora possam ser instrumentos úteis, a sua utilização pelo professor torna-se geralmente difícil, pelo que devem usar-se somente quando a qualidade de um comportamento, não observável de outro modo, seja realmente importante.

 

 

C – Questionários de opinião

 Os questionários utilizam-se para obter informações sobre as opiniões e apreciações dos alunos, de modo a poder avaliar o nível de desenvolvimento de determinados valores e atitudes. Para construir um questionário devem ter-se em conta os seguintes aspectos.

1 – Definir previamente quais os valores ou atitudes que se pretendem medir.

2 – Seleccionar a forma adequada (existem várias) das perguntas.

3 – Seleccionar a forma (existem várias) em que as respostas devem ser dadas.

 

Além destes aspectos prévios de construção, um bom questionário tem as seguintes propriedades:

1 – Não deve ser demasiado longo para evitar o desinteresse e a fadiga.

2 – Deve preferencialmente exigir a mesma forma de resposta a todas as questões. Quando seja necessário mais de uma forma, os itens devem ser agrupados em função do formato exigido.

3 – As questões ou afirmações devem ser claras e sem expressões de “duplo sentido”.

4 – Conforme o formato das questões devem estas seguir as regras respectivas a esse formato.

 

As formas possíveis para os itens de questionários enquadram-se nas formas já referidas para os testes e registos de observação. Assim pode ser:

1 – Resposta curta.

2 – Escolha múltipla.

3 – Escalas – uma das mais usadas é a escala de Lickert em que, face a uma afirmação, o aluno assinala um dos 5 graus:

 

|__________|__________|__________|__________|__________|

concordo         concordo        indeciso         discordo        discordo

inteiramente                                                                     inteiramente

 

Outros tipos de escalas são as de ordenação, em que o aluno tem de ordenar as afirmações fornecidas da primeira à última.

 

Exemplo:

Na aula prefiro:

- ouvir o professor

- ouvir os colegas

- falar com os colegas

- falar com o professor

- trabalhar sozinho

- trabalhar em grupo

 

Podem usar-se o tipo de escalas já referidas para os registos de observação, ou ainda as que exigem respostas: sim/não, verdadeiro/falso, etc.

Adaptado de: LEMOS, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20

 

D – Ficha de observação

Nela se registam factos que vão ocorrendo, com interesse para a avaliação, durante uma lição, sessão de formação, exercício prático, etc.

Cada um conceberá as suas próprias fichas de acordo com a estrutura que considere mais adequada aos objectivos da observação a realizar.

 

Exemplo de uma ficha de observação

FICHA DE OBSERVAÇÃO

Tarefa:                                                                                                                            Data:___/___/______

Factos Observados

 

 

Comentários

Adaptado de: LEMOS, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20

 

E – Listas de ocorrências

Contêm uma listagem, previamente elaborada, dos comportamentos que esperamos venha a ocorrer, tornando a observação mais fácil de registar, mais rápida e mais objectiva.

Marcamos um sinal quando esses comportamentos ocorrem.

 

Exemplo de Listas de Ocorrências

LISTAS DE OCORRÊNCIA

      Comportamento

 

 

Formando

 

Esteve atento

 

Participou

 

Compreendeu

 

Aplicou

 

Executou a tarefa

 

A

 

 

X

 

X

 

X

 

X

 

X

 

B

 

 

X

 

 

X

 

 

 

C

 

 

X

 

X

 

X

 

X

 

X

Adaptado de: Lemos, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20

 

 

Escalas de classificação

Permitem registar e atribuir um determinado grau, numa escala crescente.

 

Exemplo:

ESCALA DE CLASSIFICAÇÃO

 

                   Preparação da lição

o aluno demonstrou:

Nenhuma              Pouca             Irregular                            Boa                 Muito Boa

Preparação                                                                                                                                       

 

Adaptado de: Lemos, Valter, O Critério do Sucesso – Técnicas de Avaliação da Aprendizagem, Texto Editora, Lisboa, 1986, pp. 14-20