1. Doc.(Gén.). Ensemble de procédés statistiques dont le but est d’évaluer la qualité d’un instrument de mesure et des items qui le composent.
2. Doc. (Spéc.). Ensemble d’opérations qui comporte trois volets : a) une vérification de la congruence entre les items et les objectifs, de la plausibilité des choix et de certains aspects de la validité et de la fidélité; b) un calcul d’indices (moyenne, écart type, indice de difficulté et de discrimination, etc.); c) une décision en vue de réviser, remplacer ou conserver les items __ MEQ, DGDP : DEP (03.84). V indice de sensibilité à l’apprentissage; instrument de mesure.
Exemples : __ MEQ, DGDP : SREP (1978).
Question 1 :
CHOIX
TOTAL
A
B
C
D
E
GROUPE SUPÉRIEUR
27 %
4
8
32
4
2
50
GROUPE INFÉRIEUR
27 %
8
12
10
12
8
50
GROUPE ENTIER
27 % + 46 % + 27 %
21
29
93
25
18
186
La bonne réponse à cette question est C.
1. Indice de difficulté :
2. Indice de discrimination :
NB : nombre de bonnes réponses
NT : nombre total de réponses
NRS : NB du groupe supérieur
NRI : NB du groupe inférieur
NS : nombre de répondants du groupe supérieur
NI : nombre de répondants du groupe inférieur
3. Décision : la question 1 doit être conservée, car p > 0,20 et < 0,80
et d > 0,40
Question 2 :
CHOIX
TOTAL
A
B
C
D
E
GROUPE SUPÉRIEUR
27 %
8
24
4
8
6
50
GROUPE INFÉRIEUR
27 %
4
28
4
12
2
50
GROUPE ENTIER
27 % + 46 % + 27 %
21
102
17
29
17
186
La bonne réponse à cette question est B.
1. Indice de difficulté :
2. Indice de discrimination :
(0,20
< 0,55 < 0,80)
d
= (-0,08 < 0,40)
3. Discussion : Si l’on avait interrompu l’analyse après le calcul de l’indice de difficulté, on aurait retenu cette question. L’information additionnelle obtenue à partir de l’indice de discrimination nous renseigne sur la valeur douteuse de cette question. En effet, il y a légèrement plus d’élèves dans le groupe inférieur qui ont obtenu la bonne réponse qu’il n’y en a dans le groupe supérieur. Cette question doit être rejetée, car son degré de discrimination est négligeable, c’est-à-dire voisin de la valeur zéro.
Remarques : De nombreux autres procédés existent pour analyser les items. Celui qui précède est le plus couramment utilisé dans le cas de l’évaluation sommative des apprentissages. On note également que l’indice de discrimination d = ps - pi où ps et pi sont les indices de difficulté pour les groupes supérieur et inférieur respectivement. VA indice de discrimination, B.
L’indice de discrimination et l’indice de difficulté, tels que présentés plus haut, fournissent également une image globale de l’examen. Une question réussie à cent pour cent ne donne aucune information sur les différences de rendement pouvant exister entre les sujets. L’indice de discrimination pour sa part renseigne sur la tendance qu’a la question à être réussie par les élèves les plus forts et à être échouée par les élèves les plus faibles à l’ensemble de l’épreuve. On peut, de plus, analyser la répartition des choix des élèves parmi les mauvaises réponses proposées. Cette analyse peut être très révélatrice de la nature des difficultés que connaissent les élèves dans le cadre des objectifs qui font l’objet de mesure dans l’épreuve.
Alors que le tableau des spécifications de l’épreuve permet de cerner les objectifs à mesurer, l’analyse d’items permet, entre autres, de vérifier si ces objectifs ont été bien mesurés par l’instrument de mesure utilisé. Une question échouée par la majeure partie du groupe peut signifier que la partie du contenu mesurée par cette question n’a pas été assimilée et donc que l’objectif n’est pas atteint.
L’analyse d’items est un excellent moyen de vérifier la valeur des instruments de mesure. Elle permet aussi de constituer une banque (fichier) de questions dont l’utilisation favorisera l’élaboration de meilleurs instruments tout en assurant une économie de temps appréciable.
