Dictionnaire

Cur./Doc. Cueillette systématique de données sur les activités, les caractéristiques et les effets d’un programme en vue de porter un jugement de valeur, de l’améliorer ou de prendre des décisions concernant sa programmation future __ SCRIVEN, M. (1991); PATTON, M. Q. (2002); STAKE, R. E. (2004).

A. Besoins et évaluation. En tant qu’élément de réponse à des besoins, un programme doit être considéré comme une hypothèse d’intervention ayant comme but de combler ces besoins. L’élaboration de cette hypothèse doit s’appuyer sur des données et des informations valides et fiables, mais dont la stabilité à travers le temps peut devenir faible. Elle se doit par conséquent d’être éprouvée de manière continue (évaluation continue) ou cyclique (évaluation périodique) afin de s’assurer de la qualité de sa formulation et de sa pertinence __ PLANTE, J. (1991). Étude sur les conditions (sociales, éducatives, etc.) auxquelles le programme doit apporter une ou des solutions ainsi que sur les besoins. Elle permet de s’assurer que le programme a correctement conceptualisé les problèmes identifiés __ ROSSI, P. H. et al. (2004); ALKIN, M. C. (2004). TA critère; indicateur.

B. Évaluation de la théorie sous-jacente au programme. À la jonction entre l’évaluation des besoins et celle du processus, cette étude s’intéresse à : a) la clarté avec laquelle le modèle du programme est défini; b) le potentiel du modèle d’atteindre les buts et objectifs et de les évaluer; c) l’identification des personnes concernées et leur accord quant à la façon dont l’information générée par l’évaluation sera utilisée. Elle permet de vérifier si la théorie sous-jacente au programme intègre adéquatement les connaissances actuelles et s’il offre une cohérence interne __ id.

C. Évaluation du processus ou de l’implantation du programme.Étude récurrente et continue portant sur les opérations du programme, son implantation et sur les services dispensés. Elle permet de vérifier si le programme est fidèlement implanté et se déroule selon l’intensité requise __ id.

D. Évaluation des résultats/impacts. Étude sur les résultats ou les impacts du programme en terme de changement de conditions souhaité. Plus précisément, elle établit s’il existe une différence substantielle et statistiquement significative entre les participants au programme et ceux qui n’ont pas participé __ id. VA indicateur, C.

E. Évaluation des coûts et efficience.Étude sur les coûts du programme mis en relation, soit avec les bénifices financiers générés, soit avec l’efficacité du programme en terme des changements de conditions visés par le programme. Elle permet de déterminer dans quelle mesure les bénéfices enregistrés au niveau des effets observés justifient les coûts impliqués.

F. Obligation de services. Jusqu’à récemment, l’éducation était vue comme un devoir collectif de notre société, celui d’offrir et de dispenser au plus grand nombre d’individus et de groupes, des services éducatifs de la meilleure qualité possible. Notre société se trouvait devant une obligation de services en éducation (les services de soins de santé, par exemple, sont aussi dans ce cas). La priorité va, alors, aux activités, à leur déroulement, aux ressources impliquées, aux coûts, en somme, à tout ce qui participe au processus du système. Répondant à une logique d’obligation de services, l’évaluation consiste alors à vérifier s’il y a des failles dans ce processus, par exemple : objectifs non pertinents, coûts prévus dépassés, activités omises, baisse de fréquentation dans les activités, manque de cohérence entre les moyens et les fins visées, etc. Ou, au contraire, l’évaluation permet de savoir si les services sont rendus adéquatement ou conformément aux prévisions, si l’école ou son personnel a bien accompli son travail, si les dépenses sont justifiées par les activités, etc. Les indicateurs de réussite se trouvent ainsi à révéler l’accomplissement même du processus éducatif, en mettant en relief les services qui permettent de le réaliser __ GAUDREAU, L. (2001). VA E.

G. Obligation de résultats. On passe progressivement de l’obligation de services à une obligation de résultats, selon laquelle le devoir collectif consiste à livrer le produit (... ou la marchandise), les services n’étant que moyens de production. Selon la logique d’une approche par résultats, l’évaluation consistera, alors, à examiner le produit de l’éducation, en n’échappant pas aux préoccupations contemporaines envers l’efficacité et l’efficience du système qui produit ces résultats. Par conséquent, les principaux indicateurs de réussite se trouvent du côté des résultats de l’école. (...) Comme de raison, les résultats scolaires de l’élève ont été pris pour le produit de l’école. Ceci est montré par les indicateurs actuellement primés à travers le système d’éducation, au Québec et ailleurs. Les indicateurs qui attirent le plus d’attention pour établir la performance de l’école (le terme rendement serait ici adéquat, mais celui de performance est plus répandu) tournent autour des taux de réussite ou des taux de diplomation qui sont, en réalité, les indices construits à partir de résultats scolaires d’élèves __ id.

H. Démarche générale d’une évaluation. Supposons que les conditions préalables soient bien remplies : les intervenants acceptent cette évaluation, le partenariat est consenti et les partenaires sont raisonnablement au courant de ce qui se prépare, le comité d’évaluation est formé et ses membres s’entendent bien, on connaît le budget disponible. Il reste, maintenant, à mieux connaître ce qu’est une démarche d’évaluation de programmes ou de projets éducatifs. L’évaluation systématique de programmes ou de projets s’échelonne en étapes. Dans les milieux qui ont précédé à une évaluation, elles se sont souvent dévoilées après coup, sans avoir été bien identifiées dès le départ. Dans bon nombre de cas, la démarche serait grandement facilitée si les étapes étaient connues à l’avance et planifiées en conséquence. On peut les retracer parmi les connaissances amassées dans le domaine de l’évaluation et présentées dans les écrits spécialisés sur le sujet. Elles se regroupent en trois grandes phases très simples, selon le moment de réalisation : avant (préparation), pendant (action) et après (suivi) la prise d’informations sur ce qui est évalué. En voici un aperçu.

Source : GAUDREAU, L. (2001)

La démarche se fait en neuf étapes principales. L’ordre d’exécution des six premières n’est pas exclusivement chronologique. Par exemple, pendant l’action, il se peut que l’on revienne réajuster le plan ou les instruments d’évaluation (illustré, dans la figure, par la flèche à double sens entre la préparation et l’action). Les deux premières étapes, soit rédiger le plan d’évaluation et produire les instruments, sont toujours plus longues que les autres et elles font appel à plus de connaissances techniques (présentées plus loin). En revanche, une fois que l’on sait comment bien les accomplir, les sept étapes suivantes deviennent relativement simples et rapides. Le comité d’évaluation sera très actif pendant les trois premières étapes (préparation) et les trois dernières (suivi). Les opérateurs et les répondants seront davantage à l’œuvre dans les trois étapes du centre (action). Leurs activités dépendent évidemment de la nature de l’étape __ id.

I. Normes, critères, recommandations d’évaluation de programme __ SANDERS, J. R. (chair), The Joint Committee on Standards for Educational Evaluation (1994) : trad.

Une évaluation judicieuse des programmes, projets et matériels éducationnels dans différents milieux devraient comprendre quatre normes fondamentales :

• Utilité                    • Pertinence

• Faisabilité             • Authenticité

Instaurées par seize associations professionnelles en éducation, les Normes d’Évaluation de Programme s’identifient aux principes opératoires d’évaluation qui, lorsque suivis, devraient conduire à de meilleures évaluations de programme au regard des quatre composantes mentionnées ci-dessus.

…

UTILITÉ 

Les normes d’utilité sont établies pour s’assurer qu’une évaluation réponde aux besoins d’information des éventuels utilisateurs.

U1 Identification des parties prenantes  Les personnes intéressées ou concernées par l’évaluation devraient être bien identifiées afin que celle-ci réponde adéquatement à leurs besoins.

U2 Crédibilité de l’évaluateur  Les personnes responsables de l’évaluation devraient être à la fois dignes de confiance et compétentes afin que les résultats attestent d’une crédibilité et d’une reconnaissance les plus élevées.

U3 Étendue et tri de l’information  Les sources d’information doivent être suffisamment étendues de façon que toutes les questions pertinentes puissent être traitées, et répondent ainsi aux besoins et aux intérêts des clients et des autres personnes intéressées.

U4 Identification des valeurs  Les perspectives, les procédures et le raisonnement inhérents à la cueillette et à l’interprétation des résultats devraient être soigneusement explicités afin que les jugements de valeur s’appuient sur des bases solides.

U5 Intelligibilité du rapport  Les rapports devraient clairement décrire le programme qui fait l’objet d’une évaluation, notamment son contexte, ses objectifs, ses procédures et les données de l’évaluation, afin qu’il s’en dégage des informations utiles et faciles à comprendre.

U6 Opportunité et diffusion du rapport  Les résultats provisoires significatifs et les rapports d’évaluation devraient être transmis aux éventuels utilisateurs afin que les données soient utilisées au bon moment.

U7 Impact de l’évaluation  Les évaluations devraient être planifiées, menées et rapportées de façon que les intéressés soient encouragés à poursuivre la démarche, accroissant ainsi les chances que les données de l’évaluation soient pleinement utilisées.

FAISABILITÉ

Les normes de faisabilité visent à ce que l’évaluation soit réaliste, prudente, diplomatique et économique.

F1 Procédures pratiques  Les procédures d’évaluation devraient être réalistes afin d’occasionner le minimum de dérangements lors de la cueillette des informations requises.

F2 Viabilité politique  L’évaluation devrait être planifiée et conduite en prévoyant les différentes positions des divers groupes d’intérêt, de façon à obtenir la coopération de chacun d’eux, tout en évitant ou en neutralisant toute tentative de réduire les procédures d’évaluation, de fausser les données ou d’utiliser les résultats à mauvais escient.

F3 Rentabilité  L’évaluation devrait être efficace et fournir des informations suffisamment valables de façon que les ressources allouées soient justifiées.

PERTINENCE

Les normes de pertinence sont établies afin d’assurer qu’une évaluation soit conduite conformément aux lois et à l’éthique, tout en prenant en compte le bien-être des personnes impliquées, aussi bien que celles concernées par les résultats.

P1 Orientation du service  Les évaluations devraient être conçues afin d’aider les organisations à satisfaire les besoins de tous les participants visés.

P2 Accords en bonne et due forme  Les obligations des parties officiellement impliquées dans l’évaluation (ce qui doit être fait, comment, par qui, quand) devraient être colligées sous forme d’entente écrite afin que toutes les conditions soient respectées ou renégociées formellement par tous dans les règles prévues.

P3 Droits des sujets humains  Les évaluations devraient être conçues et conduites de manière à respecter les droits et le bien-être des sujets humains.

P4 Interactions humaines  Les évaluateurs devraient respecter la dignité et la valeur de l’être humain lors de leurs interactions avec les autres personnes concernées par l’évaluation de telle sorte qu’aucun participant ne soit menacé ou ne subisse le moindre préjudice.

P5 Appréciation complète et juste  L’évaluation devrait être intégrale et honnête dans l’étude et la mention des forces et faiblesses du programme soumis à l’évaluation, afin de s’appuyer sur les aspects positifs et de pallier les lacunes.

P6 Transmission des résultats  Les parties impliquées officiellement dans une évaluation devraient s’assurer que l’ensemble des résultats ainsi que leurs limites soient disponibles pour toute personne concernée, ainsi que pour toute autre ayant obtenu un droit légal de consultation.

P7 Conflit d’intérêt  Les conflits d’intérêt devraient être traités ouvertement et honnêtement afin qu’ils ne compromettent le processus d’évaluation et les résultats.

P8 Imputabilité financière Les allocations et utilisations de ressources de l’évaluateur devraient refléter une saine gestion comptable et également, prudence, responsabilité et éthique de façon que les dépenses soient bien expliquées et justifiées.

AUTHENTICITÉ

Les normes d’authenticité visent qu’une évaluation révèle et communique des informations appropriées concernant certaines caractéristiques révélatrices des pertinences, déficiences, absences, carences ou insuffisances à remédier d’un programme soumis à l’évaluation.

A1 Documentation du programme  Le programme sous évaluation devrait être décrit et documenté clairement et précisément afin qu’il soit identifié explicitement et sans équivoque.

A2 Analyse du contexte  Le contexte environnant le programme devrait être étudié sous suffisamment d’aspects afin de connaître les influences possibles du milieu sur certaines composantes du programme.

A3 Description des objectifs et procédures  Les objectifs et procédures de l’évaluation devraient être analysés et décrits avec suffisamment de précision de telle sorte qu’ils puissent être connus et contrôlés.

A4 Sources d’information justifiables  Les sources d’information utilisées dans un programme d’évaluation devraient être bien identifiées de façon à pouvoir apprécier la véracité des données.

A5 Informations valides  Les procédures de cueillette des informations devraient être choisies ou conçues et ensuite implantées de façon que l’interprétation des données soit suffisamment valide pour que l’on puisse s’en servir ultérieurement.

A6 Informations crédibles  Les procédures de cueillette des informations devraient être choisies ou conçues et ensuite implantées de façon que les informations obtenues soient suffisamment crédibles pour que l’on puisse les utiliser dans le futur.

A7 Informations systématiques  Les informations recueillies, traitées et rapportées dans une évaluation devraient être systématiquement vérifiées et toute erreur devrait être corrigée.

A8 Analyse de l’information quantitative  L’information quantitative dans une évaluation devrait être convenablement et systémiquement analysée afin que les questions à l’origine de la démarche reçoivent des réponses satisfaisantes.

A9 Analyse de l’information qualitative  L’information qualitative dans une évaluation devrait être convenablement et systémiquement analysée afin que les questions à l’origine de la démarche reçoivent des réponses satisfaisantes.

A10 Conclusions justifiées  Les conclusions issues d’une évaluation devraient être suffisamment appuyées et explicitées de façon que tous les intéressés puissent apprécier leur valeur.

A11 Impartialité des comptes rendus  Les procédures de transmission des résultats devraient être protégées contre toute distorsion causée par des préférences personnelles ou des préjugés d’une partie ou de l’autre, afin que les rapports reflètent honnêtement les résultats de l’évaluation.

A12 Métaévaluation  L’évaluation devrait elle-même être évaluée de façon formative et sommative à partir de ses propres normes ainsi que toute autre norme pertinente, afin que son application se déroule correctement, et qu’à la fin du processus, tous les intéressés puissent apprécier les forces et les faiblesses de l’opération.

J.   Normes les plus utiles en fonction de tâches spécifiques d’évaluation __ adaptation en tableau synthèse de SANDERS, J. R. (chair), The Joint Committee on Standards for Educational Evaluation (1994) : trad.

K.  Nomenclature.

     déterminant