Chapitre 2.8 : Évaluation de programmes

Contexte

L'évaluation de programmes est une fonction de collecte et d'analyse systématiques de données probantes sur les résultats des programmes. Cette fonction est cruciale pour un organisme statistique national, car elle permet d'évaluer la pertinence et le rendement des programmes, de faciliter la prise de décisions et de confirmer ou d'ajuster en conséquence les priorités et l'allocation des ressources, dans un contexte national et international de pressions budgétaires. La fonction d'évaluation s'inscrit dans les bonnes pratiques de gestion étant donné qu'elle permet l'amélioration des programmes et des processus utilisés, sur une base continue.

L'évaluation s'insère avant tout dans un cycle sain de gestion afin d'apporter des renseignements aux gestionnaires leur permettant de valider ou de rajuster les programmes dont ils sont responsables.

Au Canada, cette fonction est obligatoire pour tous les ministères et agences du gouvernement. Ces derniers doivent tous se conformer aux exigences de l'agence centrale fédérale, le Secrétariat du Conseil du Trésor, qui chapeaute la fonction d'évaluation à travers tout le gouvernement du Canada.

L'évaluation de programmes fournit aux Canadiens, aux parlementaires, aux ministres, aux organismes centraux et aux administrateurs généraux une appréciation neutre et fondée sur des éléments probants de l'optimisation des ressources, c.-à-d. de la pertinence et du rendement des programmes. L'évaluation :

  • favorise la responsabilisation à l'égard du Parlement et des contribuables en aidant le gouvernement à rendre compte, de façon crédible, des résultats obtenus au moyen des ressources investies dans les programmes;
  • éclaire les décisions du gouvernement, ainsi que celles des gestionnaires de l'organisme statistique, sur l'affectation et la réaffectation des ressources;
  • aide les administrateurs généraux à gérer en fonction des résultats, en indiquant si leurs programmes donnent les résultats escomptés, et ce, à un coût raisonnable;
  • appuie l'amélioration des politiques et des programmes en aidant à cerner les leçons apprises et les pratiques exemplaires.

Au Canada, plusieurs lois, politiques et directives encadrent la fonction d'évaluation et les plus pertinentes sont les suivantes :

  • La Politique d'évaluation : mise en place par les agences centrales du gouvernement du CanadaNote de fin de page 1, afin d'offrir un cadre légal cohérent pour tous les ministères et organismes fédéraux, elle a pour but de créer une base de données d'évaluation fiable et détaillée et de l'utiliser pour soutenir l'amélioration des politiques et des programmes, la gestion des dépenses, la prise de décisions par le Cabinet et la préparation des rapports destinés au public. La politique stipule également que toutes les dépenses directes de programmes doivent être évaluées sur une base de cinq années. Dans ce sens, un plan d'évaluation organisationnel quinquennal continu est élaboré par chaque ministère ou organisme fédéral en vue de déterminer les projets ou programmes d'évaluation prévus au cours d'une année donnée.
  • La Directive sur la fonction d'évaluation : élaborée par les agences centrales, cette directive vise à préciser les rôles et responsabilités du personnel ministériel qui participe à l'évaluation de manière à assurer l'efficacité des fonctions d'évaluation des ministères et à répondre aux besoins en données des Canadiens, des parlementaires, des ministres, des organismes centraux et des administrateurs généraux. À Statistique Canada, les intervenants dans ce domaine comprennent le dirigeant principal de l'évaluation et son équipe, les gestionnaires de programmes et le Comité de l'évaluation interne présidé par le statisticien en chef.

Dans un souci de transparence, tous les ministères et agences du gouvernement sont tenus d'afficher publiquement, à travers leur site Internet, les résultats sommaires des rapports d'évaluation de leurs programmes.

Il est important d'ajouter qu'à Statistique Canada, la fonction d'évaluation des programmes est une fonction neutre, qui n'est reliée à aucun programme ou service de l'organisation. Le dirigeant principal de l'évaluation des programmes relève directement du statisticien en chef et fait rapport au Comité de l'évaluation interne présidé par le statisticien en chef.

Stratégies, mécanismes et outils utilisés

Le processus de mise en place et de développement de la fonction d'évaluation des programmes à Statistique Canada suit le cheminement suivant :

  • la mise en œuvre d'un Comité de l'évaluation interne présidé par le statisticien en chef et composé des statisticiens en chef adjoints;
  • le développement d'un plan d'évaluation quinquennal afin d'évaluer toutes les dépenses directes de programmes statistiques;
  • le développement de stratégies de mesures du rendement pour l'organisme et les programmes statistiques;
  • l'évaluation de la façon dont la pertinence, comme le degré auquel un programme répond aux besoins des utilisateurs des programmes, s'aligne avec les priorités gouvernementales et est conforme à la législation;
  • l'évaluation du rendement, comme l'atteinte des résultats attendus et la démonstration d'économie et d'efficience;
  • l'approbation des rapports d'évaluation et des stratégies de mesures de rendement par le Comité de l'évaluation interne ainsi que par le comité ministériel de vérification;
  • la publication des rapports d'évaluation approuvés sur le site Internet de Statistique Canada afin de respecter les principes d'imputabilité et de responsabilisation conformément à la Loi sur l'accès à l'information et la protection des renseignements personnels et la Politique sur la sécurité du gouvernement. L'information concernant ces rapports ainsi que la date de publication est partagéeà l'avance avec le Bureau du ministre;
  • le suivi formel des recommandations et du progrès des plans d'actions et rapports au Comité de l'évaluation interne;
  • le développement d'un rapport annuel sur l'état de la mesure du rendement des programmes en soutien des évaluations.

En ce qui a trait aux outils utilisés pour mener à bien la fonction d'évaluation, les plus pertinents sont :

  • Le plan d'évaluation doit être quinquennal, selon les exigences de l'agence centrale du gouvernement du Canada (le Secrétariat du Conseil du Trésor) qui coordonne la fonction d'évaluation, à l'échelle du gouvernement. Ce plan doit couvrir les exigences suivantes :
    • respecter et s'appuyer sur la structure de gestion, les ressources et les résultats du ministère;
    • comprendre toutes les dépenses de programmes directes, à l'exception des subventions;
    • comprendre tous les programmes de subventions et de contributions dont leur ministère est responsable;
    • comprendre le volet administratif des principales dépenses législatives;
    • comprendre les programmes qui prennent fin automatiquement après une période donnée, à la demande du secrétaire du Conseil du Trésor, après consultation auprès de l'administrateur général touché;
    • répondre aux exigences du Système de gestion des dépenses, y compris des examens stratégiques;
    • déterminer et recommander au Comité de l'évaluation interne une approche fondée sur les risques. Dans les faits, cela veut dire que l'on prend en considération les risques associés aux programmes et on établit une hiérarchie d'évaluation de programmes en fonction du niveau de risques;
    • soumettre le plan d'évaluation ministériel, tel qu'approuvé par l'administrateur général, au Secrétariat du Conseil du Trésor du Canada au début de chaque exercice.
  • La mesure du rendement est primordiale, car elle répond non seulement à des exigences d'amélioration des programmes, mais également à la nécessité de faire des rapports et de rendre des comptes sur l'efficacité de l'organisation. À l'échelle des programmes, la mesure du rendement aide les gestionnaires des programmes à :
    • prendre des décisions éclairées afin que les résultats de leurs programmes cadrent avec la portée et le budget;
    • s'adapter aux priorités changeantes;
    • améliorer leurs rapports de rendement (internes et externes);
    • appuyer l'évaluation de leurs programmes en fournissant un élément de preuve.

Le système de mesure du rendement comprend quatre phases qui sont représentées dans la figure 2.8.1.

Figure 2.8.1 : Les quatre phases du système de rendement à Statistique Canada

 Les quatre phases du système de rendement à Statistique Canada
Description de la figure 2.8.1

Ce diagramme, utilisant des cases, montre les quatre phases du système de mesure du rendement de Statistique Canada. Le graphique est composé principalement de 4 cases, décrivant chacune une phase.

La case intitulée phase 1 décrit la Vision, planification, gouvernance :

  • vision et plan de mesure du rendement
  • structure des comités
  • groupes d'étude et de travail

La case intitulée phase 2 décrit les Éléments fondamentaux :

  • cadre de mesure du rendement intégré
  • stratégies de mesure du rendement
  • indicateurs éventuels

La case intitulée phase 3 décrit l'Essai de faisabilité des indicateurs, à savoir :

  • définir et mettre à l'essai les indicateurs
  • processus de collecte de données
  • format des rapports de rendement

La case intitulée phase 4 décrit la Mise en œuvre du système :

  • renforcer la capacité des ressources humaines et du système
  • faire un essai pilote précoce et rectifier le tir
  • accélérer la mise en œuvre
  • surveiller le rendement et produire des rapports de rendement

Trois flèches partant respectivement des phases 2, 3 et 4 se terminent sur une case intitulée : boucle de rétroaction.

De cette même boucle de rétroaction partent deux flèches vers une autre case intitulée: rapport ministériel sur le rendement et rapports de mesure de rendement des programmes ; ceci afin de lier la boucle de rétroaction aux deux types de rapports.

Finalement cette flèche partant de la case rapport ministériel sur le rendement et rapports de mesure de rendement des programmes se termine à la case intitulée phase 1 décrivant Vision, planification et gouvernance.

La phase 1 consiste en l'élaboration d'approches intégrées pour assurer l'application et la coordination des mécanismes, en vue d'opérationnaliser et de rationaliser la mise en œuvre du rendement au sein de Statistique Canada.

La phase 2 permet d'aligner les résultats stratégiques de Statistique Canada (par exemple l'accès aux données statistiques, la pertinence) avec les résultats attendus (par exemple l'utilisation des données par la population canadienne). Cet alignement des résultats stratégiques se fait sur la base de l'Architecture d'activités de programmes. Cette structure permet d'établir des rapports entre tous les services ou programmes et comparables d'une période à l'autre. Une fois les résultats stratégiques déterminés, il s'agit de définir les stratégies de mesure du rendement.

La phase 3 a pour objectif de mettre en place des essais de faisabilité des indicateurs. Des groupes de travail élaborent et mettent à l'essai différentes versions d'un indicateur et les essais de faisabilité peuvent prendre plus d'un an pour obtenir une version finalisée.

Finalement, la phase 4 consiste en la mise en œuvre du système au niveau de la collecte de données, de la surveillance et de la production des rapports, notamment les rapports ministériels sur les plans et les priorités (RPP) et les rapports sur les mesures du rendement (RMR).

Au niveau de la gouvernance, le mandat du Comité de l'évaluation interne a pour objectif de donner à l'administrateur général des conseils relatifs au plan d'évaluation ministériel, à l'affectation des ressources et aux rapports d'évaluation finaux et à toutes autres décisions ultimes concernant les autres activités d'évaluation du ministère. Il est présidé par le statisticien en chef et comprend tous les statisticiens en chef adjoints et le dirigeant principal de l'évaluation.

Facteurs clés de succès

L'engagement et le leadership de la haute gestion ainsi que la participation soutenue et l'engagement des gestionnaires de programmes font en sorte que la fonction d'évaluation bénéficie d'un soutien constant au sein de l'organisme.

Dans ce sens, la fonction d'évaluation dispose des ressources, qu'elles soient humaines ou financières, nécessaires à l'exercice de ses responsabilités.

Par ailleurs, le rayonnement de cette fonction à l'externe permet de consolider le réseautage et l'échange des bonnes pratiques avec la collectivité des évaluateurs par le biais du Centre d'excellence en évaluation du Conseil du Trésor.

Défis et perspectives d'avenir

La fonction d'évaluateur de programmes exige une bonne compréhension des programmes et de leurs rouages de fonctionnement. Ainsi, le recrutement d'évaluateurs professionnels qualifiés est un défi, notamment dans le contexte de pénurie de ce profil spécialisé, auquel il faut rajouter la considération de la  certification et du profil bilingue. Tous les évaluateurs de programmes sont membres de la Société canadienne d'évaluation (SCA). La société est aussi responsable de mettre en place un cadre de développement professionnel pour les évaluateurs.

L'autre défi est relié au cycle de l'évaluation de programmes : la calibration des évaluations de programmes en rotation sur cinq ans, compte tenu de la politique sur l'évaluation, est une contrainte à gérer en parallèle avec l'attente des gestionnaires des programmes par rapport aux résultats.

La fonction d'évaluation consiste à continuellement s'assurer que les programmes soient pertinents et performants.

Exemple d'évaluation de programme
Bref aperçu de l'évaluation de l' Enquête canadienne sur les mesures de la santé (ECMS)
De 2007-2008 à 2012-2013

Contexte et portée

L'ECMS est la première enquête canadienne comportant des mesures directes et représentatives de la santé de la population au niveau national. Elle a été lancée en 2007 afin de combler des lacunes de longue date au sein du système canadien d'information sur la santé. Elle vise principalement à recueillir des données nouvelles et importantes sur l'état de santé de la population canadienne.

Méthodologie utilisée

L'approche adoptée pour évaluer l'ECMS est fondée sur la théorie et sur une conception non expérimentale faisant appel à des données de post-collecte. Les résultats sont obtenus à partir de nombreux éléments de preuve : examen de documents et de publications, examen de données administratives et financières, et réalisation d'une série d'interviews auprès d'informateurs clés et d'une enquête auprès des principaux utilisateurs des données. Le niveau d'effort consacré à l'évaluation vise un juste équilibre entre les ressources utilisées et le contexte.

Principaux résultats

Pertinence

L'ECMS est un programme unique au Canada, qui offre des données sur des mesures directes de la santé pour soutenir la recherche, l'élaboration de politiques et la prise de décisions en matière de santé. Il est clair que le programme est pertinent pour les Canadiens et les organismes de santé, et qu'il est nécessaire à l'heure actuelle et continuera de l'être à l'avenir. Même si la majorité des répondants estiment que l'ECMS répond aux besoins actuels et nouveaux en matière de contenu, il n'y a jamais eu de plan de contenu développé pour l'ECMS.

Rendement, efficacité

L'ECMS a produit les extrants escomptés et atteint le résultat immédiat attendu, soit rendre disponibles des données fiables et utilisables sur l'état de santé de référence des Canadiens et sur l'importance des contaminants de l'environnement et l'exposition à ces contaminants. On constate certains problèmes en matière d'accessibilité des données, qui risquent de nuire aux résultats à long terme s'ils ne sont pas résolus. Plus particulièrement, même si la majorité des chercheurs connaissent l'existence des données, beaucoup ne savent pas comment y accéder. Les personnes de l'extérieur interviewées corroborent ce point de vue; selon eux, le manque d'accessibilité (ou la complexité de l'accès) constitue un obstacle à l'utilisation des données.

Rendement, économie et efficience

La transition d'un financement principalement axé sur le recouvrement des coûts vers un financement de base pour l'ECMS, dans la foulée de la mise en œuvre du Plan d'action de 2008, a contribué à la stabilité de l'enquête, ce qui a eu une incidence positive sur l'ECMS. Cela a notamment permis d'améliorer la planification à long terme et d'explorer les possibilités d'accroître l'efficience opérationnelle. Les résultats de l'évaluation montrent que les ressources humaines et financières consacrées au programme sont suffisantes.

L'ECMS est la seule enquête au Canada portant sur des mesures directes représentatives à l'échelle nationale; elle complète d'autres études canadiennes et internationales. On ne constate donc aucun élément de preuve à l'appui d'un dédoublement des efforts qui pourrait nuire à l'efficience.

Suite à l'énoncé des résultats, des recommandations sont établies, par les personnes responsables de l'évaluation, et ce, pour chaque résultat nécessitant un changement ou une amélioration. Le programme développe par la suite un plan d'action donnant suite aux recommandations.

Notes de fin de page :

Note de fin de page 1

Les agences centrales font référence aux agences fédérales du gouvernement du Canada responsables de l'élaboration de politiques et d'outils communs.

Retour à la référence de la note de fin de page 1

Bibliographie

Gouvernement du Canada (2012). Politique sur l'évaluation. Consulté le 31 mars 2016 et récupéré de http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=15024

Gouvernement du Canada (2012). Directive sur la fonction d'évaluation. Consulté le 31 mars 2016 et récupéré de http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=15681

Signaler un problème sur cette page

Quelque chose ne fonctionne pas? L'information n'est plus à jour? Vous ne trouvez pas ce que vous cherchez?

S'il vous plaît contactez-nous et nous informer comment nous pouvons vous aider.

Avis de confidentialité

Date de modification :