Enquête canadienne sur les mesures de la santé de 2007-2008 à 2012-2013

Rapport d'évaluation

Février 2013

  • Résumé
    • Contexte
    • Modèle  et méthodologie de l'évaluation
    • Principaux résultats
  • 1. Introduction
  • 2. Enquête canadienne sur les mesures de la santé
    • Contexte
    • Enquête canadienne sur les mesures de la santé – objectifs, activités et résultats attendus
    • Gouvernance
    • Ressources de programme
    • Contexte, portée et enjeux de l'évaluation
  • 3. Méthodologie
    • Approche et modèle
    • Examen de documents et publications
    • Examen de données administratives
    • Données financières
    • Interviews individuelles et groupées auprès d'informateurs clés
    • Enquête auprès des principaux utilisateurs des données
    • Limites de l'évaluation
  • 4. Principaux résultats
    • Pertinence
      • Réceptivité du programme
      • Harmonisation avec les priorités et les obligations du gouvernement et de statistique canada
    • Rendement
      • Efficacité – Réalisation des extrants et des résultats attendus
      • Rendement – Efficience et économie
  • 5. Conclusions
  • 6. Recommandations
  • 7. Réponse de la direction et plan d'action
  • Annexes
    • Annexe 1: Schéma des processus de l'Enquête canadienne sur les mesures de la santé
    • Annexe 2: Modèle logique composite pour toutes les activités prévues dans le Plan d'action
    • Annexe 3: Matrice d'évaluation de l'Enquête canadienne sur les mesures de la santé (ECMS)
    • Annexe 4: Liste des publications qui ont fait partie de l'examen de la documentation

Résumé

Le présent rapport rend compte des résultats de l'évaluation de l'Enquête canadienne sur les mesures de la santé (ECMS), qui s'est déroulée d'avril à octobre 2012. Il fournit des renseignements crédibles et neutres sur la pertinence et le rendement continus des activités de Statistique Canada au titre de l'ECMS. L'évaluation porte sur la période allant de 2007-2008 à 2012-2013 et comprend l'examen des cinq questions fondamentales définies par le Secrétariat du Conseil du Trésor dans la Politique sur l'évaluation.

Contexte

L'ECMS est la première enquête canadienne comportant des mesures directes et représentatives de la santé de la population au niveau national. Elle a été lancée en 2007 afin de combler des lacunes de longue date au sein du système canadien d'information sur la santé. Elle vise principalement à recueillir des données nouvelles et importantes sur l'état de santé de la population canadienne en :

  • fournissant la plateforme et l'infrastructure nécessaires pour obtenir des données au moyen de mesures physiques et de laboratoire afin de répondre aux nouveaux besoins de plusieurs directions générales de Santé Canada (SC) et de l'Agence de la santé publique du Canada (ASPC), ainsi que pour réaliser des études complémentaires;
  • recueillant et diffusant des données sur les mesures directes de la santé, y compris sur les contaminants de l'environnement;
  • offrant l'accès aux données nationales représentatives pour favoriser la recherche au moyen de données sur les mesures directes de la santé.

Modèle et méthodologie de l'évaluation

L'évaluation a été réalisée en conformité avec les Normes d'évaluation pour le gouvernement du Canada du Secrétariat du Conseil du Trésor (SCT). Le modèle de l'évaluation, les activités et ressources connexes ont été calibrés en tenant compte de l'évaluation horizontale de synthèse, à laquelle serviront les résultats de la présente évaluation. Pour évaluer l'ECMS, les enjeux et questions de la matrice d'évaluation horizontale du Plan d'action ont été légèrement révisés afin de mieux tenir compte des questions d'évaluation et des indicateurs qui s'appliquent à Statistique Canada.

L'approche adoptée pour évaluer l'ECMS est fondée sur la théorie et sur une conception non expérimentale faisant appel à des données de post-collecte. Les résultats sont obtenus à partir de nombreux éléments de preuve : examen de documents et de publications, examen de données administratives et financières, et réalisation d'une série d'interviews auprès d'informateurs clés et d'une enquête auprès des principaux utilisateurs des données.

Le niveau d'effort consacré à l'évaluation vise un juste équilibre entre les ressources utilisées et le contexte. Néanmoins, à cause de certains éléments contextuels et de ressources limitées, l'évaluation est assortie d'un certain nombre de contraintes :

  • Moment de l'évaluation – Les résultats sont limités par le degré d'achèvement des cycles de l'ECMS (seul le cycle 1 était entièrement achevé au moment de l'évaluation).
  • Mesure des résultats – La disponibilité des données sur le rendement recueillies de façon systématique et continue en vertu du cadre de mesure du rendement prévu dans le plan d'action élaboré en 2009 était limitée.
  • Interviews – Un nombre limité d'interviews auprès d'informateurs clés ont été réalisées; cette contrainte peut toutefois être atténuée durant l'évaluation de synthèse si l'équipe responsable de SC le juge nécessaire.
  • Examen des documents et des données – L'évaluation de l'efficience et de l'économie du programme de l'ECMS a présenté quelques défis. La pratique consistant à compiler les données financières en fonction de l'exercice plutôt que du cycle, l'absence de données de référence sur les coûts et les ressources utilisées pour chaque catégorie d'extrants produits et l'absence de données sur des enquêtes similaires ont notamment affecté le caractère concluant des données d'évaluation.

Principaux résultats

Pertinence

L'ECMS est un programme unique au Canada, qui offre des données sur des mesures directes de la santé pour soutenir la recherche, l'élaboration de politiques et la prise de décisions en matière de santé. Il est clair que le programme est pertinent pour les Canadiens et les organismes de santé, et qu'il est nécessaire à l'heure actuelle et continuera de l'être à l'avenir. Même si la majorité des répondants estiment que l'ECMS répond aux besoins actuels et nouveaux en matière de contenu, il n'y a jamais eu de plan de contenu développé pour  l'ECMS.

L'ECMS s'inscrit bien dans les priorités du gouvernement fédéral et de Statistique Canada. Le gouvernement fédéral est le mieux placé pour réaliser l'ECMS, et comme le programme lui permet de s'acquitter de certaines obligations législatives particulières, l'exécution de celui-ci devient une activité légitime, appropriée et nécessaire.

Rendement – Efficacité

L'ECMS a produit les extrants escomptés et atteint le résultat immédiat attendu, soit rendre disponibles des données fiables et utilisables sur l'état de santé de référence des Canadiens et sur l'importance des contaminants de l'environnement et l'exposition à ces contaminants. On constate certains problèmes en matière d'accessibilité des données, qui risquent de nuire aux résultats à long terme s'ils ne sont pas résolus. Plus particulièrement, même si la majorité des chercheurs connaissent l'existence des données, beaucoup ne savent pas comment y accéder. Les personnes de l'extérieur interviewées corroborent ce point de vue; selon eux, le manque d'accessibilité (ou la complexité de l'accès) constitue un obstacle à l'utilisation des données. Certains informateurs clés ont souligné que les fichiers de microdonnées de l'ECMS n'étaient pas disponibles dans l'Internet, et que les chercheurs doivent s'adresser aux centres de données de recherche (CDR) pour pouvoir utiliser les fichiers de données de l'ECMS. Des chercheurs internes et externes ont soulevé diverses préoccupations concernant les CDR, notamment le manque d'information sur la façon d'accéder aux données et les délais d'approbation des demandes d'accès (qui peuvent aller jusqu'à six mois).

Les résultats de l'évaluation montrent que le grand public, les chercheurs et les utilisateurs de données connaissent l'existence des données de l'ECMS grâce aux publications fondées sur les données du cycle 1. Toutefois, certains problèmes, notamment le « rayonnement » des publications, l'absence de promotion des données de l'ECMS auprès des collectivités scientifiques ont été cités comme des facteurs ne favorisant pas la sensibilisation. Les chercheurs estiment qu'il faut améliorer la communication et la collaboration afin d'éviter d'effectuer des recherches et des analyses en double lorsque des groupes de recherche différents s'intéressent aux mêmes données.

Les résultats de l'évaluation montrent que les données de l'ECMS sont utilisées à des fins de recherche, d'élaboration de politiques et de prise de décisions – soit le résultat ultime attendu. Des chercheurs ont déjà utilisé les données de l'ECMS pour valider les données autodéclarées dans le cadre d'autres enquêtes, ainsi que pour mener des recherches visant à faire des découvertes scientifiques. En outre, les données de l'ECMS sont utilisées pour l'élaboration de politiques et la prise de décisions dans les domaines de l'activité physique, de l'exposition aux contaminants de l'environnement, des marqueurs de la nutrition et de la santé buccodentaire. Il est toutefois encore trop tôt dans le cycle de vie du programme pour constater à grande échelle le plein potentiel de l'ECMS. L'information sur les publications (études) ne fait l'objet d'un suivi qu'à l'interne et n'est pas partagée avec les intervenants externes, ce qui dans certains cas rend la collaboration et la reddition de comptes plus difficiles.

Rendement – Économie et efficience

La transition d'un financement principalement axé sur le recouvrement des coûts vers un financement de base pour l'ECMS, dans la foulée de la mise en œuvre du Plan d'action de 2008, a contribué à la stabilité de l'enquête, ce qui a eu une incidence positive sur l'ECMS. Cela a notamment permis d'améliorer la planification à long terme et d'explorer les possibilités d'accroître l'efficience opérationnelle. Les résultats de l'évaluation montrent que les ressources humaines et financières consacrées au programme sont suffisantes. Certaines parties externes ont souligné qu'il serait possible d'améliorer l'efficience et l'économie en mettant en œuvre des pratiques de recrutement plus souples et en ayant recours à des cliniques et à des infrastructures locales plutôt qu'à des cliniques mobiles. Bien que ces options méritent d'être examinées, leur faisabilité doit être évaluée en tenant compte du risque qu'elles puissent nuire à la qualité de la collecte de données.

En outre, le recours à l'infrastructure existante de l'ECMS par d'autres partenaires fédéraux permet à ces derniers d'atteindre leurs objectifs de façon efficiente tout en réduisant leur investissement en temps et en argent. En partageant leurs connaissances complémentaires, Statistique Canada, ses partenaires fédéraux et le milieu universitaire accroissent la capacité d'analyse dans le domaine de la santé.

L'ECMS est la seule enquête au Canada portant sur des mesures directes représentatives à l'échelle nationale; elle complète d'autres études canadiennes et internationales. On ne constate donc aucun élément de preuve à l'appui d'un dédoublement des efforts qui pourrait nuire à l'efficience.

1. Introduction

La présente évaluation porte sur l'Enquête canadienne sur les mesures de la santé (ECMS) et est effectuée dans le cadre du Plan d'action pour protéger la santé humaine des contaminants de l'environnement. Ce plan d'action est une initiative horizontale de Santé Canada (SC), de l'Agence de la santé publique du Canada (ASPC) et de Statistique Canada lancée en 2008-2009. SC est le ministère responsable de l'évaluation horizontale, qui doit être achevée en mars 2013.

La présente évaluation a été menée conformément au Plan pluriannuel de vérification et d'évaluation axé sur les risques pour 2012-2013 à 2016-2017, approuvé par le Comité ministériel d'évaluation le 27 mars 2012. Le projet a été géré et réalisé par la Division de l'évaluation et des méthodes professionnelles de la Direction de la vérification et de l'évaluation.

2. Enquête canadienne sur les mesures de la santé

2.1 Contexte

L'ECMS est la première enquête canadienne comportant des mesures directes et représentatives de la santé de la population nationale. La planification et l'élaboration de l'ECMS ont commencé en 2003, dans le cadre du prolongement de l'Initiative du Carnet de route de l'information sur la santé et en réponse au besoin d'une source nationale et complète de données directes et exactes sur la santé exprimé par les décideurs, les ministères provinciaux de la santé, les chercheurs et les professionnels de la santé de nombreux domaines. L'enquête a été lancée en 2007 afin de combler des lacunes de longue date au sein du système canadien d'information sur la santé.

Pour aider les Canadiens à réduire les risques pour leur santé résultant des contaminants de l'environnement et pour améliorer la surveillance de la santé environnementale, le gouvernement fédéral a mis sur pied le Plan d'action pour protéger la santé humaine des contaminants de l'environnement (le Plan d'action) en 2008. L'objectif à long terme du Plan d'action est de réduire les risques liés aux contaminants de l'environnement pour la santé des Canadiens, particulièrement les populations vulnérables. Pour atteindre cet objectif, le Plan d'action prévoit deux éléments de base : un guide sur la salubrité de l'environnement et un programme de suivi et de surveillance. L'ECMS de Statistique Canada relève du programme de contrôle et de surveillance, qui comprend une série d'enquêtes et d'activités de surveillance ayant pour but d'aider les Canadiens à mieux comprendre leur exposition aux contaminants de l'environnement et les risques pour la santé qui y sont associés.

2.2 Enquête canadienne sur les mesures de la santé – Objectifs, activités et résultats attendus

L'ECMS recueille des données clés sur la santé des Canadiens au moyen de mesures directes de la santé comme la tension artérielle, la taille, le poids et des échantillons de sang et d'urine. En outre, l'ECMS fait appel à des interviews à domicile pour recueillir de l'information sur d'autres paramètres, par exemple la nutrition, le tabagisme, la consommation d'alcool, les antécédents médicaux, l'état de santé actuel, le comportement sexuel, le mode de vie, l'activité physique, les caractéristiques de l'environnement et du logement, ainsi que des données démographiques et socioéconomiques.

Objectifs

L'ECMS joue un rôle important à l'appui du programme général du gouvernement fédéral en matière de santé.

Elle vise principalement à recueillir d'importantes données d'un genre nouveau sur l'état de santé de la population canadienne en :

  • fournissant la plateforme et l'infrastructure nécessaires pour obtenir des données au moyen de mesures physiques et de laboratoire afin de répondre aux nouveaux besoins de plusieurs directions de SC et de l'ASPC, ainsi que pour réaliser des enquêtes complémentaires;
  • recueillant et diffusant des données sur les mesures directes de la santé, y compris sur les contaminants de l'environnement;
  • offrant l'accès aux données nationales représentatives pour favoriser la recherche au moyen de données sur les mesures directes de la santé.

Activités

L'ECMS est conçue et mise en œuvre en cycles consécutifs, chacun comprenant trois étapes : la planification, la collecte et la diffusion. Le tableau 1 présente le cycle de vie de l'ECMS. Le schéma du processus de l'ECMS est illustré à l'annexe 1.

Tableau 1 Principales activités et tâches connexes menées dans le cadre de l'Enquête canadienne sur les mesures de la santé, cycles 1 à 3
  Cycle 1 Cycle 2 Cycle 3
Planification Élaboration de l'enquête 1. Définition du contenu de l'enquête De 2003-2004 à 2007-2008 Janv. 2008 à déc. 2009 Automne 2009 à déc. 2011
2. Élaboration du questionnaire de l'enquête
3. Élaboration des outils informatiques et autres
4. Élaboration des protocoles
Formation 5. Formation des intervieweurs, des spécialistes des mesures de la santé et des techniciens de laboratoire
Collecte des données 1. Réalisation des interviews à domicile Mars 2007 à févr. 2009 Sept. 2009 à déc. 2011 Janv. 2012 à déc. 2013
2. Visites à la clinique mobile
3. Exécution des tests de laboratoire et transmission des résultats à Statistique Canada Mars 2007 à juin 2009 Sept. 2009 à avril 2012 Janv. 2012 à avril 2014
4. Entreposage des échantillons biologiques dans la biobanque Mars 2007 à févr. 2009 Sept. 2009 à déc. 2011 Janv. 2012 à déc. 2013
Diffusion 1. Traitement et postcollecte des données Mars 2007 à juin 2009 Sept. 2009 à avril 2012 Janv. 2012 à avril 2014
2. Analyse et diffusion des résultats Janv. 2010 à avril 2011 Sept. 2012 à avril 2013 À venir
Infrastructure (fonction habilitante) 1. Méthodologie En permanence En permanence En permanence
2. Développement des systèmes
3. Autres

Résultats attendus

Les activités et les extrants de l'ECMS devraient aboutir aux résultats attendus suivants, énoncés dans le cadre d'évaluation de synthèse du Plan d'action pour protéger la santé humaine des contaminants de l'environnement.

Résultat immédiat (2 à 5 ans)

Production de données fiables et utilisables à l'intention des décideurs, des chercheurs et des Canadiens à propos de l'état de santé de référence des Canadiens, de l'importance des contaminants de l'environnement et de l'exposition à ces contaminants.

Résultat intermédiaire (2 à 5 ans)

Sensibilisation accrue des utilisateurs aux données et à l'information recueillies.

Résultat ultime (5 à 10 ans)

Utilisation accrue, par les décideurs, de l'information sur les liens établis entre les contaminants et les maladies afin d'orienter les décisions en matière de pratiques de santé publique, de recherche, de réglementation stratégique et de programmes et services.

Résultat ultime (10 à 20 ans)

Réduction des risques liés aux contaminants de l'environnement pour la santé des Canadiens, particulièrement les populations vulnérables.

2.3 Gouvernance

Le Comité des politiques de Statistique Canada, dirigé par le statisticien en chef et soutenu par les statisticiens en chef adjoints de l'organisme, est responsable de l'administration de l'ECMS en vertu de la Loi sur la statistique. En plus de veiller aux approbations et aux processus à l'échelle de l'organisme, le Comité directeur du Programme des statistiques sur la santé de la population canadienne (PSSPC) est responsable de s'assurer que le programme de santé de la population de Statistique Canada répond aux besoins en santé de tous les Canadiens. Le Comité directeur du PSSPC est formé de sous-ministres adjoints de SC, de l'ASPC et de Statistique Canada.

Le Comité d'éthique de la recherche (CER) conjoint de SC et de l'ASPC Footnote 1 veille à garantir que l'ECMS satisfait aux normes les plus élevées en matière d'éthique et que la plus grande protection est assurée aux participants qui servent de sujets humains. Il est guidé par les principes de l'Énoncé de politique des trois Conseils (EPTC) : Éthique de la recherche avec des êtres humains Footnote 2, qui définit la norme pour les comités d'éthique en recherche au Canada. Le CER examine et approuve les procédures et la conduite générale de l'enquête avant le début de chaque cycle de l'ECMS.

Une évaluation des facteurs relatifs à la vie privée est présentée au Commissaire à la protection de la vie privée du gouvernement fédéral pour chaque cycle de l'enquête, conformément à la Loi sur la protection des renseignements personnels. En outre, les commissaires provinciaux à la protection de la vie privée sont informés des activités de collecte des données d'enquête dans leur province, et des mesures conformes aux lois provinciales en vigueur sont prises pour assurer la protection des renseignements personnels des participants à l'enquête.

Depuis la création de l'ECMS, quatre comités consultatifs ont fourni leur expertise et leurs conseils à propos de divers aspects de l'enquête : le Comité consultatif des experts, le Comité consultatif des médecins, le Comité consultatif des techniciens de laboratoire et le Comité consultatif sur l'assurance et le contrôle de la qualité.

En juin 2012, le Comité consultatif de la biobanque a été constitué. Ce comité est présidé par un directeur général et compte quatre membres appartenant au gouvernement fédéral et quatre membres provenant de l'extérieur (p. ex. universitaires spécialisés en génétique ou en contaminants de l'environnement). Il est chargé de prendre les décisions concernant l'accès aux échantillons de la biobanque, qui font partie des données de l'ECMS. Les responsables de l'ECMS ont récemment entrepris de remanier la structure des comités consultatifs pour tenir compte de l'état actuel de l'enquête, qui a acquis de la maturité.

2.4 Ressources de programme

Le financement initial de l'ECSM a été affecté dans le budget fédéral de 2003 dans le cadre du prolongement de l'Initiative du Carnet de route de l'information sur la santé. En 2007-2008, l'ECMS a reçu des fonds de 975 860 $ au titre d'une entente conclue entre Statistique Canada et SC. Ces fonds visaient à soutenir l'exécution des activités de planification du cycle 1 de l'ECMS avant le lancement du Plan d'action de 2008-2009.

En vertu du Plan d'action, l'investissement total (84,6 millions de dollars sur cinq ans) est réparti entre SC, l'ASPC et Statistique Canada (voir le graphique 1).

Graphique 1 Partenaires fédéraux du Plan d'action

Graphique à barres affichant ressources allouées au fil des ans
Description : Graphique 1 Partenaires fédéraux du Plan d'action

Les fonds affectés à Statistique Canada s'établissaient à 54,5 millions de dollars sur cinq ans, ce qui représente 64 % du financement total prévu dans le Plan d'action. Ces fonds ont permis d'inclure dans l'ECMS des mesures supplémentaires sur l'exposition aux contaminants de l'environnement, ainsi que des mesures directes sur la santé des enfants de moins de six ans.

Le programme de l'ECMS a reçu un financement de base total de 47,7 millions de dollars pour la période allant de 2008-2009 à 2012-2013. Au total, 48,7 millions de dollars ont été affectés à l'ECMS entre 2007-2008 et 2012-2013, inclusivement. Footnote 3

L'ECMS a aussi obtenu des fonds externes de SC, de l'ASPC et d'autres entités à l'appui de demandes spéciales concernant l'exécution de tests de laboratoire et d'analyses supplémentaires qui n'étaient pas prévus dans le financement de base. Entre 2007-2008 et 2012-2013, un montant total de 37,6 millions de dollars a été affecté au titre du recouvrement externe des coûts.

En conséquence, le montant total des ressources affectées à l'ECMS faisant l'objet de la présente évaluation (c.-à-d. le financement de base plus le recouvrement externe des coûts) s'établit à 86,3 millions de dollars sur cinq ans (voir les détails au graphique 2).

Graphique 2 Total des ressources affectées à l'Enquête canadienne sur les mesures de la santé (financement de base et financement externe par recouvrement des coûts), de 2007 2008 à 2012 2013

Graphique à barres affichant ressources allouées au fil des ans
Description : Graphique 2 Total des ressources affectées à l'Enquête canadienne sur les mesures de la santé (financement de base et financement externe par recouvrement des coûts), de 2007 2008 à 2012 2013

2.5 Contexte, portée et enjeux de l'évaluation

Le présent rapport expose les résultats de l'évaluation de l'ECMS, qui s'est déroulée d'avril à octobre 2012. Il fournit de l'information crédible et neutre sur la pertinence et le rendement continus des activités de Statistique Canada relatives à l'ECMS énoncées dans le Plan d'action, ainsi que l'information sur les mesures du rendement nécessaire pour soutenir l'évaluation horizontale. Il vise aussi à informer la haute direction de Statistique Canada du rendement global de l'ECMS. L'évaluation porte sur la période allant de 2007-2008 à 2012-2013, soit un an de plus que la période visée par l'évaluation horizontale (2008-2009 à 2012-2013) afin de prendre en compte le cycle 1 de l'ECMS, lancé en 2007, puis qu'il s'agissait du seul cycle entièrement achevé au moment de l'évaluation. La pertinence et le rendement de l'ECMS ont été évalués par un examen des cinq questions fondamentales définies par le Secrétariat du Conseil du Trésor dans la Politique sur l'évaluation.

Tableau 2 Critères d'évaluation et questions connexes

Pertinence

  1. Dans quelle mesure l'ECMS répond-elle à un besoin continu et comble-t-elle les besoins des Canadiens? (question n° 1 du SCT)
  2. Le programme de l'ECMS est-il conforme aux priorités du gouvernement et au résultat stratégique de Statistique Canada? (question n° 2 du SCT)
  3. La mise en œuvre du programme de l'ECMS permet-elle au gouvernement fédéral et à Statistique Canada de jouer un rôle légitime, opportun et nécessaire? (question n° 3 du SCT)

Réalisation des extrants prévus

  1. Les processus de conception et de mise en œuvre de l'ECMS convenaient-ils à la réalisation des activités et des extrants prévus?

Rendement – Efficacité (question n° 4 du SCT)

  1. Dans quelle mesure l'ECMS a-t-elle atteint les résultats prévus?
  2. Y a-t-il eu des facteurs internes ou externes qui ont contribué ou nui à la réalisation de ces résultats prévus?
  3. L'ECMS a-t-elle eu des répercussions (favorables ou non) imprévues?

Rendement – Efficience et économie (question n° 5 du SCT)

  1. Les ressources humaines et financières en place sont-elles suffisantes pour soutenir la mise en œuvre de l'ECMS?
  2. Quelles sont les efficiences qui résultent du Plan d'action?
  3. Y a-t-il un chevauchement, une complémentarité ou des solutions de rechange?

3. Méthodologie

L'évaluation a été réalisée en conformité des Normes d'évaluation pour le gouvernement du Canada du SCT. Pour évaluer l'ECMS, les enjeux et questions de la matrice d'évaluation horizontale du Plan d'action ont été légèrement révisés afin de mieux tenir compte des questions d'évaluation et des indicateurs qui s'appliquent à Statistique Canada. La matrice d'évaluation de l'ECMS est présentée à l'annexe 3.

3.1 Approche et modèle

L'approche utilisée pour évaluer l'ECMS est fondée sur la théorie et sur une conception non expérimentale faisant appel à des données de post-collecte pour la majorité des questions d'évaluation. Les résultats sont aussi obtenus à partir de nombreux éléments de preuve, c'est-à-dire qu'on a utilisé plus d'une méthode pour mesurer chacun des indicateurs d'évaluation, afin de renforcer la validité des résultats. À cette fin, cinq méthodes (incluant des approches qualitatives et quantitatives) ont été sélectionnées pour la collecte des données d'évaluation :

  • examen de documents et publications pertinents;
  • examen de données administratives;
  • examen de données financières;
  • réalisation d'une série d'interviews auprès d'informateurs clés;
  • réalisation d'une enquête auprès des principaux utilisateurs des données.

Tous les éléments de preuve utilisés aux fins de l'évaluation sont décrits dans les sous-sections qui suivent. Le calibrage Footnote 4 a joué un rôle important dans le cadre de cette évaluation particulière, qui servira d'intrant à l'évaluation horizontale du Plan d'action que mènera SC.

3.2 Examen de documents et publications

L'examen de la documentation relative au programme a permis d'acquérir une bonne compréhension de l'ECMS et de concevoir la méthodologie d'évaluation, notamment de peaufiner les instruments de collecte de données. L'information recueillie dans le cadre de l'examen de documents et publications a fourni un contexte utile pour interpréter, confirmer et compléter l'information obtenue d'autres façons.

En raison de contraintes de temps et de budget, le nombre de documents externes examinés était limité. Les documents examinés étaient pour la plupart des publications citées dans les Rapports sur la santé et dans le site Web et les documents officiels de Statistique Canada, ainsi que des publications externes d'autres ministères et organismes fédéraux.

Un examen de certaines publications a permis de recueillir des données répondant aux questions d'évaluation, notamment en ce qui concerne la pertinence du programme et les enseignements tirés de l'expérience d'autres organismes ayant mis en œuvre des programmes comparables. La liste des publications examinées est fournie à l'annexe 4.

3.3 Examen de données administratives

L'examen des données administratives portait sur des dossiers et des documents internes fournis par le secteur de programme, ainsi que sur les comptes rendus des réunions de l'équipe d'évaluation qui ont eu lieu entre avril et juin 2012.

Des données administratives sur les mesures du rendement (p. ex. nombre de visites du site Web, demandes présentées aux centres de données de recherche [CDR] concernant les données de l'ECMS et demandes de service des clients concernant des tableaux personnalisés) ont été utilisées pour évaluer la disponibilité des données de l'ECMS et le degré de sensibilisation à l'existence de ces données des décideurs, des chercheurs et du public canadien.

3.4 Données financières

Les données relatives au budget et aux équivalents temps plein (ETP) nécessaires à l'évaluation de l'utilisation des ressources par rapport à la production d'extrants et des progrès réalisés à l'égard des résultats prévus ont été tirées directement du Système de gestion financière (SGF). Les données sur les dépenses réelles relatives au financement de base et aux coûts recouvrés provenaient aussi du SGF.

Les données sur les immobilisations et les provisions pour consommation du capital ont été prises en compte dans l'analyse financière. Les renseignements nécessaires ont été recueillis à partir d'une liste d'immobilisations et de provisions pour consommation du capital fournie par la Division de la planification financière, mise à jour par le secteur de programme en juillet 2012.

3.5 Interviews individuelles et groupées auprès d'informateurs clés

Les interviews des informateurs clés (p. ex. gestionnaires de programme et décideurs, principaux utilisateurs de données et chercheurs, rattachés ou non au gouvernement du Canada) ont permis de recueillir des données sur les perceptions et les opinions individuelles. Les personnes interviewées ont joué un rôle clé dans l'ECMS ou ont une vaste expérience de l'ECMS, tel qu'il est précisé dans le cadre d'évaluation de synthèse du Plan d'action pour protéger la santé humaine des contaminants de l'environnement.

Les guides d'interview ont été conçus pour obtenir des réponses à toutes les questions d'évaluation et adaptés à chaque public cible, au besoin. Les informateurs clés potentiels ont été identifiés par le biais d'une consultation à l'interne. La méthode utilisée pour sélectionner les informateurs clés variait selon le type de groupe. Il s'agissait soit d'un recensement, soit d'un échantillon constitué en fonction du nombre d'années d'expérience de l'informateur et de son exposition aux données, ainsi que du nombre d'articles publiés utilisant des données de l'ECMS ou portant sur un domaine d'intérêt de l'ECMS (p. ex. contaminants de l'environnement, tabagisme et maladies infectieuses). Au total, 24 informateurs clés ont été interviewés en juin et juillet 2012. Le tableau 3 présente le nombre d'interviews prévues et réalisées en fonction du type de groupe d'informateurs.

Tableau 3 Interviews individuelles et collectives prévues et réalisées
Type de groupe Détails Méthode de sélection Nombre d'interviews individuelles ou groupées prévues Nombre d'interviews réalisées
Gestionnaire de programme Gestionnaires de programme stratégique Recensement Une interview groupée (deux participants) Une interview groupée (deux participants)
Gestionnaires de programme d'analyse Recensement Une interview groupée (trois participants) Une interview groupée (trois participants)
Gestionnaires de programme opérationnel Recensement Une interview groupée (deux participants) Deux interviews individuelles
Chefs Recensement Une interview groupée, si le temps le permet (quatre participants) Aucune interview groupée
Décideurs (partenaires / client auprès de qui les coûts sont recouvrés) Clients auprès de qui les coûts sont recouvrés et chercheurs Échantillon Trois interviews Deux interviews
Une interview groupée avec des chercheurs de l'administration publique (quatre participants)
Principaux utilisateurs des données et chercheurs Chercheurs internes de Statistique Canada Recensement Une interview groupée (six participants) Deux interviews groupées (six participants au total)
Chercheurs externes et membres du Comité consultatif des experts Échantillon Cinq interviews Cinq interviews

3.6 Enquête auprès des principaux utilisateurs des données

On a dressé une liste des principaux utilisateurs des données de l'ECMS à partir de la liste des chercheurs qui ont accédé aux fichiers de données partagés de l'ECMS à SC et à l'ASPC, ainsi que de la liste des chercheurs qui ont demandé l'accès aux données par l'entremise d'un CDR. Footnote 5 Les demandeurs auprès des CDR comprennent des chercheurs d'autres ministères fédéraux et des chercheurs n'appartenant pas à l'administration fédérale. Les 134 principaux utilisateurs des données qui n'ont pas été retenus pour une interview ont reçu un questionnaire d'enquête par courriel en juin ou en juillet 2012. De ces utilisateurs, 24 % étaient des chercheurs de SC, 41 %, des chercheurs de l'ASPC et 35 %, des chercheurs d'un CDR.

Un questionnaire d'enquête préliminaire a été élaboré pour tenir compte de la méthodologie intégrée dans la matrice d'évaluation. Ce questionnaire a été mis à l'essai auprès de deux chercheurs internes dans le cadre d'interviews individuelles. Les corrections suggérées ont été apportées et le questionnaire révisé a de nouveau été mis à l'essai auprès d'un chercheur externe dans le cadre d'une interview téléphonique, avant d'être parachevé.

L'enquête s'est déroulée sur une période de deux semaines. Un courriel de rappel a été envoyé aux personnes qui n'avaient pas encore répondu après la première semaine. En tout, 30 personnes ont répondu au questionnaire, ce qui représente un taux de réponse de 22 %. Parmi les réponses reçues, 26,7 % provenaient de SC (25 % de la population), 36,7 % provenaient de l'ASPC (20 % de la population) et 36,7 % provenaient de chercheurs des CDR (23,4 % de la population).

3.7 Limites de l'évaluation

Dans la mesure du possible, compte tenu du budget et du calendrier établis, la méthodologie d'évaluation intégrait plusieurs méthodes de collecte de données auprès de différentes sources primaires et secondaires, afin de s'assurer d'obtenir des résultats valides qui traduisent les principaux points de vue à propos de l'ECMS. Aussi souvent que possible, les opinions et les observations formulées par les intervenants ont été corroborées au moyen de preuves provenant de la documentation et des données relatives au programme.

Toutefois, à cause de certains éléments contextuels et de contraintes en matière de ressources, l'évaluation comporte un certain nombre de limites. Comme il a été précisé plus haut, le calibrage a joué un rôle crucial (puisque l'évaluation doit faire partie de l'évaluation horizontale) et la portée a été définie de façon à atteindre un juste équilibre entre l'ampleur des efforts et le contexte. Les résultats exposés dans le présent rapport doivent être examinés en tenant compte des limites qui suivent :

Moment de l'évaluation – Le moment de l'évaluation limite la capacité de rendre compte des résultats du programme, puisque seul le cycle 1 de l'ECMS était achevé. Les données du cycle 2 de l'ECMS seront diffusées à la fin de septembre 2012, et la collecte des données du cycle 3 est en cours. En conséquence, les résultats sont limités par le degré d'achèvement de ces cycles.

Mesure des résultats – Le budget prévu pour l'évaluation et les données limitées disponibles sur les résultats prévus restreignent la capacité de rendre compte du degré de réussite de l'ECMS. Même si un cadre de mesure du rendement très spécifique est prévu dans le Plan d'action de Statistique Canada, les preuves à l'appui d'une collecte systématique et continue de données sur le rendement comme celle qui est prévue dans le cadre sont limitées.

Interviews – Un nombre limité d'interviews auprès d'informateurs clés ont été réalisées. Par ailleurs, aucune interview auprès de répondants indépendants n'ayant pas d'intérêt dans le programme n'a été réalisée. Il est donc possible que les interviewés aient un biais en faveur du programme. SC aura l'occasion d'interviewer d'autres informateurs clés durant l'évaluation de synthèse.

Examen des documents et des données – L'évaluation de l'efficience et de l'économie du programme de l'ECMS a présenté quelques défis. La pratique consistant à compiler les données financières en fonction de l'exercice plutôt que du cycle, l'absence de données de référence sur les coûts et les ressources utilisées pour chaque catégorie d'extrants produits et l'absence de données sur des enquêtes similaires ont notamment affecté le caractère concluant des données d'évaluation.

4. Principaux résultats

4.1 Pertinence

4.1.1 Réceptivité du programme

Résumé des resultats :

Les documents, les publications et les interviews relatifs au programme semblent indiquer que l'ECMS est toujours pertinente et que le programme demeure nécessaire. En outre, l'ECMS est perçue comme étant suffisamment souple pour répondre aux besoins émergents.

On constate que l'ECMS a permis d'établir des données de base nationales concernant les contaminants de l'environnement, ce qui constitue la première étape vers la définition des tendances et des liens entre les contaminants de l'environnement et la santé. Comme un suivi à long terme est nécessaire pour cerner des tendances et déterminer les conséquences, les mesures à prendre, les contrôles, etc., il faut recueillir au fil du temps des preuves claires à propos des résultats.

4.1.1.1 Nécessité continue du programme

D'après les documents examinés, l'ECMS découle d'un besoin de combler des lacunes en matière de données sur la santé. L'enquête a été élaborée afin de répondre à des besoins spécifiques importants, notamment concernant l'obtention des données suivantes :

  • données nationales de base sur la prévalence de problèmes de santé majeurs (p. ex. obésité, hypertension, carences vitaminiques et nutritives, maladies chroniques et infectieuses, santé buccodentaire et accès à des soins dentaires);
  • données nationales sur l'exposition et la prévalence de substances chimiques au sein de la population;
  • données sur la santé des enfants.

L'ECMS vise principalement à recueillir des données sur l'état de santé de la population canadienne au moyen de mesures directes. Bien que Statistique Canada recueille depuis longtemps des données sur l'état de santé et des sujets connexes par d'autres moyens (p. ex. données autodéclarées et données administratives), ces données sont généralement perçues comme étant limitées de deux façons importantes :

  1. D'abord, la confirmation de nombreux types de données, comme la tension artérielle et la forme physique, ne peut se faire durant une interview, car elle requiert une mesure physique directe.
  2. Ensuite, les données provenant d'enquêtes basées sur l'autodéclaration ou de dossiers administratifs peuvent être gravement biaisées dans le cas de certaines variables. Ainsi, un examen Footnote 6 a révélé, pour des mesures aussi simples que la taille et le poids, un biais de déclaration systématique qui pourrait induire en erreur les utilisateurs des données. Footnote 7, Footnote 8

« Les données de l'ECMS sont très utiles aux chercheurs parce qu'elles portent sur un échantillon national représentatif "normal" de sujets des deux sexes appartenant à divers groupes d'âge, que l'on peut comparer à des groupes d'intérêt spécial dans le cadre d'études. »

Utilisateur externe des données

Selon les scientifiques et chercheurs du domaine de la santé interviewés, les données de l'ECMS sont nécessaires pour valider et rajuster les données autodéclarées afin d'accroître l'exactitude des résultats de la recherche, puisque les données de l'ECMS sont fondées sur des preuves et sont représentatives à l'échelle nationale.

« L'ECMS est utilisée principalement comme mécanisme de surveillance de la santé de la nation, et à ce titre fournit les meilleures données sur l'activité physique, la condition physique, l'obésité, la tension artérielle, les facteurs de risque cardiovasculaire, etc. Il est important pour nous de connaître l'ampleur de ces problèmes de santé au Canada et la façon dont ils évoluent au fil du temps afin d'orienter les politiques et les priorités, et l'ECMS est cruciale à cet égard (puisqu'il s'agit de la seule source de données à ce sujet dont nous disposons au Canada). »

Utilisateur externe des données

De fait, d'après le document intitulé Enquête canadienne sur les mesures de la santé : raison d'être, contexte et aperçu publié par Statistique Canada dans le numéro spécial des Rapports sur la santé intitulé Documents de référence de l'Enquête canadienne sur les mesures de la santé, les tentatives de correction du biais inhérent aux données autodéclarées sont compliquées par le risque que le biais relatif à certaines mesures varie au fil du temps et soit influencé par la couverture médiatique et les campagnes de marketing social, entre autres. Des mesures directes de la santé fournissent des données plus robustes et objectives et permettent d'évaluer des paramètres qu'il n'est pas possible de mesurer avec précision par autodéclaration (p. ex. syndrome métabolique, exposition à des toxines de l'environnement, fonction respiratoire). De telles données sont nécessaires pour l'éducation en santé publique, les programmes de promotion de la santé, la planification des soins de santé, les programmes de surveillance en santé et la recherche.

Au Canada, un certain nombre de programmes et d'initiatives stratégiques mis en œuvre entre 2001 et 2006 ont aussi contribué à créer un besoin d'indicateurs de surveillance et de contrôle de la santé publique, ce qui a stimulé directement ou indirectement la création et le soutien continu d'une enquête comprenant des mesures directes de la santé. Le tableau 4 dresse une liste d'exemples de telles initiatives.

Tableau 4 Exemples d'initiatives ayant mené à un besoin accru d'une enquête comprenant des mesures physiques directes
Initiative Description
Alliance pour la prévention des maladies chroniques au Canada (www.cdpac.ca) Représentation pour l'intégration de la recherche, de la surveillance, des politiques et des programmes, ainsi que l'obtention des ressources nécessaires pour influer de façon positive sur les déterminants de la santé et réduire l'incidence des maladies chroniques auxquelles est attribuable la part la plus importante de la morbidité, de la mortalité et des dépenses au Canada, soit la maladie cardiovasculaire, le diabète et le cancer. Footnote 9
Guidé par nos valeurs – L'avenir des soins de santé au Canada (rapport Romanow) (2002) Rapport de la Commission sur l'avenir des soins de santé au Canada qui fait état des consultations auprès de la population du Canada concernant l'avenir du régime public de soins de santé au Canada. On y trouve des recommandations de politiques et de mesures pour offrir des services de qualité aux Canadiens et établir un équilibre approprié entre les investissements dans la prévention et le maintien de la santé et ceux axés sur les soins et le traitement. Footnote 10
Examen des études de surveillance biologique des contaminants environnementaux au Canada 1990-2005 (2006) Ce rapport établit des preuves concluantes qu'il est nécessaire de mettre en place une surveillance biologique exhaustive et intensive des contaminants environnementaux au Canada. Footnote 11

Le besoin d'une enquête comportant des mesures directes de la santé n'est pas propre au Canada. Plusieurs pays ont l'habitude de réaliser des enquêtes qui comprennent de telles mesures et ont permis d'obtenir des résultats importants, ce qui confirme l'utilité de ce type d'enquête. Par exemple, la National Health and Nutrition Examination Survey (NHANES) Footnote 12, menée depuis le début des années 60 Footnote 13, a permis de recueillir les données nécessaires à l'établissement de courbes de croissance normalisées pour les enfants, qui aident les médecins et les parents à mieux comprendre les trajectoires de développement Footnote 14. Dans les années 60, la même enquête a permis de confirmer les résultats révélant un lien entre l'élévation du taux de cholestérol et la maladie cardiaque. Elle a aussi fourni les premières preuves que les Américains avaient une concentration élevée de plomb dans le sang, ce qui a motivé les administrations publiques à bannir progressivement l'usage de plomb comme additif dans l'essence et la peinture. Footnote 15 En Australie, une enquête basée sur des mesures directes de la santé réalisée de 1999 à 2001 a permis de constater que pour chaque cas de diabète connu, un cas n'avait pas été diagnostiqué et que près d'un million d'Australiens de plus de 25 ans étaient diabétiques. Footnote 16 Enfin, la Finlande doit aussi une série d'importants résultats scientifiques et touchant la santé publique à des enquêtes nationales comportant des mesures directes de la santé. Footnote 17, Footnote 18, Footnote 19

En outre, les résultats de l'enquête auprès des principaux utilisateurs des données de l'ECMS confirment l'utilité actuelle des données de l'ECMS à de nombreuses fins, notamment pour l'analyse des tendances, le contrôle et le suivi des changements, l'obtention de mesures physiques et de données de laboratoire objectives, la prestation d'un échantillon représentatif à l'échelle nationale, la recherche, les évaluations des incidences sur la santé, le diagnostic, la prévention, l'orientation des politiques et le soutien à l'élaboration des politiques. Tous les répondants au sondage ont confirmé qu'il était nécessaire de continuer à recueillir et à diffuser les données de l'ECMS sur une base permanente.

4.1.1.2 Inclusion of environmental exposures in the CHMS scope

Depuis dix ans, on constate que les Canadiens se préoccupent davantage des contaminants dans l'environnement. Ainsi, les résultats d'un sondage mené en 2006 par la firme EKOS Research Associates Inc. révèlent que 89 % des Canadiens croient que la santé de leurs enfants est menacée par la pollution de l'environnement. Près d'un Canadien sur quatre a consulté un médecin pour un problème qu'il croyait lié à l'environnement.

Dans le cadre de deux grandes initiatives, soit le Plan de gestion des produits chimiques de 2006 et le Programme sur la qualité de l'air de 2007, le gouvernement fédéral s'est engagé à prendre en main les problèmes liés aux contaminants de l'environnement. Les données de l'ECMS sont particulièrement pertinentes, puisque les mesures déjà prises par le gouvernement dans le cadre de ces initiatives dépendent de l'ECMS pour la collecte de mesures sur les contaminants de l'environnement. Les intervenants du secteur et des organismes non gouvernementaux appuient ces initiatives. Ils continuent d'insister pour que les décisions soient prises en fonction de faits scientifiques, et pour que les Canadiens disposent d'information crédible sur les risques liés aux substances chimiques dans l'environnement et sur les mesures qu'ils doivent prendre à cet égard.

Un examen du contenu de l'ECMS révèle que l'enquête traite effectivement des questions émergentes en matière d'environnement. En outre, il est clair que les enfants de moins de six ans sont représentés dans l'échantillon. Le tableau 5 présente un aperçu de la portée des variables d'exposition aux contaminants de l'environnement pour les trois premiers cycles de l'enquête. Selon un client à frais recouvrables, ces données constituent une référence et présentent un énorme potentiel pour déterminer les liens entre les contaminants de l'environnement et la santé; toutefois, un suivi à long terme est nécessaire pour dégager des tendances (ce qui peut parfois prendre jusqu'à 20 ans) et pour déterminer les incidences possibles, les mesures à prendre, les contrôles à effectuer, etc. Il est donc encore trop tôt pour établir de tels liens.

Tableau 5 Exposition aux contaminants de l'environnement dans le cadre de l'Enquête canadienne sur les mesures de la santé : Nombre de paramètres mesurés par cycle, par catégorie et par source
Description des mesures par catégorie et par source Nombre de mesures recueillies
Cycle 1 Cycle 2 Cycle 3
Paramètres mesurés à domicile
(fluorures; composés organiques volatils – polluants courants issus de combustibles [BTEX], trihalométhanes)
Eau du robinet Hors portée Hors portée 11
Paramètres mesurés dans le cadre de la collecte de données dans les cliniques mobiles
(aldéhydes; alcools aliphatiques; hydrocarbures aliphatiques; cétones aliphatiques; composés aromatiques; hydrocarbures chlorés; dérivés du chlorobenzène; éthers; siloxanes; terpènes; autres)
Air intérieur Hors portée 102 81
Mesures de laboratoire sur des échantillons humains
(composés organiques volatils; acrylamide; métabolites du benzène; insecticides du groupe des carbamates; chlorophénols; métaux et oligoéléments; métabolites d'organophosporés; parabènes; composés perfluorés; métabolite de phtalates; hydrocarbures aromatiques; pesticides; tabac; herbicides)
Nombre de mesures à partir d'échantillons humains
Sang 25 12 21
Urine 51 89 46
Total 76 101 67
De ce nombre, nombre de mesures visant des enfants de moins de 6 ans
Sang 0 12 8
Urine 1 80 38
Total 1 92 46
4.1.1.3 Réponse aux besoins actuels et émergents

En ce qui concerne les besoins émergents ou les lacunes en matière d'information que l'ECMS devrait combler, les informateurs clés et plusieurs documents citent un certain nombre de besoins émergents qui sont liés soit à de nouveaux thèmes abordés, soit à l'amélioration de la puissance d'analyse grâce aux données. Un sommaire des suggestions les plus fréquemment citées est présenté ci-dessous.

Contenu nouveau ou amélioré

  • Données sur les services de santé non assurés (p. ex. santé buccodentaire, soins de l'ouïe, soins de la vue)
  • Données plus complètes sur les apports alimentaires et nutritionnels
  • Consommation de médicaments et de suppléments alimentaires
  • Santé osseuse
  • Fonction respiratoire
  • Exposition au bruit, exposition élargie aux contaminants de l'environnement (plus de 23 000 substances chimiques doivent être évaluées et réglementées)
  • Tests génétiques, liens génétiques, médecine personnalisée, génome
  • Sommeil
  • Mesures particulières (p. ex. épreuve d'hyperglycémie provoquée par voie orale, cortisol [hormone de stress])

Besoins en matière de puissance analytique Footnote 20

Couplage d'enregistrements

  • Données longitudinales
  • Données géographiques
  • Données à l'échelle infranationale (p. ex. régionales, provinciales, propres à des groupes sociaux ou à des groupes d'âge, populations vulnérables)

La plupart des informateurs clés interviewés et des utilisateurs des données sondés estiment que l'ECMS répond aux besoins actuels. Grâce à l'ECMS, le Canada dispose de données de référence objectives représentatives à l'échelle nationale sur des mesures importantes de la santé, qui peuvent être utiles aux médecins, aux professionnels de la santé Footnote 21 et aux chercheurs Footnote 22 comme base de référence sur les caractéristiques de la santé des Canadiens.

« La période [de huit ans] n'est pas assez longue pour nous permettre de demeurer statique, mais pas trop courte non plus, afin d'offrir continuité et stabilité. [L'enquête] renferme un contenu de base maintenu durant toute la période, et un contenu renouvelé qui change sur des périodes plus ou moins longues durant ces huit années, en fonction des besoins; une petite capacité demeure libre afin de nous permettre, à brève échéance, d'ajouter du contenu pour répondre à de nouveaux besoins urgents. »

Interview à l'interne

En outre, les personnes interviewées considèrent que l'ECMS peut répondre aux nouveaux besoins en matière de contenu, notamment pour les raisons suivantes :

  • Elle fournit une infrastructure de portée complète et constitue un mécanisme de collecte de mesures directes polyvalent et souple permettant de répondre aux besoins en information sur d'importantes questions de santé qui pourraient émerger dans l'avenir.
  • Les priorités en matière de contenu sont déterminées par la structure de gouvernance fédérale, d'après de vastes consultations auprès des partenaires fédéraux et d'autres intervenants; en conséquence, le contenu du questionnaire de l'ECMS peut être adapté en fonction des besoins cernés.

Bien que la majorité des répondants estiment que l'ECMS répond aux besoins actuels et émergents en matière de contenu, les réponses des personnes interviewées et les documents examinés révèlent qu'aucun plan n'a jamais été établi en ce qui concerne le contenu de l'ECMS afin d'assurer que l'enquête demeure pertinente et continue de répondre aux besoins émergents en matière de contenu.

En ce qui concerne la biobanque Footnote 23, plusieurs chercheurs ont mentionné sa pertinence, son importance et son utilité, en soulignant qu'il s'agit du premier entrepôt d'échantillons biologiques représentatifs de l'ensemble de la population canadienne. Des chercheurs de l'interne et de l'externe ont témoigné de la pertinence de la biobanque et souligné qu'elle offre un potentiel énorme pour les recherches futures ou la surveillance des problèmes de santé lorsque le besoin s'en fait sentir.

La puissance analytique de l'ECMS demeure limitée à cause de la taille de l'échantillon. Les informateurs clés ont souligné de nombreux cas pour lesquels ils ont besoin d'un plus grand échantillon pour mener des recherches plus complexes et estiment que cette limite a une incidence sur l'utilité des données aux fins de leurs recherches. Cette question est abordée plus en détail dans la section portant sur le rendement (validité, fiabilité et accès).

4.1.2 Harmonisation avec les priorités et les obligations du gouvernement et de Statistique Canada

Résumeé des resultats :

La documentation, les publications et les interviews relatives au programmes indiquent toutes que les objectifs de l'ECMS, tels qu'ils sont énoncés dans le Plan d'action, sont conformes aux priorités du gouvernement fédéral et aux objectifs de Statistique Canada.

Les résultats montrent que l'ECMS aide le gouvernement fédéral à s'acquitter de ses obligations au titre de la loi, de ses engagements internationaux et de sa responsabilité de protéger la santé des Canadiens. Comme il s'agit de priorités permanentes, il est toujours légitime, approprié et nécessaire pour le gouvernement fédéral de maintenir l'ECMS.

4.1.2.1 Harmonisation avec les priorités du gouvernement fédéral et résultat stratégique de Statistique Canada

Priorités du gouvernement fédéral

La collecte de données sur la santé a été désignée comme une priorité fédérale à plusieurs occasions. Rappelons que le financement initial de l'ECMS faisait partie du budget fédéral de 2003, dans lequel le gouvernement du Canada soulignait que des « renseignements exacts et à jour sur les tendances relatives à l'état de santé et au fonctionnement du système de santé constituent un outil crucial pour prendre des décisions stratégiques éclairées, adaptées et axées sur le patient en matière de santé ». En outre, l'investissement dans la santé et la sécurité afin d'offrir aux Canadiens de l'information améliorée sur les liens entre les polluants et la maladie a été reconfirmé dans le budget fédéral de 2008.

L'harmonisation de l'ECMS avec les priorités du gouvernement fédéral est assurée par sa gouvernance au niveau stratégique. L'ECMS est l'une des activités d'information sur la santé de Statistique Canada exécutée au titre du PSSPC et, en conséquence, ses priorités et décisions stratégiques sont déterminées par le comité directeur tripartite du PSSPC, auquel siègent des représentants de SC, de l'ASPC et de Statistique Canada. En vertu de son mandat, le comité du PSSPC est chargé de veiller à ce que les besoins du gouvernement fédéral en matière d'information sur la santé soient satisfaits.

L'examen des documents a révélé que l'ECMS aide le gouvernement fédéral à s'acquitter de ses obligations au titre de la loi, de ses engagements internationaux et de sa responsabilité de protéger la santé des Canadiens. Par exemple :

  • Les données de l'ECMS informent et soutiennent le gouvernement fédéral pour l'exécution de ses activités permanentes de contrôle, de surveillance, de gestion des risques et de réglementation, qu'il est tenu d'exécuter aux termes de diverses lois, notamment la Loi sur le ministère de la Santé, la Loi canadienne sur la protection de l'environnement, la Loi sur les produits antiparasitaires, la Loi sur les aliments et drogues et la Loi sur les produits dangereux.
  • Les données de l'ECMS aident le gouvernement fédéral à s'acquitter de ses obligations et engagements internationaux, notamment dans le cadre de l'Accord de libre-échange nord-américain, de l'Accord Canada-États-Unis relatif à la qualité de l'eau dans les Grands Lacs, des négociations des Nations Unies pour un traité international sur le mercure et de la Convention de Stockholm sur les polluants organiques persistants.
  • Les données de l'ECMS orientent l'élaboration et la mise à jour de nombreuses normes et lignes directrices du gouvernement fédéral en matière de santé et d'environnement (par exemple les Recommandations pour la qualité de l'eau potable au Canada et la Stratégie fédérale de lutte contre le tabagisme). L'enquête fournit aussi des renseignements essentiels à l'appui de plusieurs initiatives fédérales plus vastes, comme le Plan de gestion des produits chimiques, l'Initiative du Carnet de route de l'information sur la santé et le Programme sur la qualité de l'air.

Résultat stratégique de Statistique Canada

Le soutien de l'ECMS et d'autres projets fournissant des données et des analyses statistiques à propos de l'état de santé des Canadiens fait partie des activités de Statistique Canada énoncées dans le Rapport sur les plans et les priorités pour 2011-2012. L'ECMS fait aussi partie des programmes mis en œuvre en vue d'atteindre le résultat stratégique de Statistique Canada défini comme suit dans l'Architecture d'activités de programmes 2011 :

Les Canadiens ont accès à des données statistiques récentes, pertinentes et de qualité sur l'évolution de l'économie et de la société canadiennes pour éclairer les débats, la recherche et les prises de décisions portant sur les questions économiques et sociales.

En résumé, les activités de Statistique Canada concernant l'exécution de l'ECMS s'inscrivent dans les priorités de l'organisme et soutiennent la réalisation d'un résultat stratégique. Elles soutiennent aussi l'atteinte des objectifs du Plan d'action en améliorant la base de connaissances sur l'importance des contaminants dans l'environnement et leurs répercussions possibles sur la santé, et contribue donc au résultat ultime du Plan d'action (c.-à-d. réduire les risques que posent les contaminants de l'environnement nocifs pour la santé des Canadiens).

4.1.2.2 Rôles du gouvernement fédéral et de Statistique Canada dans la mise en œuvre du programme de l'Enquête canadienne sur les mesures de la santé

« Comme Statistique Canada est l'organisme statistique officiel du pays, il est sensé que ce soit lui qui effectue ce travail et diffuse les données. »

Chercheur externe

Aux termes de l'Acte de l'Amérique du Nord britannique de 1867, le recensement et les statistiques sont de compétence fédérale. Le Parlement a exercé sa responsabilité pour le recensement et les statistiques essentiellement aux termes de la Loi sur la statistique (la Loi). Cette loi fait de Statistique Canada le bureau national de statistique et en définit le mandat, les pouvoirs et les obligations. Aux termes de la Loi, Statistique Canada doit recueillir, compiler, analyser et publier des renseignements statistiques sur les conditions économiques, sociales et générales du pays et de sa population. En vertu de l'article 22-c de la Loi sur la statistique, Statistique Canada a le mandat plus précis de recueillir, de compiler, d'analyser, de dépouiller et de publier des statistiques sur la santé et la protection sociale.

« Statistique Canada a l'infrastructure et la réputation de confiance, de confidentialité et de neutralité nécessaire pour obtenir des taux de réponse élevés et ainsi produire des données de qualité supérieure. »

Chercheurs

Les informateurs clés ont indiqué que bien que la santé soit de compétence provinciale, le gouvernement fédéral a un rôle important à jouer dans la prestation de mesures d'enquête nationales représentatives et crédibles à des fins de comparabilité, de cohérence et d'objectivité. Selon eux, « personne n'est mieux placé que le gouvernement fédéral pour créer et maintenir un programme statistique de l'envergure, de la visibilité et de la complexité de l'ECMS. Sur la scène internationale, les programmes similaires sont aussi exécutés au niveau fédéral. »

Selon la haute direction, l'ECMS a été conçue pour combler des lacunes dans les données sur la santé générale de la population, fondées sur des mesures directes de la santé. Si l'ECMS n'existait plus, cela représenterait un pas en arrière dans notre compréhension de la santé au Canada, notamment celle des enfants âgés de 3 à 11 ans, puisqu'il n'existe à l'heure actuelle aucune donnée pour ce groupe d'âge. Cette constatation est confirmée par les chercheurs interviewés. Sans l'ECMS, les chercheurs n'auraient plus la possibilité de corriger les données autodéclarées en fonction de mesures directes objectives. En ce qui concerne les politiques en matière de santé, l'absence des données de l'ECMS peut nuire à la prise de décisions et aux résultats des programmes, puisque l'ECMS brosse le portrait le plus précis que l'on puisse obtenir des problèmes de santé des Canadiens et de leurs facteurs déterminants.

4.2 Rendement

4.2.1 Efficacité – Réalisation des extrants et des résultats attendus

Les résultats attendus mesurés dans le cadre de l'évaluation sont précisés dans le cadre d'évaluation de synthèse du Plan d'action pour protéger la santé humaine des contaminants de l'environnement de Statistique Canada. Le Cadre de responsabilisation de gestion axé sur les résultats établi en 2008 pour le Plan d'action comprend un échéancier pour la réalisation de chaque résultat. L'évaluation est axée sur la mesure des résultats attendus à très court terme à cause du cycle de vie de l'ECMS et du moment de l'évaluation. On constate toutefois que l'ECMS est sur la bonne voie et progresse vers les résultats attendus à moyen et à long terme.

Avant de déterminer si les résultats ont été atteints, il importe de comprendre la réalisation des extrants définis dans le Plan d'action, puisqu'il s'agit de catalyseurs qui permettront d'atteindre les résultats attendus.

4.2.1.1 Extrants

Les résultats de l'évaluation démontrent que les activités de l'ECMS sont exécutées comme prévu, et que les extrants de l'ECMS aient été produits selon l'échéancier planifié.

L'état des activités de l'ECMS en août 2012 a déjà été présenté dans le tableau 1. Comme l'indique le tableau, le cycle 1 est entièrement achevé, le cycle 2 en est à la dernière phase de diffusion, et la phase de collecte de données du cycle 3 est en cours.

L'examen des données administratives et les interviews auprès des responsables du programme réalisés dans le cadre de l'évaluation montrent que les extrants de l'ECSM ont été produits comme prévu. De fait, le Plan d'action précise que les cycles 1 et 2 de l'ECSM doivent comprendre 5 000 participants et le cycle 3, 2 500 participants (au moment de l'évaluation), et que les enfants de moins de six ans doivent être inclus dans l'échantillon. En ce qui concerne les mesures, le Plan d'action prévoit des mesures de l'environnement additionnelles, notamment le prélèvement d'échantillons d'air et d'eau.

Le tableau 6 présente l'état d'achèvement des extrants et montre que les cibles énoncées dans le Plan d'action ont été atteintes.

En outre, comme l'examen des données administratives l'a révélé, des données de biosurveillance ont été recueillies auprès du groupe des 3 à 5 ans, principalement aux cycles 2 et 3. Au total, 135 mesures Footnote 24 de biosurveillance ont été prises chez des enfants de moins de 6 ans au cycle 2, et 88 sont actuellement en cours de collecte pour ce groupe d'âge au cycle 3; au cycle 1, seulement une mesure de biosurveillance a été prise pour ce groupe d'âge.

En outre, une gamme de mesures d'exposition aux contaminants de l'environnement ont été recueillies, y compris des échantillons biologiques (pour les trois cycles) et des échantillons d'air intérieur (cycles 2 et 3). Une nouvelle source de mesures de l'exposition aux contaminants de l'environnement a aussi été incluse dans le cycle 3 (échantillons d'eau du robinet). Footnote 25

Tableau 6 État des extrants en août 2012
Activité Extrants Cycle 1 Cycle 2 Cycle 3
État (nombre) État (nombre) État (nombre)
Collecte   Nombre prévu de participants : 5 6001 Nombre prévu de participants : 5 700 Nombre prévu de participants : 5 700
Questionnaires auprès des ménages Achevé (6 604) Achevé (7 830) En cours
Données des mesures physiques Achevé (5 617) Achevé (6 432)
Moniteur d'activité physique Achevé Achevé
Échantillons biologiques Sang Achevé (5 385) Achevé (6 163)
Urine Achevé (5 552) Achevé (6 363)
Échantillons pour la biobanque Prélèvements effectués Prélèvements effectués
Échantillons d'air intérieur Sans objet Achevé
Échantillons d'eau du robinet Sans objet Sans objet
Diffusion Plan de diffusion Disponible Achevé Disponible Achevé Trop tôt
Communiqués du Quotidien 10 En cours
Fichiers de microdonnées 10
Tableaux personnalisés Environ 40
Articles revus par des pairs dans les Rapports sur la santé 23
Articles revus par des pairs dans d'autres publications Environ 30
Rapports 5
Feuillets d'information 14
Tableaux sommaires 65
Résultat immédiat

Production de données fiables et utilisables à l'intention des décideurs, des chercheurs et des Canadiens à propos de l'état de santé de référence des Canadiens, de l'importance des contaminants de l'environnement et de l'exposition à ces contaminants

Les résultats de l'évaluation montrent que les données de l'ECMS sont fiables et utilisables, et qu'elles sont accessibles par l'entremise de fichiers partagés avec les partenaires ainsi que des CDR de Statistique Canada.

Dans le cadre de l'évaluation, les utilisateurs ont exprimé certaines préoccupations quant à la comparabilité et à la puissance analytique des données de l'ECMS et ont expliqué les défis que présente pour eux la disponibilité des données.

Fiabilité et utilisabilité

La plupart des informateurs clés interviewés ont déclaré que les données de l'ECMS étaient fiables et robustes. Les trois quarts des répondants à l'enquête ont dit être satisfaits ou très satisfaits de la fiabilité et de la validité des données.

En outre, l'examen des données administratives révèle un taux de réponse élevé au cycle 1 (88 % pour le questionnaire auprès des ménages et 85 % pour la clinique mobile) et pour le cycle 2 (90 % pour le questionnaire auprès des ménages et 82 % pour la clinique mobile), ce qui est un indicateur valide de la qualité des données produites.

Même si les chercheurs ont dit être satisfaits de la fiabilité et de l'utilisabilité des données de l'ECMS, ils ont formulé deux préoccupations : 1) la comparabilité des données et 2) l'impossibilité d'effectuer des analyses à l'échelle infranationale.

Préoccupation n° 1 – Comparabilité des données

Selon les personnes interviewées, il y a de nombreuses façons valides de mesurer les indicateurs de la santé et les contaminants de l'environnement, mais s'ils ne sont pas mesurés de la même façon d'un cycle à l'autre ou d'une enquête à l'autre, il est difficile de comparer les données à des fins d'analyse. Par exemple, l'ECMS mesure le cadmium (ou la caféine) dans l'urine, alors que l'enquête NHANES le mesure dans le sang – ces deux mesures sont valides, mais ne peuvent être comparées.

Parmi les causes possibles du choix de méthodes de mesures différentes, les chercheurs ont mentionné ce qui suit : 1) les mesures de laboratoire sont assujetties à diverses méthodes d'analyse et de mesure, erreurs de mesure et modifications des protocoles de mesure, et 2) des intérêts concurrents et des contraintes financières.

Préoccupation n° 2 – Impossibilité d'effectuer des analyses à l'échelle infranationale

La plupart des chercheurs ont mentionné qu'à cause de la taille de l'échantillon, ils n'ont pas pu effectuer d'analyses à l'échelle infranationale ni d'analyses plus complexes sur des sous-ensembles spécifiques de la population (p. ex. populations vulnérables, personnes souffrant d'une maladie rare), ce qui limite la fiabilité et l'utilisabilité des données. Toutefois, l'incidence de cette limite varie selon les thèmes abordés (p. ex. aucune difficulté n'a été mentionnée à propos de l'activité physique).

D'après la documentation relative au programme, l'ECMS a été établie comme étant une enquête nationale et offre donc des estimations nationales. La réalisation d'analyses à l'échelle infranationale ne s'inscrit pas dans la portée de l'initiative.

Disponibilité

« Les CDR offrent un excellent service aux chercheurs, mais il faut savoir ce qu'on veut faire;  ce n'est pas une partie de pêche. Si l'on sait ce qu'on veut, on obtient le soutien nécessaire. »

Gestionnaire interne

Les résultats de l'évaluation montrent que les données ne sont pas aussi accessibles qu'elles pourraient l'être. Certains des commentaires recueillis concernent le fait que les fichiers des microdonnées de l'ECMS ne sont pas téléchargeables depuis l'Internet et que les chercheurs doivent se rendre dans un CDR pour utiliser les fichiers des données de l'ECMS. En ce qui concerne les CDR, les chercheurs internes et externes ont soulevé diverses préoccupations, notamment un manque d'information quant à la façon d'accéder aux données, les délais d'approbation des demandes d'accès (parfois jusqu'à six mois), les lieux et les moments (journées et heures) où l'on peut utiliser les données, les restrictions concernant ce qui peut être apporté dans les CDR et emporté et, à certains endroits, les compétences et les connaissances du personnel chargé des fichiers des données de l'ECMS. Footnote 26

Les interviews à l'interne auprès des gestionnaires responsables de l'ECMS n'ont révélé aucun problème concernant la disponibilité et l'accessibilité des données de l'ECMS. Selon les responsables, les deux partenaires fédéraux ont des fichiers partagés et les chercheurs de l'extérieur ont un accès complet aux CDR. En ce qui concerne les principaux utilisateurs des données interviewés, près des trois quarts confirment ces faits et ont dit être satisfaits ou très satisfaits de l'information sur la disponibilité. En outre, les responsables de l'ECMS ont aussi souligné qu'une stratégie de communication sera lancée à l'automne ou à l'hiver 2013 pour garantir que toute l'information sur l'accès aux données de l'ECMS et aux échantillons de la biobanque est disponible et diffusée auprès du grand public. À cause du moment où l'évaluation a été effectuée, il n'a toutefois pas été possible de valider cette affirmation.

4.2.1.3 Résultat intermédiaire

Sensibilisation accrue des utilisateurs aux données et à l'information recueillie.

Les résultats de l'évaluation montrent que le grand public, les chercheurs et les utilisateurs des données sont sensibilisés aux données de l'ECMS grâce aux publications portant sur les données du cycle 1. Toutefois, il est encore trop tôt pour présenter des mesures valides de la sensibilisation accrue puisque la diffusion des données du cycle 2 et des produits connexes est en cours à l'heure actuelle. Par ailleurs, certains points, notamment le « rayonnement » des publications et l'absence de promotion des données de l'ECMS auprès des collectivités scientifiques, ont été signalés comme limitant la sensibilisation, en plus du moment de l'évaluation visée par le présent rapport étant tôt dans le cycle de vie de l'enquête pour une telle mesure.

Selon les données administratives relatives à l'ECMS, le grand public s'intéresse aux données du cycle 1, comme en témoignent le grand nombre d'articles publiés dans les journaux, de reportages présentés à la télévision et à la radio, d'articles publiés dans l'I nternet et de visites du site Web (voir le tableau 7).

Tableau 7 Participation des médias, de janvier 2010 à mars 2012
Type de média Total pour le cycle 1
nombre
Articles dans les journaux (imprimés) 171
Reportages à la télévision et à la radio 37
Articles publiés dans l'Internet 248
Gazouillis dans Twitter (première semaine après la diffusion seulement) 63
Autres articles 463

Comme il est indiqué au tableau 8, le grand public a aussi manifesté un intérêt et une connaissance à l'égard des produits relatifs à l'ECMS offerts dans le site Web de Statistique Canada.

Tableau 8 Visites du site Web, avril 2009 à décembre 2011
  Total pour le cycle 1
nombre
Total (en anglais et en français) 184 412
Tableaux sommaires seulement 6 973
Métadonnées (dictionnaires, etc.) 7 216
Téléchargements de tableaux de données1 3 519
Affichages de tableaux de données1 13 858

Enfin, le tableau 9 montre que les chercheurs externes ont exprimé un intérêt à l'égard des données du cycle 1, d'après le nombre de propositions de recherche soumises (64), les demandes faites aux secteurs des services à la clientèle et les demandes de tableaux personnalisés.

Tableau 9 Demandes de données, de renseignements et de tableaux personnalisés
  2008-2009 2009-2010 2010-2011 2011-2012
nombre
Demandes d'échantillons de la biobanque à des fins de recherche ... ... ... 6
Propositions de recherche faisant appel aux données de l'ECMS (universités et CDR fédéraux) ... 4 28 32
Demandes de renseignements et demandes traitées par les services à la clientèle (de janvier 2010 à décembre 2010) ... ... 194 ...
Tableaux personnalisés préparés en réponse aux demandes (de janvier 2010 à décembre 2010) ... ... 115 ...

Même si les trois tableaux montrent que les données de l'ECMS sont connues et suscitent de l'intérêt, il est difficile de quantifier le degré de connaissance des données. Ces chiffres peuvent toutefois constituer des données de référence pour mesurer l'augmentation de la sensibilisation lorsque les données des cycles suivants de l'ECMS seront disponibles et que les produits connexes seront diffusés.

Selon tous les informateurs clés, les chercheurs sont déjà sensibilisés aux données à divers degrés. On a également souligné que les données étaient récentes (les données du cycle 1 ont été diffusées de janvier 2010 à avril 2011) et que, à mesure que d'autres publications seront diffusées, la sensibilisation devrait augmenter. Toutefois, même en tenant compte de ces efforts, les personnes interviewées ont souligné qu'il pourrait être difficile d'augmenter la sensibilisation aux données à cause du « rayonnement » des publications et de l'absence de promotion active des données auprès des collectivités scientifiques.

4.2.1.4 Résultat ultime

Utilisation accrue, par les décideurs, de l'information sur les liens établis entre les contaminants et les maladies afin d'orienter les décisions en matière de pratiques de santé publique, de recherche, de réglementation stratégique et de programmes et services.

Les résultats de l'évaluation montrent que l'ECMS a déjà permis de valider les données d'autres enquêtes à données autodéclarées et a été utilisée à des fins de recherche et de découvertes scientifiques. Plus particulièrement, les données ont servi à l'élaboration de politiques et à la prise de décisions dans les domaines de l'activité physique, de l'exposition aux contaminants de l'environnement, des marqueurs de la nutrition et de la santé buccodentaire; toutefois, il est encore trop tôt dans le cycle de vie du programme pour connaître le plein potentiel de l'ECMS.

En dépit des nombreux exemples d'utilisation, les informateurs clés ont souligné que l'accessibilité limitée des données pourrait nuire à leur utilisation accrue (résultat attendu de l'ECMS).

Données sur l'utilisation

Utilisation des données de l'Enquête canadienne sur les mesures de la santé à Statistique Canada

Les chercheurs internes ont désigné des domaines spécifiques où les données de l'ECMS sont utilisées à Statistique Canada. Par exemple, elles aident à valider les données autodéclarées recueillies dans le cadre d'autres enquêtes, comme l'Enquête sur la santé dans les collectivités canadiennes. Elles contribuent aussi à améliorer les modèles de microsimulation (en augmentant le degré de confiance des projections) mis au point par Statistique Canada et utilisés par les décideurs pour élaborer ou mettre à jour des politiques.

Utilisation des données de l'Enquête canadienne sur les mesures de la santé pour la prise de décisions

Les chercheurs externes ont fourni des exemples relevant de leur champ d'expertise pour illustrer les utilisations qui ont été faites des données de l'ECMS. Ces exemples reflètent principalement la contribution de l'ECMS aux activités suivantes :

  • définition des priorités et des questions urgentes
  • gestion des risques au sein de SC et de l'ASPC
  • prise de décisions stratégiques et financières
  • planification de l'avenir
  • mise à jour des lignes directrices et des règlements
  • réalisation d'analyses comparatives à l'échelle internationale
  • orientation des négociations mondiales.

Dans le même ordre d'idée, presque tous les principaux utilisateurs des données qui ont participé à l'enquête d'évaluation ont utilisé les données de l'ECMS à des fins de recherche. De ceux-là, la moitié ont utilisé les données pour analyser des politiques, et certains les ont utilisées pour élaborer des programmes et services.

Le tableau 10 présente les exemples les plus importants à ce jour de l'utilisation des données et des recherches de l'ECMS pour influer sur les politiques et la réglementation dans quatre domaines : l'exposition aux contaminants de l'environnement, l'activité physique, les marqueurs de la nutrition et la santé buccodentaire.

Tableau 10 Utilisation des données de l'Enquête canadienne sur les mesures de la santé
Thème Preuves d'utilisation Organisme et année de publication
Exposition aux contaminants de l'environnement Rapport sur la biosurveillance humaine des substances chimiques de l'environnement au Canada Santé Canada (SC), 2010
Activité physique Directives canadiennes en matière d'activité physique SC et Société canadienne de physiologie de l'exercice, 2011
Directives canadiennes en matière de comportement sédentaire à l'intention des enfants et des jeunes
Bulletin de Jeunes en forme Canada sur l'activité physique des enfants et des jeunes Organisme national Jeunes en forme Canada, 2011 et 2012
Marqueurs de la nutrition Lignes directrices révisées en matière d'apport en acide folique chez les femmes en âge de procréer, fondées sur les résultats des tests sur la vitamine B12 et la concentration en folate des globules rouges Société des obstétriciens et gynécologues du Canada, 2011
Clinical Utility of Vitamin D Testing: An Evidence-based Analysis (rapport) Secrétariat des services consultatifs médicaux de l'Ontario, 2009
Les données relatives à la vitamine D ont orienté le débat concernant la mise à jour des lignes directrices sur l'apport recommandé Institute of Medicine, États-Unis, 2011
Santé buccodentaire Rapport des résultats du module sur la santé buccodentaire de l'Enquête canadienne sur les mesures de la santé 2007-2009 SC, 2010
Canada's Oral Health Report Card: A call to action L'Association canadienne des hygiénistes dentaires, 2010
La santé buccodentaire – Bien plus qu'une question de caries (rapport) Médecin hygiéniste en chef de l'Ontario, 2012

Les exemples d'utilisation choisis couvrent une très courte période (environ 2,5 ans après la diffusion des données). Les informateurs clés ont souligné que « [l'ECMS] est une enquête très récente, dont les données sont diffusées depuis peu ». Ils estiment néanmoins que l'ECMS jouit d'une excellente réputation et qu'elle aura une plus grande incidence positive que n'importe quelle autre enquête nationale. Ils expliquent que « à l'occasion des nombreuses réunions auxquelles [ils ont] assisté à différents titres dans les domaines de l'activité physique ou de la santé, l'enquête est toujours mentionnée comme étant une source d'information utile et respectée », qu'elle suscite beaucoup d'attention autour des tables de prise de décisions à SC et à l'ASPC et que « même si les travaux n'en sont pas encore à l'étape de la publication de documents, [...] les décisions sont fondées sur les données de l'ECMS ».

4.2.1.5 Facteurs pouvant contribuer ou nuire à la réalisation des résultats attendus selon les informateurs clés

Le manque d'accessibilité constitue un obstacle à l'utilisation

« Les données recueillies sont très utiles et il y a de quoi en être fier, mais si l'information n'est pas diffusée, elle ne permet pas de faire progresser la science ni d'orienter les politiques. »

Chercheur externe

Les résultats de l'évaluation montrent que certains problèmes concernant l'accès aux données pourraient nuire à leur utilisation à des fins de recherche et d'élaboration de politiques. Plus spécifiquement, même si la majorité des chercheurs connaissent l'existence des données, beaucoup ne savent pas comment y avoir accès. Les personnes de l'extérieur interviewées corroborent ce point de vue; selon eux, le manque d'accessibilité (ou la complexité de l'accès) constitue un obstacle à l'utilisation des données.

L'examen de documents a révélé qu'un plan d'analyse, document stratégique décrivant le programme d'analyse et la stratégie de diffusion des données de l'ECMS, a été élaboré en 2005 et mis à jour plusieurs fois, la dernière en 2010. Ce plan devait être un document évolutif facilitant l'utilisation optimale des données de l'ECMS et définissant la portée de l'analyse afin de maximiser l'incidence et l'utilité des données. Le plan énonce les objectifs et les activités d'analyse liés à l'enquête, y compris les objectifs et les activités d'appui.

De l'avis des chercheurs externes, la plupart des extrants prévus dans le plan ont été achevés, mais les personnes interviewées ne connaissaient pas le plan d'analyse courant. Ils estiment qu'il devrait y avoir une meilleure communication et une meilleure collaboration afin d'éviter le dédoublement des travaux de recherche et d'analyse lorsque des groupes différents s'intéressent aux mêmes données.

Dans le même ordre d'idée, l'évaluation montre que le programme ne fait pas officiellement ni systématiquement le suivi de toutes les publications qui font appel aux données de l'ECMS, et les interviews des chercheurs externes ont confirmé que ceux-ci n'informent pas toujours les responsables de l'ECMS de leurs publications revues par des pairs. Cette situation contribue aux faiblesses énoncées plus haut en ce qui concerne l'amélioration de la coordination des initiatives d'analyse et de la communication de ces initiatives aux chercheurs et aux autres parties intéressées. Plusieurs des personnes de l'extérieur interviewées ont clairement souligné qu'il est essentiel de disposer d'information complète, officielle et à jour sur toutes les études et publications fondées sur les données de l'ECMS pour assurer une bonne collaboration. Les chercheurs doivent savoir si quelqu'un a déjà étudié une question particulière et publié des résultats avant d'entreprendre leurs propres travaux; ainsi, « ils pourraient mieux planifier et déterminer la portée de leur recherche ».

D'après les gestionnaires responsables de l'ECMS, l'enquête sera intégrée à compter de cet automne dans le processus annuel de planification d'analyse de la Division de la statistique de la santé. Le plan d'analyse sera produit en fonction de consultations auprès des intervenants clés. Dans le cadre de cet exercice de planification, des décisions seront prises à propos des futurs articles et des responsabilités partagées entre Statistique Canada, SC, l'ASPC et les spécialistes externes.

Autres facteurs

La majorité des personnes interviewées ont mentionné les restrictions budgétaires et les pressions financières comme étant des facteurs susceptibles de nuire à la réalisation des résultats attendus. Des chercheurs externes (clients auprès de qui les coûts sont recouvrés) ont aussi cité les compressions dans le financement par recouvrement des coûts, ce qui pourrait entraîner une réduction du contenu et du nombre de mesures.

Les responsables du programme ont souligné que la nécessité de maintenir en poste le personnel des cliniques et le fait que seules certaines personnes détiennent les connaissances requises pourraient nuire à l'exécution de l'ECMS. C'est pourquoi une nouvelle stratégie de ressources humaines est en cours d'élaboration pour le personnel de la clinique mobile, et l'on s'assure que le transfert des connaissances se fera. Il a aussi été précisé dans le cadre des interviews qu'une stratégie de planification de la relève était en cours d'élaboration afin d'atténuer les risques liés à l'absence d'un transfert des connaissances; toutefois, aucun élément de ces stratégies n'est devenu disponible durant la période où l'évaluation a été réalisée.

Un chercheur externe a mentionné la possibilité d'un « risque de perception » comme facteur susceptible de nuire à l'enquête. De fait, il craint que certaines mesures puissent ne pas être jugées utiles parce qu'on ne peut pas observer de tendance à l'heure actuelle. Il a expliqué que certaines tendances peuvent mettre beaucoup de temps (p. ex. 20 ans) à émerger.

4.2.1.6 Incidences imprévues de la mise en œuvre de l'Enquête canadienne sur les mesures de la santé

L'évaluation n'a révélé aucune incidence imprévue d'envergure. Cependant, comme l'ECMS est en place depuis peu de temps, il est peut-être encore trop tôt pour constater des résultats imprévus.

Selon les responsables du programme, toutefois, comme l'enquête repose sur le modèle de l'enquête NHANES (qui existe depuis 50 ans), il a été possible de tenir compte de l'expérience acquise et des leçons apprises dans le cadre de cette enquête, ce qui réduit la probabilité d'incidences imprévues. D'après les personnes interviewées à l'interne, la complexité de l'enquête et le processus de planification détaillé et rigoureux nécessaire pour garantir un environnement opérationnel contrôlé et la qualité des données restreignent davantage le risque d'écarts ou d'effets imprévus.

En ce qui concerne les répercussions avantageuses, les personnes interviewées ont cité quelques exemples : 1) on a constaté des problèmes de santé chez certains répondants, qui en ont été informés dans les plus brefs délais, ce qui leur a permis de consulter un médecin en temps opportun; 2) certaines des données sur les contaminants de l'environnement recueillies à titre supplémentaire ont été utiles plus tôt que prévu. Par exemple, des mesures du sélénium ont été incluses dans les analyses des autres métaux, parce qu'il était facile de le faire à partir des mêmes échantillons et tests de laboratoire. Récemment, ces données ont été utilisées comme données représentatives à l'échelle nationale pour mener une évaluation du risque que pose le sélénium qui n'était pas prévue au moment du prélèvement des échantillons.

4.2.2 Rendement – Efficience et économie

Les résultats de l'évaluation de l'efficience et de l'économie de l'ECMS sont fondés sur une analyse financière de la disponibilité et de l'utilisation des ressources, ainsi que sur une analyse des tendances en matière de dépenses et des écarts observés. Footnote 27 Des données anecdotiques obtenues dans le cadre des interviews ont permis de déterminer les points de vue et les perceptions des informateurs clés quant à l'efficience du programme, aux approches différentes qui pourraient améliorer l'efficience et à la mesure dans laquelle l'ECMS chevauche ou complète d'autres enquêtes ou programmes existants.

La transition d'un financement principalement axé sur le recouvrement des coûts vers un financement de base pour l'ECMS, dans la foulée de la mise en œuvre du Plan d'action de 2008, a contribué à la stabilité de l'enquête, ce qui a eu une incidence positive sur l'ECMS. Cela a notamment permis d'améliorer la planification à long terme et d'explorer les possibilités d'accroître l'efficience opérationnelle, ce qui pourra être confirmé avec plus de certitude après la mise en œuvre d'un programme de collecte de données sur le rendement et l'efficience au fil du temps.

En utilisant l'infrastructure existante de l'ECMS, d'autres partenaires fédéraux peuvent atteindre leurs objectifs en moins de temps et à moindre coût. Le partage des connaissances complémentaires entre Statistique Canada, ses partenaires fédéraux et les universités accroît la capacité d'analyse dans le domaine de la santé.

L'ECMS est la seule enquête au Canada portant sur des mesures directes représentatives à l'échelle nationale; elle complète d'autres études canadiennes et internationales. Il n'y a donc pas de dédoublement d'effort susceptible de nuire à l'efficience.

Les personnes de l'extérieur interviewées ont nommé des domaines où l'efficience et l'économie pourraient être accrues, et ont suggéré des approches différentes pour certains aspects de la réalisation de l'enquête (p. ex. des pratiques de recrutement plus souples et le recours à des cliniques et à des infrastructures locales plutôt qu'à des cliniques mobiles). Ces options pourraient toutefois nuire à la qualité de la collecte des données.

4.2.2.1 Ressources en place pour soutenir la mise en œuvre de l'Enquête canadienne sur les mesures de la santé

« Les fonds spécialement réservés (jusqu'au présent exercice) ont énormément aidé à établir l'ECMS. Nos activités sont maintenant bien établies, cohérentes et prévisibles, contrairement à l'époque où nous étions à la merci du renouvellement des fonds chaque année. Nous étions mieux en mesure de planifier à long terme. »

Personne de l'interne interviewée

Les faits montrent clairement qu'il y a eu une transition d'un financement par recouvrement des coûts vers un financement de base dans la foulée du Plan d'action de 2008, comme l'illustrent les graphiques 3 et 4 ci-dessous. Le recouvrement des coûts est passé de 90,6 % en 2007-2008 à 24,2 % en 2011-2012, alors que le financement de base est passé de 9,4 % en 2007-2008 à 75,8 % en 2011-2012. Beaucoup des personnes interviewées ont confirmé l'incidence positive du Plan d'action sur la stabilisation du financement de l'ECMS.

Graphique 3 Financement de base, avril 2012

Graphique à barres affichant ressources allouées au fil des ans
Description : Graphique 3 Financement de base, avril 2012

Graphique 4 Financement externe par recouvrement des coûts, avril 2012

Graphique à barres affichant ressources allouées au fil des ans
Description : Graphique 4 Financement externe par recouvrement des coûts, avril 2012

Tous les écarts entre le budget de l'ECMS et les dépenses réelles, tant pour le financement de base que pour le financement par recouvrement des coûts, sont inférieurs à 4 % pour l'ensemble de la période de cinq ans. Sur le plan financier, une telle situation est le signe d'une bonne gestion des ressources. Des personnes de l'interne interviewées ont avancé que cette situation pourrait s'expliquer par la planification soignée et rigoureuse qu'exige la complexité de l'enquête.

En ce qui concerne le nombre d'ETP, le budget semble toujours sous-estimer le nombre réel requis, comme l'indique le tableau 11. En conséquence, des fonds non salariaux ont dû être réaffectés aux fonds salariaux.

Tableau 11 Nombre d'équivalents temps plein
  Équivalents temps plein
2007-2008 2008-2009 2009-2010 2010-2011 2011-2012 2012-2013
nombre
Prévus – Financement de base 0 13 54 84 78 ...
Réels – Financement de base 2 17 93 96 119 ...
Prévus – Financement par recouvrement des coûts 57 77 0 0 0 ...
Réels – Financement par recouvrement des coûts 69 74 0 0 0 ...

Compromis coût-qualité

L'analyse des données financières concernant les dépenses de fonctionnement (p. ex. équipement et biens) révèle que ce sont les cliniques ou centres d'examen mobiles (CEM) (p. ex. équipement médical et de laboratoire et personnel formé et compétent qui se déplace avec les cliniques) qui représentent les coûts les plus importants du programme. Lorsqu'on examine les biens, on constate que l'équipement médical et de laboratoire constitue la catégorie la plus importante – le coût approximatif d'un CEM s'élève à 335 000 $, soit 35 000 $ pour la remorque et 300 000 $ pour l'équipement qu'elle contient. Il est également clair que les CEM actuellement en activité sont presque tous en fin de vie (leur valeur globale en pourcentage s'établit à 10 %). En conséquence, il pourrait être important de trouver des moyens d'optimiser les coûts et les ressources nécessaires au fonctionnement des CEM pour améliorer le rendement de l'ECMS en termes d'efficience et d'économie.

« Si l'on ne tient compte que d'un des objectifs (par exemple, la biosurveillance), on n'a pas nécessairement besoin de cliniques mobiles partout au pays. Toutefois, si l'on veut brosser un tableau complet  de la santé globale des Canadiens et établir des corrélations avec les mesures en laboratoire, la façon dont l'enquête est conçue est la plus efficiente pour assurer la cohérence des données et permettre de comparer les résultats au fil du temps. »

Personne interviewée

Les gestionnaires responsables du programme et certains spécialistes admettent que le coût de la collecte de mesures directes par l'entremise des CEM est élevé. Ils estiment toutefois qu'il est essentiel de contrôler l'environnement des CEM pour garantir des résultats de qualité supérieure. Même une simple incohérence dans l'environnement – par exemple, les odeurs – peut influer sur les mesures. La qualité des données revêt une importance capitale et est directement liée aux coûts élevés.

En outre, les interviews et l'examen de documents révèlent que la méthode de collecte des mesures dans les cliniques mobiles, même si elle coûte cher, est la même que celle qu'utilisent d'autres pays et d'autres enquêtes (par exemple l'enquête NHANES). Les décisions prises indiquaient que le modèle choisi visait à atteindre le même degré de rigueur et d'uniformité.

Toutefois, certains chercheurs externes, tout en reconnaissant l'importance d'un environnement contrôlé et uniformisé pour la collecte des données, croient toujours qu'il vaut la peine d'examiner d'autres solutions, par exemple le recours à des installations et à des structures locales, afin d'améliorer l'efficience sans compromettre la qualité. Ils ont aussi souligné que l'efficience et l'adaptabilité du programme pourraient être améliorées si les procédures de recrutement étaient plus souples (p. ex. recrutement de personnes n'appartenant pas à la fonction publique, dans la mesure du possible).

Faits à l'appui des efforts des responsables du programme pour réaliser des efficiences

Les résultats des interviews témoignent des efforts des responsables du programme à l'égard de l'exercice d'une bonne gérance et de l'utilisation des ressources de façon économique. Par exemple, en choisissant d'installer les remorques sur des terrains appartenant au gouvernement fédéral ou dans des endroits publics moyennant des frais nominaux plutôt que dans des endroits privés à but lucratif afin de réduire les coûts de location et en sélectionnant des entreprises locales pour la prestation de certains services, par exemple pour l'entretien ou le soutien de la TI, plutôt que d'envoyer du personnel du bureau central. Comme ils l'ont précisé dans le cadre des interviews, les gestionnaires de programme s'efforcent de réduire les heures supplémentaires les déplacements du personnel.

En outre, à mesure que le programme a acquis de la maturité, sa structure de fonctionnement a été remaniée par des fusions. Ces initiatives ont permis de réaliser des économies en réduisant les dépenses au titre des salaires, tout en permettant la mise en place d'un contexte de gestion plus efficient. Les responsables de l'ECMS continuent de réaliser périodiquement des examens opérationnels afin de cerner les efficiences opérationnelles internes qu'il est possible de réaliser.

4.2.2.2 Efficiences possibles découlant du Plan d'action

Les personnes de l'interne et de l'externe interviewées conviennent que l'infrastructure de l'ECMS fournit à SC et à l'ASPC l'occasion de réduire les coûts de leurs programmes. Ils peuvent investir leurs fonds dans des mesures de la santé supplémentaires plutôt que dans la mise en place de leur propre infrastructure parallèle.

« Nous sommes le bureau de statistique national et nous respectons notre mandat. Nous utilisons l'infrastructure nationale existante, bien établie et hautement fonctionnelle. C'est là l'une des définitions de l'efficience. »

Personne de l'interne interviewée

L'ECMS a travaillé en collaboration avec la Direction générale de la santé des Premières Nations et des Inuits (DGSPNI) de SC dans le cadre de l'initiative de biosurveillance de la population des Premières Nations, qui fait partie des responsabilités de la DGSPNI en vertu du Plan d'action. D'après les gestionnaires responsables du programme de l'ECMS, l'utilisation de méthodes, de procédures, d'outils et de laboratoires de référence comparables a permis à la DGSPNI de réaliser des efficiences sur le plan opérationnel, en plus de faciliter la comparabilité des résultats parce que les mesures utilisées pour la population des Premières Nations étaient les mêmes que pour l'ensemble de la population canadienne. Toutefois, les responsables du programme estiment que l'on pourrait encore améliorer la collaboration entre les deux initiatives.

Les chercheurs internes et externes ont suggéré qu'une approche de la recherche axée sur la collaboration permet de mieux combiner les points forts de toutes les parties et d'accroître l'intensité des connaissances et la puissance d'analyse des études. Les chercheurs de Statistique Canada peuvent tirer profit de leur capacité technique, notamment leur facilité d'accès, de manipulation et d'interprétation statistique des données. Les chercheurs externes sont généralement des spécialistes d'un domaine particulier et, en conséquence, sont en mesure d'interpréter, de produire et de partager des résultats avec la collectivité scientifique. Grâce à cette collaboration, l'ECMS contribue à accroître la capacité d'analyse dans le domaine de la santé.

4.2.2.3 Dédoublements, complémentarités et solutions de rechange possibles

Les résultats de l'évaluation montrent que la plupart des informateurs clés estiment que l'ECMS ne chevauche pas d'autres enquêtes provinciales ou internationales. En fait, à l'heure actuelle, il n'y au Canada pas d'autres données d'enquête sur des mesures directes de la santé représentatives à l'échelle nationale. Bien qu'il existe plusieurs enquêtes provinciales (p. ex. Étude sur la santé Ontario), la plupart d'entre elles ne comprennent pas de mesures physiques ou utilisent des échantillonnages autosélectionnés, ce qui, selon les responsables du programme, peut entraîner des biais (p. ex. seules les personnes en santé pourraient choisir de participer). Sur la scène internationale, beaucoup de pays (environ 20) mettent en œuvre des programmes similaires et, selon les interviews des gestionnaires à l'interne, des initiatives visant à comparer les résultats dans chacun des pays ont été entreprises.

Comme il est mentionné plus haut, les faits indiquent également que l'ECMS produit des données complémentaires à celles d'autres types d'enquêtes (p. ex. données autodéclarées, données administratives) réalisées au Canada, et contribuent à valider et à redresser ces données.

Même si tous les informateurs clés estiment que l'ECMS doit être financée par le gouvernement fédéral, certains chercheurs externes ont soulevé la question de la pertinence pour le gouvernement fédéral d'exécuter lui-même toutes les activités au lieu de confier une partie du travail à des sous-traitants. Des modèles de rechange pour la prestation du programme ont été suggérés, notamment l'exécution contractuelle d'une partie des activités de l'ECMS par des organismes non fédéraux; cette solution pourrait toutefois avoir une incidence sur la confiance des répondants à l'égard l'ECMS, ainsi que sur le taux de réponse et la qualité des données de l'ECMS.

5. Conclusions

5.1 Pertinence

L'ECMS est un programme unique au Canada, qui offre des données sur des mesures directes de la santé pour soutenir la recherche, l'élaboration de politiques et la prise de décisions en matière de santé. Il est clair que le programme est pertinent pour les Canadiens et les organismes de santé, et qu'il est nécessaire à l'heure actuelle et continuera de l'être à l'avenir. Même si la majorité des répondants estiment que l'ECMS répond aux besoins actuels et nouveaux en matière de contenu, il n'y a jamais eu de plan de contenu développé pour  l'ECMS.

L'ECMS s'inscrit bien dans les priorités du gouvernement fédéral et de Statistique Canada. Le gouvernement fédéral est le mieux placé pour réaliser l'ECMS, et comme le programme lui permet de s'acquitter de certaines obligations législatives particulières, l'exécution de celui-ci devient une activité légitime, appropriée et nécessaire.

5.2 Rendement – Efficacité

L'ECMS a produit les extrants escomptés et atteint le résultat immédiat attendu, soit rendre disponibles des données fiables et utilisables sur l'état de santé de référence des Canadiens et sur l'importance des contaminants de l'environnement et l'exposition à ces contaminants. On constate certains problèmes en matière d'accessibilité des données, qui risquent de nuire aux résultats à long terme s'ils ne sont pas résolus. Plus particulièrement, même si la majorité des chercheurs connaissent l'existence des données, beaucoup ne savent pas comment y accéder. Les personnes de l'extérieur interviewées corroborent ce point de vue; selon eux, le manque d'accessibilité (ou la complexité de l'accès) constitue un obstacle à l'utilisation des données. Certains informateurs clés ont souligné que les fichiers de microdonnées de l'ECMS n'étaient pas disponibles dans l'Internet, et que les chercheurs doivent s'adresser aux centres de données de recherche (CDR) pour pouvoir utiliser les fichiers de données de l'ECMS. Des chercheurs internes et externes ont soulevé diverses préoccupations concernant les CDR, notamment le manque d'information sur la façon d'accéder aux données et les délais d'approbation des demandes d'accès (qui peuvent aller jusqu'à six mois).

Les résultats de l'évaluation montrent que le grand public, les chercheurs et les utilisateurs de données connaissent l'existence des données de l'ECMS grâce aux publications fondées sur les données du cycle 1. Toutefois, certains problèmes, notamment le « rayonnement » des publications, l'absence de promotion des données de l'ECMS auprès des collectivités scientifiques ont été cités comme des facteurs ne favorisant pas la sensibilisation. Les chercheurs estiment qu'il faut améliorer la communication et la collaboration afin d'éviter d'effectuer des recherches et des analyses en double lorsque des groupes de recherche différents s'intéressent aux mêmes données.

Les résultats de l'évaluation montrent que les données de l'ECMS sont utilisées à des fins de recherche, d'élaboration de politiques et de prise de décisions – soit le résultat ultime attendu. Des chercheurs ont déjà utilisé les données de l'ECMS pour valider les données autodéclarées dans le cadre d'autres enquêtes, ainsi que pour mener des recherches visant à faire des découvertes scientifiques. En outre, les données de l'ECMS sont utilisées pour l'élaboration de politiques et la prise de décisions dans les domaines de l'activité physique, de l'exposition aux contaminants de l'environnement, des marqueurs de la nutrition et de la santé buccodentaire. Il est toutefois encore trop tôt dans le cycle de vie du programme pour constater à grande échelle le plein potentiel de l'ECMS. L'information sur les publications (études) ne fait l'objet d'un suivi qu'à l'interne et n'est pas partagée avec les intervenants externes, ce qui dans certains cas rend la collaboration et la reddition de comptes plus difficiles.

5.3 Rendement – Économie et efficience

La transition d'un financement principalement axé sur le recouvrement des coûts vers un financement de base pour l'ECMS, dans la foulée de la mise en œuvre du Plan d'action de 2008, a contribué à la stabilité de l'enquête, ce qui a eu une incidence positive sur l'ECMS. Cela a notamment permis d'améliorer la planification à long terme et d'explorer les possibilités d'accroître l'efficience opérationnelle. Les résultats de l'évaluation montrent que les ressources humaines et financières consacrées au programme sont suffisantes. Certaines parties externes ont souligné qu'il serait possible d'améliorer l'efficience et l'économie en mettant en œuvre des pratiques de recrutement plus souples et en ayant recours à des cliniques et à des infrastructures locales plutôt qu'à des cliniques mobiles. Bien que ces options méritent d'être examinées, leur faisabilité doit être évaluée en tenant compte du risque qu'elles puissent nuire à la qualité de la collecte de données.

En outre, le recours à l'infrastructure existante de l'ECMS par d'autres partenaires fédéraux permet à ces derniers d'atteindre leurs objectifs de façon efficiente tout en réduisant leur investissement en temps et en argent. En partageant leurs connaissances complémentaires, Statistique Canada, ses partenaires fédéraux et le milieu universitaire accroissent la capacité d'analyse dans le domaine de la santé.

L'ECMS est la seule enquête au Canada portant sur des mesures directes représentatives à l'échelle nationale; elle complète d'autres études canadiennes et internationales. On ne constate donc aucun élément de preuve à l'appui d'un dédoublement des efforts qui pourrait nuire à l'efficience.

6. Recommandations

L'évaluation fait ressortir trois recommandations concernant l'amélioration de la planification et de la coordination avec les divers intervenants en ce qui a trait au contenu et aux études analytiques, l'amélioration de l'accès aux données de l'ECMS et le renforcement des capacités de mesure systématique du rendement afin de démontrer l'atteinte des résultats.

Recommandation 1 – Pertinence

On recommande que les gestionnaires responsables de l'ECMS améliorent la planification et la coordination externe avec les chercheurs et les intervenants – tant à l'interne au sein du gouvernement fédéral qu'à l'externe auprès des chercheurs du milieu universitaire – en ce qui concerne la détermination du contenu (plan relatif au contenu) et la planification de la recherche analytique fondée sur le contenu.

Recommandation 2 – Rendement

On recommande aux gestionnaires responsables de l'ECMS d'améliorer la sensibilisation et l'accès aux données en faisant la promotion de l'ECMS auprès d'un public élargi de clients et d'utilisateurs potentiels et en offrant un soutien pour l'utilisation des données.

Recommandation 3 – Mesures du rendement

On recommande aux gestionnaires responsables de l'ECMS d'améliorer le système de mesure du rendement, en tant qu'outil, afin de recueillir systématiquement des données sur le rendement et de surveiller les progrès réalisés à l'égard des résultats attendus.

3a) Amélioration des données

Pour évaluer avec précision l'atteinte du résultat ultime et l'impact de l'ECMS, on recommande aux gestionnaires responsables de l'ECMS de veiller à ce qu'un suivi formel, tel que le système de gestion des relations clients (SGRC), des publications et des études reposant sur les données de l'ECMS soit effectué afin de confirmer l'utilisation des données. Ces renseignements sur les publications qui utilisent les données de l'ECMS devraient être communiqués régulièrement aux chercheurs et aux autres parties intéressées afin d'améliorer la coordination externe.

3b) Données financières

On recommande que l'information financière exacte soit mise à disposition par la Direction des finances pour appuyer la collecte de données sur le rendement de l'ECMS afin de démontrer le degré d'efficience de l'ECMS au fil du temps et de soutenir les rapports sur la prise de décisions et la reddition de comptes.

7. Réponse de la direction et plan d'action

Recommendation 1

Pertinence :
On recommande que les gestionnaires responsables de l'ECMS améliorent la planification et la coordination externe avec les chercheurs et les intervenants – tant à l'interne au sein du gouvernement fédéral qu'à l'externe auprès des chercheurs du milieu universitaire – en ce qui concerne la détermination du contenu (plan relatif au contenu) et la planification de la recherche analytique fondée sur le contenu.

Énoncé d'accord ou de désaccord

La direction est d'accord avec la recommandation.

Réponse de la direction

L'évaluation confirme l'objectif stratégique de la direction pour le présent exercice, qui constitue en l'élaboration d'un plan de contenu à plus long terme pour l'ECMS afin de garantir la pertinence soutenue de l'enquête. Les travaux sont déjà commencés et seront achevés au cours des 12 prochains mois. En outre, l'évaluation montre qu'une meilleure planification des travaux d'analyse dans les trois organismes fédéraux – Statistique Canada, ASPC et Santé Canada – constituerait un nouvel objectif stratégique valable. Le mandat d'un nouveau groupe de travail d'analyse de l'ECMS, qui sera présidé par Statistique Canada et formé de représentants de l'ASPC et de Santé Canada, a déjà été élaboré.

Recommendation 1
Calendrier Produits livrables Responsable
1er janvier 2014 Plan de contenu de huit ans Directeur, Division de la statistique de la santé (DSS)
1er avril 2013 Groupe de travail d'analyse de l'ECMS, avec l'ASPC et Santé Canada Directeur, DSS

Recommendation 2

Rendement :
On recommande aux gestionnaires responsables de l'ECMS d'améliorer la sensibilisation et l'accès aux données en faisant la promotion de l'ECMS auprès d'un public élargi de clients et d'utilisateurs potentiels et en offrant un soutien pour l'utilisation des données

Énoncé d'accord ou de désaccord

La direction est d'accord avec la recommandation.

Réponse de la direction

L'évaluation montre clairement que l'augmentation de l'utilisation de l'ECMS et l'amélioration de la sensibilisation à l'ECMS constituent des objectifs importants. La direction convient que les activités à cet égard pourraient être intensifiées, et a élaboré trois initiatives claires afin de mieux promouvoir et soutenir l'utilisation de l'ECMS. En premier lieu, nous avons commencé à former du personnel supplémentaire du secteur des Services à la clientèle de la DSS pour répondre aux demandes des clients externes qui souhaitent obtenir des renseignements sur l'ECMS ou des tableaux personnalisés des données de l'ECMS. En deuxième lieu, la direction élabore un plan de communication visant à accroître le degré de sensibilisation aux données de l'ECMS disponibles dans les CDR et aux échantillons de la biobanque mis à la disposition des chercheurs. En troisième lieu, la direction envisage la possibilité d'organiser un plus grand nombre d'ateliers à travers le pays afin d'améliorer la capacité des utilisateurs à analyser les données de l'ECMS. Cette dernière stratégie exige toutefois des ressources pour payer les frais de déplacement et les frais supplémentaires associés à la tenue de tels ateliers. La réalisation de cet objectif dépendra de notre capacité à trouver des ressources suffisantes pour accroître le nombre d'ateliers offerts au cours des deux prochaines années.

Recommendation 2
Calendrier Produits livrables Responsable
1er avril 2013 Deux employés supplémentaires formés Directeur, DSS
30 avril 2013 Plan de communications Directeur, DSS
En permanence Ateliers Directeur, DSS

Recommendation 3

Mesures du rendement
On recommande aux gestionnaires responsables de l'ECMS d'améliorer le système de mesure du rendement, en tant qu'outil, afin de recueillir systématiquement des données sur le rendement et de surveiller les progrès réalisés à l'égard des résultats attendus.

3a) Amélioration des données
Pour évaluer avec précision l'atteinte du résultat ultime et l'impact de l'ECMS, on recommande aux gestionnaires responsables de l'ECMS de veiller à ce qu'un suivi formel, tel que le système de gestion des relations avec les clients (SGRC), des publications et des études reposant sur les données de l'ECMS soit effectué afin de confirmer l'utilisation des données. Ces renseignements sur les publications qui utilisent les données de l'ECMS devraient être communiqués régulièrement aux chercheurs et aux autres parties intéressées afin d'améliorer la coordination externe.

3b) Données financières
On recommande que l'information financière exacte soit mise à disposition par la Direction des finances pour appuyer la collecte de données sur le rendement de l'ECMS afin de démontrer le degré d'efficience de l'ECMS au fil du temps et de soutenir les rapports sur la prise de décisions et la reddition de comptes.

Énoncé d'accord ou de désaccord

3a) La direction est d'accord avec la recommandation
3b) La direction est d'accord avec la recommandation

Réponse de la direction

3a) La direction a déjà mis en place un système de suivi adéquat des publications et des études fondées sur les données de l'ECMS; ces renseignements ne sont toutefois pas systématiquement partagés avec les chercheurs externes. La direction propose donc de publier la liste dans son site Web externe sur l'ECMS et de la mettre à jour chaque année.

3b) La direction entreprend un examen opérationnel de la Section des opérations de l'ECMS pour s'assurer que les processus et les pratiques sont optimaux. Cet examen sera réalisé au cours des six prochains mois et débouchera sur la mise en œuvre d'indicateurs de rendement qui permettront de mesurer l'efficience du programme.

Plan d'action de la direction des finances:
La Direction des finances élaborera des rapports standards et les indicateurs financiers à l'appui de tous les programmes. L'organisation dispose déjà d'informations financières détaillées qui peuvent être facilement mis en forme pour mieux répondre aux besoins d'évaluation des programmes et disponibles en temps opportun. La détermination du format et les éléments à mesurer seront élaborés et validés en collaboration avec les gestionnaires de programme et le groupe d'évaluation ministériel. La recommandation finale sera présentée et approuvée par le Comité des pratiques administratives.

Recommendation 3
Calendrier Produits livrables Responsable
Décembre 2013 Liste de suivi sur le site Web Directeur, DSS
Septembre 2013 Rapport d'examen opérationnel Directeur, DSS
Janvier 2014 Indicateurs d'efficience Directeur, DSS
Direction des finances – Plan d'action
Calendrier Produits livrables Responsable
Mars 2014 Principaux indicateurs standardisés financiers du programme approuvés. DG, Finances
Conformément au plan pour le développement de la Stratégie de MR du programme (voir PVEBR). Revu et ajustement de la structure de codage financier pour soutenir le cadre de mesure de rendement du programme. DG, Finances et Directeur, DSS
Direction des communications – Plan d'action
Calendrier Produits livrables Responsable
Janvier 2014 Développement d'un système de suivi formel DG, Communications

Figures

Figure 1 : Modèle logique de l'Enquête canadienne sur les mesures de la santé

Modèle de la Santé Enquête canadienne sur les mesures Logic
Description : Figure 1 Modèle logique de l'Enquête canadienne sur les mesures de la santé

Annexes

  • Annexe 1: Schéma des processus de l'Enquête canadienne sur les mesures de la santé
  • Annexe 2: Modèle logique composite pour toutes les activités prévues dans le Plan d'action
  • Annexe 3: Matrice d'évaluation de l'Enquête canadienne sur les mesures de la santé (ECMS)
  • Annexe 4: Liste des publications qui ont fait partie de l'examen de la documentation

Toutes les annexes sont disponibles sur demande. S'il vous plaît contacter DVE-Pratiques-Professionnelles@statcan.gc.ca

Notes:

Footnote 1

Pour en savoir davantage à propos du CER conjoint de SC et de l'ASPC, consultez le site Web http://www.hc-sc.gc.ca/sr-sr/advice-avis/reb-cer/index-fra.php

Return to footnote 1 referrer

Footnote 2

Site Web du CER : http://www.hc-sc.gc.ca/sr-sr/advice-avis/reb-cer/index-fra.php.

Return to footnote 2 referrer

Footnote 3

Le financement de base de l'ECMS comprend seulement le budget de fonctionnement et exclut le régime d'avantages sociaux des employés et les frais des locaux de TPSGC.

Return to footnote 3 referrer

Footnote 4

Dans son Rapport annuel 2010 sur l'état de la fonction d'évaluation, le SCT insiste sur l'importance du calibrage des évaluations; dans ce contexte, le « calibrage » consiste en la détermination du juste équilibre entre l'ampleur des efforts d'évaluation et le contexte d'évaluation (p. ex. importance relative du programme, risques qui y sont associés, etc.) (p. 40).

Return to footnote 4 referrer

Footnote 5

Le secteur de programme a été en mesure de fournir les noms de ses partenaires et clients auprès de qui les coûts sont recouvrés, les noms des chercheurs qui ont eu accès aux fichiers partagés à SC et à l'ASPC ainsi que les noms de ceux qui ont demandé à un CDR l'accès aux fichiers de données de l'ECMS. Il est fort probable que les noms obtenus ne correspondent pas à la liste exhaustive de toutes les personnes qui ont été exposées aux données.

Return to footnote 5 referrer

Footnote 6

Tremblay, M.S. (2004). « Le besoin de mesures concrètes de la santé au Canada », Revue canadienne de la santé publique, 95: 165-8.

Return to footnote 6 referrer

Footnote 7

Connor Gorber, S., M.S. Tremblay, D. Moher et al. (2007). « A comparison of direct versus self­report measures for assessing height, weight and body mass index: a systematic review », Obesity Reviews, 8: 307­26.

Return to footnote 7 referrer

Footnote 8

Statistique Canada. Enquête canadienne sur les mesures de la santé : raison d'être, contexte et aperçu, Rapports sur la santé : Documents de référence de l'Enquête canadienne sur les mesures de la santé, numéro spécial, supplément du n° 18, décembre 2007.

Return to footnote 8 referrer

Footnote 9

www.cdpac.ca

Return to footnote 9 referrer

Footnote 10

http://www.hc-sc.gc.ca/francais/soins/romanow/hcc0086.html

Return to footnote 10 referrer

Footnote 11

Statistique Canada. Enquête canadienne sur les mesures de la santé : raison d'être, contexte et aperçu. Rapports sur la santé : Documents de référence de l'Enquête canadienne sur les mesures de la santé, numéro spécial, supplément du n° 18, décembre 2007. N° de catalogue 82-003-XIF2007101

Return to footnote 11 referrer

Footnote 12

Centers for Disease Control, National Center for Health Statistics, National Health and Nutrition Examination Survey, disponible à l'adresse : http://www.cdc.gov/nchs/nhanes.htm (document consulté le 1er janvier 2007)

Return to footnote 12 referrer

Footnote 13

Le programme de la NHANES a été lancé au début des années 60 et comprend une série d'enquêtes axées sur différents groupes de population ou sujets relatifs à la santé. En 1999, l'enquête est devenue un programme permanent portant sur diverses mesures de la santé et de la nutrition et dont l'objet varie selon les besoins émergents. L'enquête porte chaque année sur un échantillon national représentatif d'environ 5 000 personnes (source : www.cdc.gov/nchs/nhanes)

Return to footnote 13 referrer

Footnote 14

Kuczmarski, R.J., C.L. Ogden, S.S. Guo et al., « 2000 CDC Growth Charts for the United States: methods and development », Vital Health Statistics, 11(246), 2002, p. 1­190.

Return to footnote 14 referrer

Footnote 15

National Center for Health Statistics, National Health and Nutrition Examination Survey Data Accomplishments, disponible à l'adresse : www.cdc.gov/nchs/about/major/nhanes/DataAccomp.htm (document consulté le 1er juin 2007)

Return to footnote 15 referrer

Footnote 16

D.W. Dunstan, P.Z. Zimmet, T.A. Welborn et al. « The rising prevalence of diabetes and impaired glucose tolerance », Diabetes Care, 2002, 25: 829­834.

Return to footnote 16 referrer

Footnote 17

A. Aromaa, S. Koskinen et J. Huttunen. Health in Finland, KTL – National Public Health Institute, Ministry of Social Affairs and Health. Helsinki (Finlande), Edita Ldt., 1999.

Return to footnote 17 referrer

Footnote 18

A. Aromaa, S. Koskinen (sous la direction de), Health and Functional Capacity in Finland, Baseline Results of the Health 2000 Health Examination Survey, Helsinki, Finland, KTL – National Public Health Institute, 2004

Return to footnote 18 referrer

Footnote 19

Statistique Canada. Enquête canadienne sur les mesures de la santé : raison d'être, contexte et aperçu, Rapports sur la santé : Documents de référence de l'Enquête canadienne sur les mesures de la santé, numéro spécial, supplément du n° 18, décembre 2007.

Return to footnote 19 referrer

Footnote 20

Ces besoins ont été définis à partir des préférences et des suggestions des personnes interviewées. On sait toutefois que certains éléments sont déjà en place (p. ex. la possibilité de coupler des enregistrements), alors que d'autres ne s'inscrivent pas dans la portée d'une enquête nationale représentative comme l'ECMS.

Return to footnote 20 referrer

Footnote 21

Les médecins et les professionnels de la santé utilisent diverses lignes directrices pour interpréter l'état de santé des patients et déterminer les traitements appropriés. Les données de l'ECMS constituent des données de référence représentatives de la population canadienne pour l'élaboration et la mise à jour de certaines de ces lignes directrices (p. ex. guide d'interprétation du plomb dans le sang et lignes directrices sur l'apport d'acide folique chez les femmes en âge de procréer). En l'absence de données de référence nationales représentatives sur la santé de la population canadienne, de telles lignes directrices doivent reposer sur les données ou les pratiques d'autres pays, comme les États-Unis.

Return to footnote 21 referrer

Footnote 22

Dans le cadre de l'étude d'un problème de santé éventuel, les chercheurs doivent comparer l'objet de leur recherche à un état de santé « normal » (par exemple, pour confirmer l'importance d'un problème ou évaluer l'effet d'une intervention). D'après les chercheurs, les données de l'ECMS fournissent un groupe témoin représentatif de la population canadienne typique pour de telles études, et sont « extrêmement utiles aux chercheurs dans de nombreux domaines ». 

Return to footnote 22 referrer

Footnote 23

Les activités de collecte de données dans le cadre de l'ECMS comprennent le prélèvement d'échantillons de sang et d'urine des répondants, qui sont ensuite entreposés dans une biobanque au Laboratoire national de microbiologie, à Winnipeg. Des lignes directrices et des protocoles rigoureux conformes à la Loi sur la statistique et aux règlements du Comité d'éthique de la recherche de SC sont en place pour garantir la confidentialité, la sécurité et l'accès approprié aux échantillons. L'accès aux échantillons de la biobanque est offert depuis juin 2012 et est réglementé par le Comité de la biobanque.

Return to footnote 23 referrer

Footnote 24

Les mesures de biosurveillance comprennent des mesures de l'exposition aux contaminants de l'environnement, mais aussi des biomarqueurs relevant d'autres volets de la santé.

Return to footnote 24 referrer

Footnote 25

Les détails ont déjà été présentés au tableau 5.

Return to footnote 25 referrer

Footnote 26

Ces préoccupations ne concernaient pas que l'ECMS; elles visaient toutes les enquêtes exigeant le recours à un CDR.

Return to footnote 26 referrer

Footnote 27

L'évaluation de l'efficience et de l'économie du programme de l'ECMS a présenté quelques défis. La pratique constituant à compiler les données financières en fonction de l'exercice plutôt que du cycle, l'absence de données de référence sur les coûts et les ressources utilisées (à cause du caractère novateur et unique de l'ECMS au Canada) et le manque de temps et de ressources d'évaluation pour effectuer une comparaison avec des enquêtes similaires menées dans d'autres pays ont notamment eu des répercussions sur le caractère intégral et concluant de l'évaluation.

Return to footnote 27 referrer

Date de modification :