Évaluation du Programme de la statistique de la santé
de 2011-2012 à 2015-2016

Sommaire et Réponse et plan d'action de la direction

Février 2017

Sommaire

La Division de l'évaluation et des pratiques professionnelles (DEPP) de la Direction de l'audit et de l'évaluation de Statistique Canada a réalisé une évaluation indépendante du Programme de la statistique de la santé (PSS), y compris, de manière exclusive, les activités de la Division de la statistique de la santé. Les résultats ont permis d'obtenir des renseignements objectifs et de formuler des recommandations à l'appui de l'amélioration du programme, ainsi que d'éclairer les décisions futures de Statistique Canada et du Parlement en ce qui a trait à la gestion des ressources et des programmes par le gouvernement.

L'évaluation a été conçue et menée conformément à la Politique sur l'évaluation (2009) du Conseil du TrésorNote de bas de page 1 (CT) et aux normes et aux directives connexes, et elle respecte un engagement de responsabilisation énoncé dans le Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (de 2013-2014 à 2015-2016).

Constatations

Dans l'ensemble, le Programme de la statistique de la santé (PSS) a répondu aux besoins et aux priorités dans les limites de son budget, et a atteint les résultats attendus, c'est-à-dire fournir l'accès à de l'information statistique pertinente et de grande qualité afin d'éclairer le débat public, la prise de décisions et la recherche.

Pertinence : Les résultats de l'évaluation démontrent un besoin continu pour le programme. Étant donné que les données probantes sont essentielles dans une société fondée sur le savoir, de l'information statistique actuelle, accessible et pertinente sur la santé des Canadiens est nécessaire.

La prestation du PSS par le gouvernement fédéral cadre avec ses rôles et responsabilités, puisqu'elle permet une intervention directe à l'égard des déterminants sociaux de la santé pour favoriser la justice sociale et l'équité en matière de santé. Statistique Canada est l'un des cinq organismes fédéraux qui appuient le gouvernement fédéral dans son mandat relativement à la santé. De plus, la santé et le bien-être des Canadiens ont été cernés comme une priorité dans tous les budgets fédéraux de 2011 à 2015. Le discours du Trône de 2011 soulignait l'importance de la collaboration entre les partenaires clés. Les conclusions de l'évaluation ont confirmé la correspondance des activités du PSS aux besoins et priorités les plus urgents dans les secteurs de responsabilité du PSS.

Rendement : L'incidence potentielle du programme est directement corrélée à la qualité et à la pertinence de l'information statistique produite. À cet égard, l'évaluation présente des conclusions sur chaque dimension de la qualité de l'information statistique jusqu'à l'étendue de son utilisation.

  • Exactitude : Les conclusions de l'évaluation ont confirmé que l'information statistique du PSS est exacte en dépit des difficultés liées au repli des taux de réponse. L'exclusion de groupes démographiques et de régions géographiques clés a été mentionnée comme un obstacle possible à la généralisabilité de la recherche et à l'élaboration de politiques et de programmes appropriés ciblant ces groupes et régions.
  • Actualité : Dans l'ensemble, le PSS s'est heurté à quelques difficultés pour respecter certaines dates de diffusion prévues, en particulier pour ce qui est de la statistique de l'état civil, des produits sur le cancer et de l'ESCC – Nutrition. Toutefois, les produits pour deux des principales composantes, l'ESCC annuelle et l'ECMS, ont été diffusés à temps en grande partie. Le problème d'actualité a eu une incidence sur la satisfaction des utilisateurs et sur la capacité de réponse du PSS.
  • Accessibilité : Les conclusions de l'évaluation ont confirmé que l'accessibilité, en ce qui a trait à la disponibilité des produits et les modes d'accès, s'est accrue et améliorée au fil du temps, et que les produits sont d'intérêt. L'impression générale est que les mécanismes de diffusion de l'information sont fonctionnels et qu'ils répondent aux besoins de base des utilisateurs. Toutefois, il a été suggéré que Statistique Canada pourrait ou devrait en faire plus pour faciliter l'accès. Les répondants clés ont soulevé des enjeux relatifs à l'accessibilité, y compris des problèmes associés aux dispositions relatives à la confidentialité et à la protection des renseignements personnels dans la Loi sur la statistique, les accords de partage de données (APD), les centres de données de recherche (CDR) et le site Web de Statistique Canada.
  • Cohérence : Bien que certaines décisions relativement à des changements aux enquêtes aient été prises au fil du temps, il n'y a pas d'enjeux de cohérence de l'information statistique du PSS. Des renseignements supplémentaires sont fournis pour répondre aux besoins d'information des utilisateurs en ce qui a trait aux changements et à leur incidence sur la cohérence. La direction du PSS s'est engagée à gérer la cohérence ainsi le compromis entre la cohérence et la pertinence est bien réalisé dans le processus décisionnel.
  • Intelligibilité : Les conclusions de l'évaluation ont confirmé que l'intelligibilité de l'information statistique du PSS est réputée adéquate, en particulier en raison des métadonnées et de la documentation de haute qualité. Le PSS a fourni aux utilisateurs de données la documentation nécessaire sous la forme d'information de référence.
  • Pertinence des données : L'analyse a démontré que le PSS consulte ses intervenants afin de cerner les besoins et les exigences changeants ou émergents des utilisateurs, ainsi que les lacunes statistiques potentielles, et conséquemment, que des mesures ont été prises. L'évaluation a permis de constater que le PSS dans son ensemble, avec ses programmes d'enquête et ses ensembles de données administratives, est en mesure de fournir de l'information statistique sur la santé qui répond aux besoins et aux priorités des intervenants. Toutefois, malgré les efforts constants déployés par le PSS pour répondre aux besoins des intervenants dans le cadre de consultations et d'examens, certaines lacunes sont ressorties de l'évaluation. Les besoins fréquents et émergents exprimés concernaient le concept des mégadonnées et des déterminants de la santé, le manque de données géographiques et la nécessité accrue de couplage de données administratives et de données longitudinales. Parmi les autres besoins cernés, mentionnons les suivants :
    • la recherche sur l'équité en matière de santé, les déterminants sociaux de la santé et le concept plus large du bien-être;
    • les données, plus de données ou une collecte de données plus fréquente sur des sujets particuliers, y compris l'exposition environnementale, l'usage pharmaceutique, les incapacités, la santé mentale, l'institutionnalisation, la nutrition (surtout les habitudes de consommation), les besoins des réfugiés en matière de santé, les besoins des anciens combattants en matière de santé, le vieillissement, les anomalies congénitales, le dépistage du cancer, la santé des enfants et la santé des Premières Nations;
    • les données et la recherche qui tiennent compte des résultats en matière de santé;
    • la recherche axée sur le patient;
    • les plus gros échantillons d'enquête, et l'inclusion de groupes démographiques et de régions clés;
    • les technologies pour la mesure humaine (p. ex., les technologies pour mesurer l'exposition aux produits chimiques chez les humains et le génotypage).

Utilisation de l'information statistique : Dans l'ensemble, les données du PSS sont utilisées par tous les niveaux de gouvernement pour s'acquitter de leur mandat et de leurs responsabilités, par les chercheurs, par des organismes internationaux, par les organismes non gouvernementaux et par les Canadiens. À Statistique Canada, les données du PSS alimentent d'autres programmes de statistique et de recherche.

Efficience et économie : Les résultats de l'évaluation confirment l'engagement et les pratiques exemplaires de la direction du PSS pour offrir des résultats de qualité qui répondent à l'ensemble des besoins et des priorités. Cependant, certains enjeux liés aux partenariats avec des intervenants fédéraux clés et à la collaboration avec les provinces et les territoires, ainsi qu'un repli des taux de réponse et des difficultés technologiques, ont été mentionnés comme des facteurs clés qui entravent l'efficience et les résultats du programme (p. ex., l'actualité).

De plus, les résultats provisoires du projet pilote lancé en 2013-2014 pour donner suite aux recommandations de l'évaluation précédente de l'ECMS semblent prometteurs. Le projet permet de recueillir les renseignements financiers par cycle d'enquête en fonction des processus et des activités dans le but d'améliorer la mesure de l'efficience. Les résultats ont confirmé que l'approche permettra une analyse des dépenses (coûts) d'un cycle d'enquête par rapport à un autre cycle, en fonction de l'étape du processus d'enquête.

Conclusions et pistes de recommandations

Dans l'ensemble, le PSS a répondu aux besoins et aux priorités dans les limites de son budget, et a produit les résultats attendus, c'est-à-dire fournir l'accès à de l'information statistique pertinente et de haute qualité afin d'éclairer le débat public, le processus décisionnel et la recherche.

D'après les conclusions de l'évaluation, on reconnaît que le programme doit veiller à ce que la pertinence de l'information statistique soit maintenue en se concentrant continuellement sur l'analyse des besoins par rapport à la capacité (populations sondées, déterminants de la santé, fréquence de la collecte pour certains thèmes). Enfin, le défi qu'impose la diminution des taux de réponse pour l'exactitude doit rester un enjeu prioritaire pour la planification.

Rendement (actualité)

Les conclusions de l'évaluation démontrent que le PSS a eu du mal à respecter les dates de diffusion en ce qui concerne la statistique de l'état civil et du cancer.

Recommandation 1 :

Dans le contexte de la relation avec les fournisseurs de données provinciaux et territoriaux, il est recommandé que le Programme de la statistique de la santé prenne des mesures pour améliorer l'actualité de l'information statistique sur l'état civil et le cancer afin de respecter les dates de diffusion prévues et de s'acquitter de son mandat.

Rendement et efficience (partenariats)

Des enjeux ont été soulevés relativement à la relation actuelle avec les partenaires fédéraux, particulièrement : 1) une détérioration apparente de la relation de partenariat au cours des dernières années, qui ressemble maintenant davantage à une relation client; 2) un manque de participation et de partage de l'information dans le processus décisionnel; 3) des difficultés concernant les accords de partage de données.

Recommandation 2 :

Il est recommandé que le Programme de la statistique de la santé collabore avec ses partenaires fédéraux afin d'améliorer l'approche de partenariat. Plus précisément, il s'agit de collaborer avec les partenaires pour revoir la structure de gouvernance actuelle à l'égard des rôles et des responsabilités, du processus décisionnel, des communications et des attentes relatives au partage de données.

Réponse et plan d'action de la direction

Recommandation nº 1 – Rendement (actualité)

Dans le contexte de la relation avec les fournisseurs de données provinciaux et territoriaux, il est recommandé que le Programme de la statistique de la santé prenne des mesures pour améliorer l'actualité des renseignements statistiques sur l'état civil et le cancer afin de respecter les dates de diffusion prévues et de s'acquitter de son mandat. 

Déclaration d'accord ou de désaccord

Accord

Réponse de la direction

La direction reconnaît qu'il y a eu des problèmes d'actualité à l'égard des programmes de la statistique de l'état civil et du cancer, lesquels reposent sur des dossiers administratifs provenant des provinces et des territoires.

Statistiques sur le cancer

Après la publication des données sur le cancer de 2014 en février 2017, le programme des statistiques sur le cancer retournera à un calendrier de publication régulier aussi actuel que possible en fonction des données fournies par les partenaires provinciaux et territoriaux. Des partenaires ont indiqué qu'il n'est pas possible pour eux d'adopter un calendrier plus ambitieux. Deux provinces ont indiqué qu'elles ne seraient pas en mesure de fournir les données de 2015 dans les délais prévus par le calendrier initial proposé. La direction établit des stratégies pour gérer la question de données manquantes ou incomplètes provenant des provinces et des territoires, ce qui pourrait notamment inclure la possibilité de publier uniquement les données des partenaires ayant répondu.

Statistique de l'état civil

Le retard dans la publication des données de la statistique de l'état civil sera résorbé en 2017, avec un retour aux publications en temps opportun en 2018. À partir de 2018, les données de la statistique de l'état civil seront diffusées de 10 à 11 mois après la fin de la période de référence. Non seulement cela signifie-t-il que le programme a éliminé les retards de traitement, mais cela constituera également une amélioration significative par rapport aux échéanciers passés, où les données étaient diffusées de 18 à 24 mois après l'année de référence.

Le retard observé dans le traitement était attribuable à des difficultés rencontrées au moment de procéder à la transition des données administratives dans le système de traitement générique des enquêtes sociales. Cela s'est avéré très problématique puisque ce système n'a pas été conçu pour traiter les données administratives. Il a donc été nécessaire d'élaborer des approches de traitement différentes afin d'assurer un traitement plus opportun.

En outre, le Système national d'acheminement (SNA), ayant le potentiel de fournir en continu et en temps quasi réel des chiffres liés aux événements, est presque complètement mis en place. Les renseignements plus complexes, comme les causes de décès et les décès nécessitant des enquêtes de coroners, particulièrement, ne sont pas toujours disponibles en temps quasi réel.

Les données sur les causes de décès sont codées à Statistique Canada pour toutes les provinces et tous les territoires à l'exception de l'Ontario, de la Colombie-Britannique et du Québec. La parution des données sur les décès et les causes de décès dépendent de la disponibilité des données sur les causes de décès codées provenant de ces trois secteurs de compétence. Il existe actuellement un décalage dans la disponibilité des données sur les causes de décès de l'Ontario et du Québec, ce qui peut avoir une incidence sur notre capacité à diffuser les données conformément au calendrier.

En 2017, les accords sur la statistique de l'état civil seront signés et le SNA sera mis en place pour toutes les autres provinces et tous les autres territoires.

Tableau 1 - Recommandation nº 1
Échéancier Réalisations attendues Responsable
Statistiques sur le cancer :
  • Février 2017 : cancer, 2014
  • Janvier 2018 : cancer, 2015
  • Janvier 2019 : cancer, 2016
Diffusions annuelles actuelles des statistiques sur le cancer Section des statistiques sur le cancer, Division de la statistique de la santé
Statistiques de l'état civil :
2017
  • Décembre 2017 : tous les événements de 2014
2018
  • Février 2018 : décès et causes de décès, 2015
  • Avril 2018 : naissances et mortinaissances, 2015-2016
  • Août 2018 : tous les événements de 2016 (les causes de décès peuvent dépendre de la disponibilité des données de l'Ontario)
  • Décembre 2018 : tous les événements de 2017 (données provisoires)

Retard rattrapé en 2017

La diffusion annuelle en temps voulu des données de la statistique de l'état civil passera à une diffusion des données de 10 à 11 mois après la fin de la période de référence.
Section de la statistique de l'état civil, Division de la statistique de la santé
Statistiques de l'état civil :
  • D'ici 2017, les accords sur les statistiques de l'état civil seront signés et le SNA sera mis en place pour toutes les autres provinces et tous les autres territoires.

Signature de tous les accords

Mise en œuvre complète du SNA
Section de la statistique de l'état civil, Division de la statistique de la santé

Recommandation nº 2 – Rendement et efficience (partenariats)

Il est recommandé que le Programme de la statistique de la santé collabore avec ses partenaires fédéraux afin d'améliorer l'approche de partenariat. Plus précisément, il s'agit de collaborer avec les partenaires pour revoir la structure de gouvernance actuelle à l'égard des rôles et des responsabilités, du processus décisionnel, des communications et des attentes relatives au partage de données.

Déclaration d'accord ou de désaccord

Accord

Réponse de la direction

Une nouvelle structure de gouvernance est en cours d'élaboration pour le Programme de la statistique de la santé.

Ensemble, Statistique Canada, Santé Canada et l'Agence de la santé publique du Canada composent le Programme des statistiques sur la santé de la population canadienne (PSSPC) qui régit l'Enquête sur la santé dans les collectivités canadiennes, y compris le contenu thématique, ainsi que l'Enquête canadienne sur les mesures de la santé. Lors de la réunion de décembre 2016 du comité directeur du PSSPC, les sous-ministres adjoints ont convenu de moderniser la lettre d'entente interministérielle du PSSPC et de revoir la structure de gouvernance. Une première à l'échelle du directeur général (DG) a eu lieu le 11 janvier 2017 en vue de réaliser ces objectifs.

Tableau 2 - Recommandation nº 2
Échéancier Réalisations attendues Responsable
Décembre 2017 Nouvelle lettre d'entente interministérielle (LEI), y compris un nouveau modèle de gouvernance

La nouvelle LEI expliquera en détail les rôles et les responsabilités des partenaires, le processus décisionnel et les communications. Elle apportera davantage de précision à l'égard des accords de partage.
SCA, Statistique sociale, santé et travail

Comité directeur du Programme des statistiques sur la santé de la population canadienne (PSSPC), formé des sous-ministres adjoints de Santé Canada, de l'Agence de la santé publique du Canada et de Statistique Canada.
Mars 2018 Révision du fonctionnement de la nouvelle LEI

La révision sera consignée dans le procès-verbal de la réunion des DG de mars 2018. Elle présentera les résultats de la nouvelle LEI et formulera des recommandations pour l'avenir si nécessaire.
DG, Santé, Justice et Enquêtes spéciales

Comité du PSSPC à l'échelle des DG

Notes de bas de page

Note de bas de page 1

La Politique sur les résultats (2016) a remplacé la Politique sur l'évaluation.

Retour à la référence de la note de bas de page 1

Date de modification :