Audit d'assurance de la qualité - Indice des prix à la consommation
Novembre 2024
Numéro de projet : 80590-139
Table des matières
Résumé
Le programme de l'Indice des prix à la consommation (IPC) est un programme essentiel au mandat qui est nécessaire pour mener à bien le mandat de base de Statistique Canada prévu par la loi. L'IPC est souvent utilisé comme un indicateur général de l'inflation au Canada et les Canadiens sont très nombreux à le connaître, à le citer et à y faire confiance.
La production mensuelle de l'IPC suit un processus de flux de données itératif dans le cadre duquel des validations et des vérifications de la qualité se produisent à différentes étapes de l'ensemble du processus. Pour respecter les dates de publication préannoncées, le programme de l'IPC doit suivre un horaire de production serré. De plus, en raison de sa large utilisation aux fins d'indexation, l'IPC ne fait l'objet d'aucune révision.
L'IPC est mesuré en fonction d'un panier de biens de consommation et de services. Des poids sont attribués aux groupes de produits du panier de l'IPC dans le cadre d'un processus de mise à jour du panier qui se déroule chaque année. Ces poids du panier sont ensuite appliqués lors du calcul de l'IPC mensuel.
L'organisme a élaboré une approche structurée pour obtenir des résultats statistiques de grande qualité comme décrit dans son Cadre d'assurance de la qualité et dans les Lignes directrices concernant la qualité complémentaires. Ensemble, ces outils de base déterminent les éléments de qualité concernant la production de statistiques officielles. Bien qu'il existe des lignes directrices et des listes de contrôle pratiques, l'expertise, le jugement et l'ensemble de compétences uniques du personnel demeurent essentiels — toutes les activités faisant partie du processus de production doivent démontrer une préoccupation pour la qualité.
L'organisme a également élaboré la Directive sur la validation des produits statistiques et les Lignes directrices sur la validation des produits statistiques connexes, qui visent à renforcer l'assurance de la qualité et à appuyer la qualité des produits statistiques. Ces instruments fournissent une orientation et des conseils pratiques au sujet de la validation — une vérification finale et très importante de la qualité par laquelle les produits statistiques doivent passer avant la diffusion. Cette vérification finale remet en question la validité des données statistiques, afin de s'assurer qu'elle ne comporte pas d'erreurs de conception ou d'exécution non décelées.
Enfin, le Manuel de l'Indice des prix à la consommation : Concepts et méthodes du Fonds monétaire international donne un aperçu exhaustif des méthodes et des pratiques dont les organisations nationales de la statistique devraient tenir compte. Les normes internationales qu'il renferme fournissent des lignes directrices sur les pratiques exemplaires et font la promotion de la qualité et de la comparabilité internationale des IPC nationaux.
Pourquoi est-ce important?
Divers intervenants se basent sur l'IPC, tels que les gouvernements, les entreprises, la Banque du Canada, le Système de comptabilité nationale et le milieu universitaire. L'un des principes de base au cœur du programme statistique de l'organisme est la qualité — un engagement qui contribue à favoriser et à assurer la confiance des Canadiens et des intervenants de l'organisme. Cet audit a été mené en raison de l'importance de la qualité pour le succès de l'organisme.
Conclusion générale
La direction a mis en œuvre un cadre de contrôle de la qualité adéquat pour assurer la qualité élevée des produits de l'IPC et l'application cohérente des processus d'assurance de la qualité connexes. Des mécanismes d'assurance de la qualité sont en place tout au long du processus de flux des données et intégrés dans la direction du programme. Les employés spécialisés sont des experts chevronnés et connaissent très bien leurs rôles et leurs responsabilités, et ils peuvent également décrire ceux de leurs collègues et de leurs pairs. Certaines possibilités d'amélioration ont été notées dans les domaines du respect des lignes directrices, des outils et des orientations en matière de validation, ainsi que de la gestion des risques.
Principales constatations
Validation des produits mensuels
Diverses activités d'assurance de la qualité sont effectuées par le programme de l'IPC pour valider ses produits statistiques mensuels, et les résultats font l'objet de discussions par le biais de mécanismes de gouvernance appropriés qui comprennent la haute direction. Les rôles et les responsabilités pertinents sont pour la plupart documentés et bien compris, et les employés sont en général appuyés par des processus et des procédures qui dirigent la validation des produits mensuels de l'IPC. Le programme de l'IPC n'a pas officiellement documenté une stratégie de validation pour ses produits mensuels, et aucun rapport de validation officiel n'est préparé, comme l'exigent les lignes directrices de l'organisme.
L'assurance de la qualité à l'intérieur du processus de mise à jour annuelle du panier
De nombreuses activités d'assurance de la qualité et de validation sont réalisées par le programme de l'IPC lors d'une mise à jour du panier. Ces activités sont documentées, les résultats font l'objet de rapports à la direction du programme et des processus de gouvernance adéquats assurent la surveillance de l'assurance de la qualité des mises à jour du panier. Les rôles et responsabilités pour l'assurance de la qualité à l'intérieur du processus de mise à jour du panier sont documentés et compris par la plupart des employés, et des processus et procédures en appui sont en place — bien que certaines limites aient été observées. Aucune stratégie de validation globale n'a été élaborée pour les mises à jour du panier.
Assurance de la qualité lors de la réception et de la préparation de sources de données de rechange
Le programme de l'IPC effectue en continu diverses activités d'assurance de la qualité lors de l'intégration de sources de données de rechange, et des processus de gouvernance sont en place pour superviser l'assurance de la qualité des sources de données de rechange utilisées lors de la production de l'IPC. Les rôles et responsabilités pour l'assurance de la qualité des sources de données de rechange sont documentés et bien compris. Les processus et procédures pertinents sont bien documentés, bien qu'évolutifs, et certains processus clés doivent être améliorés pour que le programme atteigne sa pleine maturité dans le cadre des opérations d'apprentissage automatique.
Gestion des risques
La direction et les employés de l'IPC ont une connaissance générale des risques du programme et certaines activités de gestion des risques ont lieu de manière ponctuelle. Cependant, les processus de gestion des risques ne sont pas documentés de manière officielle pour le programme de l'IPC.
Conformité aux normes professionnelles
L'audit a été réalisé conformément aux Procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales d'audit interne de l'Institute of Internal Auditors.
L'application de procédures d'audit suffisantes et appropriées et la collecte des éléments de preuve contribuent à l'exactitude des constatations et des conclusions du présent rapport, et donnent une assurance de niveau audit. Les constatations et les conclusions sont fondées sur une comparaison des conditions, telles qu'elles existaient à l'époque, au regard de critères de vérification préétablis. Les constatations et les conclusions s'appliquent à l'entité examinée pour la portée et la période de référence de l'audit.
Steven McRoberts
Dirigeant principal de la vérification et de l'évaluation
Introduction
Contexte
La Division des prix à la consommation (DPC) a pour mandat de produire des données actuelles et pertinentes sur la variation de l'Indice des prix à la consommation au fil du temps et dans toutes les régions géographiques au Canada. Pour ce faire, la DPC produit et publie l'Indice des prix à la consommation (IPC) mensuellement. Le programme de l'IPC a pour objectifs de fournir des mesures fiables et en temps opportun de la variation de l'indice des prix à la consommation et des renseignements de grande qualité aux utilisateurs de données à l'intérieur de normes de service établies.
Le programme de l'IPC est un programme essentiel au mandat qui est nécessaire pour respecter le mandat de base de Statistique Canada prévu par la loi. L'IPC en soi est un indicateur de la variation des prix que connaissent les consommateurs canadiens. Il est calculé en comparant, au fil du temps, le coût d'un panier fixe de biens et services. L'indice est souvent utilisé comme un indicateur général de l'inflation au Canada. Il est largement connu et cité et les Canadiens y accordent leur confiance. L'une de ses utilisations les plus importantes est celle qu'en font les administrations publiques, les entreprises et les particuliers pour ajuster, en fonction de l'inflation, certains paiements contractuels ou prévus par la loi. De plus, l'IPC éclaire la politique monétaire, aide la Banque du Canada alors qu'elle s'efforce de maintenir l'inflation à l'intérieur de sa fourchette cible et permet au Système de comptabilité nationale d'estimer le produit intérieur brut en dollars constants. L'IPC est diffusé mensuellement dans Le QuotidienNote de bas de page 1 dans un délai de 31 jours suivant la période d'observation des prix. Habituellement, la diffusion a lieu la troisième semaine du mois qui suit la période d'observation des prixNote de bas de page 2.
La production mensuelle de l'IPC suit un processus de flux des données itératif au cours duquel les produits et les régions géographiques sont classifiés, une stratégie d'échantillonnage est déterminée, des points de vente sont sélectionnés, et des prix sont recueillis. Une fois les ensembles de données recueillis, ils font l'objet d'un examen, d'une révision et d'un ajustement de la qualité. Par la suite, les indices de prix élémentaires sont calculés et agrégés, les résultats sont analysés et les statistiques de l'IPC mensuel sont diffusées. Des activités de validation et de vérification de la qualité ont lieu à diverses étapes à mesure que les données passent par le processus de production. Pour respecter les dates de publication préannoncées, le programme de l'IPC doit suivre un horaire de production serré. De plus, en raison de sa large utilisation aux fins d'indexation, l'IPC ne fait l'objet d'aucune révision.
L'IPC est mesuré en fonction d'un panier de biens de consommation et de services. Le panier de l'IPC est classifié à l'aide de huit groupes de produitsNote de bas de page 3 (p. ex. aliments), qui sont formés de 187 agrégats de base (p. ex. essence et fruits frais) et 490 agrégats élémentaires (p. ex. pommes). Des agrégats élémentaires sont ajoutés au panier ou en sont supprimés à mesure que les habitudes de consommation évoluent au fil du temps. Des poids sont attribués aux groupes de produits du panier de l'IPC dans le cadre d'un processus de mise à jour du panier. Ces poids du panier sont ensuite appliqués lors du calcul de l'IPC mensuelNote de bas de page 4.
L'organisme a élaboré une approche structurée pour obtenir des résultats statistiques de grande qualité comme décrit dans son Cadre d'assurance de la qualité (2017) et dans les Lignes directrices concernant la qualité complémentaires (2019). Ensemble, ces outils de base déterminent les éléments de qualité concernant la production de statistiques officielles et aident les gestionnaires de programme à garantir des processus de production de données de grande qualitéNote de bas de page 5. Bien que des lignes directrices et des listes de vérification pratiques soient fournies, elles n'ont pas pour but de remplacer l'expertise et le jugement des employés chargés de produire des données. Cependant, le souci de la qualité qui en émane doit toujours se manifester dans l'ensemble des activités de tout processus de production. Il incombe à tout le personnel intervenant dans les activités statistiques de veiller à ce que la qualité soit considérée comme hautement prioritaire durant la conception et la mise en œuvre des méthodes et des procédures statistiques.
L'organisme a également élaboré la Directive sur la validation des produits statistiques (2015) et les Lignes directrices sur la validation des produits statistiques connexes (2015), qui visent à renforcer l'assurance de la qualité et à appuyer la qualité des produits statistiques. Ces instruments fournissent une orientation et des conseils pratiques au sujet de la validation — une vérification finale et très importante de la qualité par laquelle les produits statistiques doivent passer avant la diffusion. Cette vérification finale remet en question la validité des données statistiques, afin de s'assurer qu'elle ne comporte pas d'erreurs de conception ou d'exécution non décelées.
Enfin, le Manuel de l'Indice des prix à la consommation : Concepts et méthodes (2020) du Fonds monétaire international donne un aperçu exhaustif des méthodes et des pratiques dont les organisations nationales de la statistique devraient tenir compte. Les normes internationales qu'il renferme fournissent des lignes directrices sur les pratiques exemplaires et font la promotion de la qualité et de la comparabilité internationale des IPC nationaux.
Objectif de l'audit
Cet audit avait pour objectif de fournir une assurance raisonnable que la direction a établi un cadre de contrôle de la qualité adéquat pour assurer la qualité élevée des produits de l'IPC et l'application cohérente des processus d'assurance de la qualité connexes.
Portée
La portée de l'engagement comprenait un examen de certains composants du cadre de contrôle de la qualité du programme de l'IPC, y compris la gouvernance et la surveillance, les rôles et responsabilités, les processus d'assurance de la qualité établis qui sont appuyés par des outils et des orientations, et l'application de tels processus.
Le travail sur le terrain relativement à ce qui précède comprenait les domaines particuliers suivants :
- les activités réalisées pour valider les produits de l'IPC avant qu'ils ne soient diffusés au public
- l'assurance de la qualité à l'intérieur du processus de mise à jour annuelle du panier
- l'assurance de la qualité lors de la réception et de la préparation de sources de données de rechange utilisées dans la production de l'IPC.
Un échantillon de processus d'assurance de la qualité a été sélectionné aux fins d'examen pour confirmer qu'ils fonctionnaient comme prévu. L'accent était mis sur certaines activités réalisées par le programme de l'IPC pour assurer la grande qualité des produits statistiques. Cet audit ne comprenait pas le réexamen de tout calcul de l'IPC et n'évaluait pas ni ne commentait pas l'exactitude ou la validité des produits statistiques diffusés par le programme de l'IPC.
En ce qui a trait à la portée de l'audit, l'utilisation de l'expression « produits de l'IPC » ou « produits statistiques » comprend le communiqué du Quotidien et tous les tableaux à l'appui de l'Entrepôt commun de données de sortie publiés en ligne à l'intention du public conformément au calendrier officiel de diffusion mensuelle de l'IPC. Également inclus, le tableau des poids du panier de l'IPC qui est publié en ligne et mis à jour annuellement. Le programme de l'IPC diffuse aussi des tableaux de prix de détail moyens mensuels, un outil de visualisation des données et des articles, des rapports, des journaux et des périodiques connexes. Ces publications supplémentaires ne faisaient pas partie de la portée du présent audit.
La période faisant l'objet de l'examen s'étendait du 1er janvier 2023 au 30 juin 2024.
Approche et méthodologie
Le travail sur le terrain consistait en ce qui suit :
- les entrevues et les visites de membres clés de la direction et du personnel;
- un examen et une analyse des documents pertinents;
- la vérification d'un échantillon de processus d'assurance de la qualité pertinents;
- l'examen des politiques, des lignes directrices et des normes actuelles; et
- l'examen de certains ordres du jour de réunions de comités et comptes rendus de décisions.
Autorité
L'audit a été mené en vertu des pouvoirs prévus dans le Plan intégré d'audit et d'évaluation fondé sur les risques (2023-2024 à 2027-2028) approuvé par Statistique Canada.
Constatations, recommandations et réponse de la direction
Validation des produits mensuels
Diverses activités d’assurance de la qualité sont effectuées par le programme de l'IPC pour valider ses produits statistiques mensuels, et les résultats font l'objet de discussions par le biais de mécanismes de gouvernance appropriés qui comprennent la haute direction. Les rôles et les responsabilités pertinents sont pour la plupart documentés et bien compris, et les employés sont en général appuyés par des processus et des procédures qui dirigent la validation des produits mensuels de l'IPC. Le programme de l'IPC n'a pas officiellement documenté une stratégie de validation pour ses produits mensuels, et aucun rapport de validation officiel n'est préparé, comme l'exigent les lignes directrices de l'organisme.
Dans le cadre d'un processus statistique, la validation est l'ensemble d'activités qui font en sorte que les estimations pondérées et les statistiques agrégées sont fiables, exactes et défendables. Elle comprend les processus utilisés pour déterminer et corriger les incohérences dans les microdonnées et les macrodonnées au moyen d'outils de diagnostic et à l'aide de l'expertise du domaine. Les activités de validation évaluent donc la qualité d'un produit statistique, du point de vue de son exactitude, de sa cohérence et de sa vraisemblance globale. Les statisticiens valident la qualité des données de sortie produites, conformément à un cadre général de la qualité par rapport aux attentes, en fonction de leurs connaissances cumulatives du domaine statistique particulier. La validation vise à remettre en question les estimations plutôt qu'à les rationaliser. Il est donc important que les résultats inhabituels ou les fluctuations soient compris et que les estimations atypiques déclenchent un examen plus détaillé.
La Directive sur la validation des produits statistiques (la Directive) de Statistique Canada énonce les dispositions nécessaires pour s'assurer que la validation est réalisée et documentée pour tous les produits statistiques de l'organisme. Elle exige que l'ensemble des programmes essentiels au mandat suivent les étapes de validation décrites conformément aux Lignes directrices sur la validation des produits statistiques (appelées « Lignes directrices » ci–après) de l'organisme, sauf si l'on peut donner la raison pour laquelle une étape n'a pu être menée à bien. En tant que programme essentiel au mandat, l'IPC doit se conformer à la Directive et aux Lignes directrices.
Selon ces lignes directrices, « les directeurs doivent s'assurer que chaque programme de leur division comporte une stratégie de validation qui respecte les exigences de la Directive pour la validation des produits statistiques ». Une stratégie de validation explique en détail les activités de validation prévues d'un programme statistique à réaliser et les détails sur ce qui sera réalisé (p. ex., quels sont les dossiers à vérifier ou quels sont les partenaires externes qui participeront). La stratégie de validation de chaque programme doit être documentée à l'intérieur d'un rapport de validation, bien qu'aucun format particulier ne soit exigé pour le rapport. Dans la plupart des cas, l'élément de stratégie de validation du rapport de validation demeurera stable au fil du temps et il devra être mis à jour uniquement lorsque des changements sont apportés aux mesures de validation utilisées. On s'attend à ce que les directeurs de programme examinent la stratégie de validation de chaque programme au moins tous les trois ans, afin de veiller à ce que les activités de validation réalisées suffisent à atténuer les risques au chapitre de la qualité des données.
Les Lignes directrices exigent aussi que le rapport de validation soit mis à jour à chaque cycle de production pour enregistrer les résultats des plus récentes activités de validation du programme. Si des anomalies perçues ou des anomalies réelles sont trouvées, il faut documenter ces divergences, l'examen qui a été mené et la stratégie de correction mise en œuvre ou la raison de l'acceptation de la divergence. Le rapport doit rendre compte uniquement des principaux points ou éléments du processus de validation, mais il doit comporter suffisamment de détails pour que la raison justifiant cette conclusion concernant la qualité des données soit claire.
Le programme de l'IPC réalise régulièrement bon nombre des activités d'assurance de la qualité pour valider les produits de l'IPC mensuel, comme l'exigent les Lignes directrices. Des processus de gouvernance sont en place pour surveiller la validation des produits statistiques.
Les Lignes directrices divisent les activités de validation en huit activités fondées sur les secteurs spécialisés et deux activités fondées sur les processus. Les activités de validation fondées sur les secteurs spécialisés sont (1) l'analyse des variations au fil du temps, (2) la vérification des estimations désaisonnalisées, (3) la vérification des estimations par les tableaux croisés, (4) l'analyse de la cohérence fondée sur des événements courants connus, (5) la comparaison avec d'autres sources similaires de données publiées par Statistique Canada, (6) la consultation d'intervenants à l'intérieur de Statistique Canada, (7) la participation au Forum du Quotidien et (8) la séance d'information officielle au comité de gouvernance. Les activités de validation fondées sur les processus sont (1) l'examen des processus de production et (2) l'analyse de la cohérence fondée sur des indicateurs de qualité (voir l'annexe B pour une description des activités de validation).
L'équipe d'audit a appris que les responsabilités pour chacun des huit groupes de produits à l'intérieur du panier de l'IPC sont affectées à cinq sous-sectionsNote de bas de page 6 au sein de la subdivision de la Production de la DPC. En outre, l'achèvement de certaines activités de validation est une responsabilité conjointe parmi les sous-sections au sein de la Subdivision de la Production et des Sous-sections de l'analyse et de la diffusion, tandis que d'autres sont l'unique responsabilité d'une sous-section au sein de la DPC. Ainsi, cinq des huit groupes de produits et les sous-sections pertinentes au sein de la Subdivision de la Production ont fait l'objet d'un échantillonnage avec les Sous-sections de l'analyse et de la diffusion pour évaluer l'application des principales étapes de validation à l'intérieur des Lignes directrices pour trois mois de référence échantillonnés aléatoirement. Toutes les sous-sections sélectionnées ont été évaluées en fonction des responsabilités et responsabilisations préexistantes pour dix étapes de validation clés (énumérées ci-dessus). Dans l'ensemble, des huit étapes de validation fondées sur le secteur spécialisé requises, cinq ont été jugées entièrement conformes et trois ont été jugées conformes avec condition. Pour ce qui est des deux étapes fondées sur les processus, elles ont toutes deux été jugées non conformes (précisions ci-dessous).
L'audit a conclu que — chaque mois — toutes les sous-sections effectuent des rapports d'analyse mensuels qui documentent les fluctuations de prix, les tendances et schémas ainsi que les éléments moteurs pour chaque groupe de produits assigné. Des réunions d'examen de l'indice mensuel sont ensuite tenues entre les sous-sections de la production et la sous-section de l'analyse pour présenter les fluctuations de prix aux fins de discussion et d'examen par les pairs, comme des analyses d'une année à l'autre et d'un mois à l'autre et les facteurs clés à l'origine des fluctuations de prix. Les rapports d'analyse mensuels générés par les sous-sections de la production servent à diffuser l'information et à valider chaque groupe de produits à son niveau d'agrégat respectif. La sous-section de l'analyse peut demander des renseignements supplémentaires et effectuer par la suite des activités pour valider l'ensemble de l'IPCNote de bas de page 7 au macro-niveau d'agrégat. Ces réunions d'examen de l'indice mensuel comprennent la direction et le personnel clés de l'IPC et agissent comme autorisation verbale pour permettre aux gestionnaires de programme d'approuver les données au niveau d'agrégat de l'indice. De plus, l'audit a permis de constater que le programme de l'IPC présente ses résultats mensuels de diffusion anticipée et obtient une approbation verbale du programme et de la haute direction — y compris le Comité de gestion stratégique — conformément aux exigences de validation clés (voir l'annexe B). Le Comité de gestion stratégique est un comité du premier palier qui fournit une orientation stratégique globale à l'organisme et agit comme organe responsable de toutes les prises de décisions liées à la gestion organisationnelle et à la gouvernance de Statistique Canada.
Examen des processus de production
Bien que des activités ponctuelles soient menées pour aborder et régler les questions et les défis qui se posent, un examen proactif des processus de production par les sous-sections de la production échantillonnées n'a pas été observé. Cela étant dit, le chef de sous-section désigné a été en mesure d'expliquer de nombreux cas où des questions et des défis ont été soulevés, et d'expliquer les étapes et les mesures prises pour aborder et régler de telles questions. Par conséquent, des mesures sont prises pour régler les questions des processus de production, mais elles ne font pas l'objet d'une surveillance active dans le cadre du processus de validation.
Analyse de la cohérence fondée sur des indicateurs de qualité
Les entrevues ont révélé qu'il y a des normes de service du gouvernement du Canada pour le programme de l'IPC, notamment les accusés de réception des clients doivent être envoyés dans un délai de 24 heures et la diffusion de l'IPC mensuel doit se faire dans un délai de 31 jours suivant la période d'observation des prix. Qui plus est, la DPC assure le suivi et les rapports sur les paramètres Web tels que le nombre de visites de certains sites Web; cependant, il n'existe pas d'indicateurs de la qualité pour le programme de l'IPC au-delà de cette capacité. La direction de l'IPC a confirmé qu'une analyse de la cohérence fondée sur des indicateurs de qualité pour le programme n'est pas effectuée conformément aux Lignes directrices.
Les rôles et responsabilités pour les activités de validation mensuelle de l'IPC sont pour la plupart documentés et semblent être communiqués et bien compris par les employés visés. Des processus et procédures sont en place pour diriger la validation des produits statistiques mensuels de l'IPC.
Les objectifs professionnels des ententes de rendement pour la direction et le personnel clés de l'IPC comprennent certaines activités de validation importantes telles que la vérification des données, la vérification et l'analyse des valeurs aberrantes et la détermination des problèmes de traitement. Dans la même veine, les affichages de poste et les énoncés des critères de mérite reconnaissent la nécessité de mener certaines activités de validation clés.
Les sous-sections des marchandises sont chargées de générer et de maintenir leurs propres outils de suivi de la charge de travail. Chacun est unique, sans présentation uniforme, mais les rôles et responsabilités pourront se retrouver à divers degrés, certains limités, à l’intérieur de chaque outil de suivi. Les sous-sections des marchandises dispersent la charge de travail en fonction de la classe de marchandise, et toutes les activités pour chaque classe de marchandise sont dans la plupart des cas réalisées par le même analyste.
Des discussions au sujet de la division des tâches avec le personnel clé de l'IPC ont permis de constater qu'il serait possible d'ajouter une couche supplémentaire de contrôle pour séparer les activités de conformité et d'approbation et d'examen et validation statistique; cependant, une telle division des tâches pourrait aussi ajouter une couche de complexité inutile pour le personnel. À l'heure actuelle, ces activités ne sont pas séparées pour la plupart des sous-sections des marchandises, car on considère qu'il est plus avantageux pour chaque analyste de bâtir une expertise du domaine au sein de ses groupes de marchandises respectifs. Cela permet aux analystes de parler avec aisance des fluctuations de prix. En outre, alors que la sous-section de l'analyse mène un examen impartial de l'IPC d'ensemble, une couche supplémentaire de surveillance est actuellement intégrée dans le processus de validation pour détecter toutes les valeurs aberrantes éventuelles dans les données.
Les entrevues avec la direction et le personnel clés de l'IPC ont révélé qu'une certaine quantité de formation et d'expertise pourrait être obtenue par l'entremise d'un jumelage professionnel, qui se produit lorsque de nouveaux employés arrivent. De plus, la plupart des employés avaient l'impression et étaient clairement en mesure de démontrer qu'ils comprenaient leurs rôles et responsabilités, ainsi que ceux de leurs collègues, et que ces rôles et responsabilités leur étaient communiqués.
Parmi les outils et orientations demandés par les cinq sous-sections de la production échantillonnées et les sous-sections de l'analyse et de la diffusion, la plupart ont fourni une documentation suffisante pour leur permettre de s'acquitter de leurs responsabilités relativement aux activités de validation. Toutes les sous-sections de la production disposent de modèles pour générer des rapports d'analyse des indices mensuels. La sous-section de l'analyse peut compter sur un guide qui fournit une orientation sur la manière de produire la diffusion de l'IPC mensuel dans Le Quotidien et préparer et présenter les documents analytiques à la division et à la direction de l'organisme. Qui plus est, la Division de la diffusion utilise une liste de tâches mensuelle pour l'IPC afin de suivre les activités réalisées pour diffuser les produits de l'IPC mensuel et un guide de validation des données de l'IPC, qui comprend les étapes à suivre pour télécharger, formater et valider les tableaux applicables de l'Entrepôt commun de données de sortie par rapport aux rapports du système.
Bien qu'il existe des documents, certaines possibilités d'amélioration ont été notées en ce qui concerne l'étendue et l'ampleur des détails, la couverture de toutes les activités de validation conformément aux Lignes directrices, le public cible et la pertinence continue ou l'applicabilité. Par exemple, on trouve certains conseils sur la validation des données au microniveau dans le Manuel de production de l'IPC, bien que le guide ne renferme pas les activités de validation au niveau d'agrégat et que sa dernière mise à jour remonte à 2014, ce qui en limite la pertinence.
Il existe une grande quantité de documents de formation qui offrent aux employés de l'IPC des renseignements généraux ainsi que des orientations sur les flux de données, les objectifs, la structure du programme, etc. Toutefois, les documents pourraient fournir des orientations particulières sur les activités de validation mensuelle de l'IPC, notamment au niveau d'agrégat.
Les personnes interviewées étaient toutes d'accord — bien qu'il y ait certains écarts (par exemple, un manque de documents d'intégration et d'orientations procédurales étape par étape pour certaines sous-sections) — pour dire qu'il existe en général des documents pour le programme de l'IPC. Cependant, les documents sont fragmentés, et il peut parfois être difficile de les parcourir pour trouver ce qui est demandé. Qui plus est, on a indiqué que certaines compétences et expertises requises pour traiter et analyser les données au microniveau, de même que générer des observations et en arriver à comprendre les fluctuations de prix pour un certain groupe de produits au microniveau et au macroniveau exigeaient un certain degré de formation en cours d'emploi. Bien qu'elle ne soit bien entendu pas documentée officiellement, dans certains cas, on a indiqué qu'une partie de cette formation pourrait être possible.
Une stratégie de validation officielle pour les produits de l'IPC mensuel n'a pas été élaborée, et des rapports de validation officiels ne sont pas préparés pour chaque cycle de production.
L'audit a permis de constater qu'il n'existe aucune stratégie de validation officielle et qu'aucun rapport de validation mensuel n'est généré pour le programme de l'IPC. Le but de la stratégie de validation et des rapports de validation est de s'assurer que toutes les activités de validation requises ont été intégrées dans le programme, fonctionnent comme prévu et font l'objet d'une surveillance et d'une évaluation. Les rapports de validation visent précisément à enregistrer et à communiquer les résultats des enquêtes. En outre, ils peuvent souligner et suivre certaines tendances potentielles des données de l'IPC mensuel. Les indicateurs de la qualité pour le programme devraient faire l'objet de rapports et s'harmoniser avec les rapports de validation et la stratégie de validation.
L'assurance de la qualité à l'intérieur du processus de mise à jour annuel du panier
De nombreuses activités d'assurance de la qualité et de validation sont réalisées par le programme de l'IPC lors d'une mise à jour du panier. Ces activités sont documentées, les résultats font l'objet de rapports à la direction du programme et des processus de gouvernance adéquats assurent la surveillance de l'assurance de la qualité des mises à jour du panier. Les rôles et responsabilités pour l'assurance de la qualité à l'intérieur du processus de mise à jour du panier sont documentés et compris par la plupart des employés, et des processus et procédures en appui sont en place, bien que certaines limites aient été observées.
L'IPC est une moyenne pondérée des variations des prix d'un panier fixe de biens et de services, qui est fondé sur les dépenses d'une population cible au cours d'une période de référence donnée. Pour refléter les variations de prix vécues par les Canadiens, les pondérations du panier doivent être représentatives de la façon dont les Canadiens dépensent leur argent. En 2021, le processus de mise à jour du panier est passé d'une mise à jour pluriannuelle à une mise à jour annuelle pour que le panier de l'IPC soit plus représentatif des habitudes de consommation des Canadiens. Bien que des mises à jour plus fréquentes du panier devraient en théorie réduire les biais de substitution et des nouveaux biens, ce changement vient aussi avec des niveaux d'efforts accrus et introduit plus de possibilités d'erreurs.
L'équipe de l'audit a appris que le processus de mise à jour annuel du panier est complexe et nécessite de nombreuses activités d'assurance de la qualité et de validation qui exigent des connaissances spécialisées et un ensemble de compétences, activités qui sont réalisées par diverses équipes et certains employés clés au sein de la DPC. Il y a essentiellement deux groupes d'assurance de la qualité et d'activités de validation de haut niveau dans le cadre du processus annuel : (1) assurance de la qualité et validation des nouvelles valeurs de pondération du panier et (2) assurance de la qualité et validation de l'intégration des nouveaux poids du panier à l'intérieur des systèmes de production et de diffusion de l'IPC. Les nombreuses activités d'assurance de la qualité et de validation réalisées s'inscrivent à l'intérieur de ces deux groupes et sont pour la plupart documentées à l'intérieur d'un calendrier de mise à jour du panier dont la DPC assure le suivi et la mise à jour.
Le programme de l'IPC réalise de nombreuses activités d'assurance de la qualité et de validation lors de la mise à jour d'un panier, dont bon nombre suivent les Lignes directrices. Des processus de gouvernance sont en place pour surveiller l'assurance de la qualité des mises à jour du panier.
L'équipe d'audit a sélectionné un échantillon de 15 activités uniques d'assurance de la qualité et de validation à partir du plus récent calendrier de mise à jour du panier. Les documents à l'appui démontrant le rendement de chaque étape ont été demandés et fournis. L'audit a permis de constater que les 15 étapes sélectionnées ont été suivies par les équipes et les personnes appropriées au meilleur de leur compréhension.
L'audit a aussi permis de constater que le programme de l'IPC est conforme aux attentes pour ce qui est de documenter les métadonnées statistiques. Il y a un niveau suffisant de renseignements auxquels les Canadiens ont accès à propos des poids du panier et du processus de mise à jour du panier. Cela comprend les sources de données primaires et de rechange utilisées, c'est-à-dire, des renseignements supplémentaires nécessaires pour bien comprendre, analyser et utiliser les données statistiques sont disponibles en quantité suffisante.
De plus, le processus de mise à jour annuel du panier comporte de multiples niveaux de surveillance. Le groupe de travail sur les améliorations à apporter à la mise à jour du panier, le Comité de gestion de la mise à jour du panier et le Comité directeur de l'IPCNote de bas de page 8 jouent tous un rôle pour surveiller la mise à jour annuelle du panier. Le groupe de travail a pour objectif de cerner les domaines d'amélioration dans les méthodes et les processus de mise à jour du panier de l'IPC, de contribuer à planifier le travail pour mettre en œuvre les améliorations et de recommander les améliorations à la direction du programme. Les activités d'amélioration sont entreprises et font l'objet d'un suivi. Le comité de direction est formé de la direction du programme jusqu'au niveau du directeur. Ce comité examine et approuve les méthodes et les processus de mise à jour du panier. Certains articles sont présentés au comité directeur de l'IPC, en fonction des besoins. Un examen des ordres du jour et les comptes rendus de réunion démontrent que des discussions structurées ont lieu à divers niveaux au sein de la DPC pour assurer une surveillance adéquate de l'assurance de la qualité des mises à jour du panier.
Les rôles et responsabilités pour le personnel clé concernant l'assurance de la qualité dans le cadre du processus de mise à jour du panier sont en grande partie documentés et compris. Les processus et les procédures sont majoritairement en place pour orienter l'assurance de la qualité dans le cadre du processus de mise à jour du panier.
L'audit a permis de constater que le document d'orientation principal pour assigner les rôles et responsabilités est le calendrier de mise à jour du panier qui est maintenu par la DPC. De plus, les responsabilités pertinentes sont incluses dans les objectifs de travail pour la plupart des équipes et des personnes participantes. Dans la plupart des cas, on a indiqué lors des entrevues que les rôles et responsabilités des personnes étaient bien compris, bien que l'on ait constaté que le rôle d'un analyste clé n'était pas défini. Les entrevues ont également révélé une certaine confusion entourant les rôles et responsabilités liés à la validation de l'additivité des agrégats particuliers à l'intérieur du tableau des poids du panier. Les Sous-sections de l'analyse et de la diffusion ont indiqué ignorer qui est responsable d'effectuer cette vérification de la validation. Par conséquent, cette année, un grand nombre d'erreurs de calcul n'ont pas été prises en compte lors de vérifications précédentes et ont été découvertes trop peu de temps avant la diffusion des nouveaux poids du panier.
Des documents en matière de procédure ont été fournis par la plupart des équipes ayant participé au processus de mise à jour annuelle du panier. En général, l'audit a permis de constater que la documentation fournit suffisamment de directives aux membres de l'équipe en ce qui a trait à leurs propres activités d'assurance de la qualité et de validation. Cependant, on a reconnu que la documentation pour la sous-section de la modélisation des indices pourrait être améliorée (par exemple, il n'y a pas de documentation préexistante qui décrit — pour chaque activité d'assurance de la qualité réalisée — ce qui est attendu, ce qui constitue une réussite ou un échec, ou comment documenter et communiquer les résultats). Dans le même ordre d'idées, les Sous-sections de l'analyse et de la diffusion et un analyste clé ont reconnu la même lacune en ce qui a trait à la documentation détaillée.
Aucune stratégie de validation globale n'a été élaborée pour les mises à jour du panier. Une liste de diverses activités d'assurance de la qualité et de validation et leurs résultats sont documentés et déclarés à la direction du programme, bien qu'il y ait certaines limites.
Pour ce qui est de l'IPC mensuel (comme mentionné ci-dessus), l'équipe d'audit a compris que la mise à jour annuelle du panier serait aussi soumise à des exigences en matière de validation, parce que le tableau des poids du panier de l'IPC est un produit statistique unique et il est publié de manière indépendante, par l'entremise du Quotidien, des produits mensuels standard de l'IPC. Par conséquent, le processus de validation mensuel standard de l'IPC ne couvrirait pas la mise à jour du panier en soi.
C'est pourquoi l'équipe d'audit a demandé une stratégie de validation documentée pour le processus de mise à jour annuel du panier. Elle a été informée que le travail de validation effectué est documenté par le biais de présentations qui sont fournies à la direction du programme pour faciliter leur examen et approbation des nouveaux poids du panier par l'entremise d'une série de réunions de certification. L'équipe d'audit a examiné les présentations fournies et a constaté qu'elles comprennent une liste cumulative de points d'intérêt des réunions. Les points d'intérêt comprenaient un examen de l'algorithme à utiliser comme outil d'assurance de la qualité, les commentaires de la Subdivision de la Production au sujet de valeurs aberrantes importantes, un examen des valeurs aberrantes non réglées, un résumé du processus d'examen des poids et un examen des parts relatives. L'équipe d'audit a déterminé que cette liste pouvait être considérée comme une stratégie de validation limitée. Même dans ce cas, la liste finale ne peut être jumelée à toutes les étapes de validation clés conformément aux Lignes directrices. Dans la même veine, le calendrier de mise à jour du panier est un outil raisonnablement détaillé qui assigne de manière explicite les responsabilités pour certaines activités clés d'assurance de la qualité et de validation à diverses équipes et personnes qui participent au processus de mise à jour annuelle du panier; cependant, il ne peut pas non plus être jumelé aux étapes de validation requises pour les programmes essentiels au mandat.
En ce qui a trait à un rapport de validation pour consigner et communiquer les résultats des activités annuelles d'assurance de la qualité et de validation, l'équipe d'audit a été informée qu'il existe une documentation complète sur tous les commentaires reçus, ajustés ou non ajustés, le nombre de changements apportés, l'impact net sur chaque agrégat majeur, les techniques utilisées pour faire des ajustements, et la quantité réelle de chaque ajustement effectué. L'équipe d'audit a examiné la documentation fournie et déterminé qu'elle comprend de manière conceptuelle les composants notés. De plus, les résultats à l'intérieur de la documentation fournie sont discutés lors des réunions de certification avec la direction du programme (noté ci-dessus), bien que les comptes rendus des discussions ne soient pas conservés. En ce qui a trait à la stratégie de validation, cependant, la documentation fournie est jugée limitée en termes de rapport de validation, car elle ne peut être facilement ou entièrement jumelée à toutes les étapes de validation requises conformément aux Lignes directrices.
Compte tenu de la complexité et de la vaste gamme de participants aux activités d'assurance de la qualité et de validation dans le cadre du processus de mise à jour annuelle du panier, une stratégie de validation officielle et complète aiderait davantage la direction du programme à clarifier les rôles et les responsabilités. En outre, sans documentation procédurale adéquate appuyant les rôles et responsabilités clés, des changements de personnel ou de surveillance pourraient faire en sorte que certaines activités d'assurance de la qualité et de validation ne soient pas réalisées adéquatement ou du tout, donnant lieu à des erreurs éventuelles dans les poids du panier qui sont diffusées au public.
Recommandation
Il est recommandé que la statisticienne en chef adjointe du Secteur de la statistique économique s'assure de ce qui suit :
- qu'une stratégie de validation complète est officiellement documentée pour le programme de l'IPC, et qu'elle comprend (1) les produits de l'IPC mensuel, y compris le suivi des indicateurs de qualité du programme, et (2) que des mises à jour annuelles du panier et des rapports de validation officiels sont préparés conformément aux exigences prescrites pour les programmes essentiels au mandat conformément aux Lignes directrices sur la validation des produits statistiques.
Réponse de la direction
La direction accepte la recommandation formulée.
Le programme de l'IPC documentera officiellement sa stratégie de validation, y compris la mise à jour annuelle du panier, et l'harmonisera avec les lignes directrices ministérielles sur la validation des produits statistiques pour les programmes essentiels au mandat.
Produits livrables et échéancier
La directrice générale de la Direction de la statistique de l'industrie :
- officialisera le document de stratégie de validation de la mise à jour de l'IPC mensuel et du panier annuel conformément aux Lignes directrices sur la validation des produits statistiques d'ici avril 2025; et
- officialisera les rapports de validation cycliques conformément aux Lignes directrices sur la validation des produits statistiques d'ici septembre 2025.
La directrice générale de la Direction de la statistique de l'industrie, en collaboration avec la directrice générale de la Direction des méthodes statistiques modernes et de la science des données :
- établira des indicateurs de la qualité provisoires pour les indices de prix et appliquera les mesures au programme de l'IPC d'ici avril 2025.
Recommandation
Il est recommandé que la statisticienne en chef adjointe du Secteur de la statistique économique s'assure de ce qui suit :
- que les rôles et responsabilités ayant trait aux activités de validation — en lien avec (1) les produits de l'IPC mensuel et (2) les mises à jour annuelles du panier — sont examinés et mis à jour, au besoin, et que des processus et procédures détaillés sont établis, au besoin.
Réponse de la direction
La direction accepte la recommandation formulée.
Dans le cadre de l'élaboration d'une stratégie de validation complète, le programme de l'IPC améliorera les processus et les procédures et clarifiera les rôles et responsabilités ayant trait à ces activités de validation. Il s'agira notamment des activités dont les rôles et responsabilités s'étendent à des équipes multidisciplinaires à diverses étapes du cycle de production de l'IPC.
Produits livrables et échéancier
La directrice générale de la Direction de la statistique de l'industrie :
- documentera officiellement les responsabilités assignées et les mécanismes d'approbation pour les activités de validation et de mise à jour mensuelle de l'IPC et de mise à jour annuelle du panier, d'ici mars 2025; et
- mettra à jour les processus et procédures liés aux activités de validation et de mise à jour mensuelle de l'IPC et de mise à jour annuelle du panier d'ici mai 2025.
Assurance de la qualité lors de la réception et de la préparation de sources de données de rechange
Le programme de l'IPC effectue en continu diverses activités d'assurance de la qualité lors de l'intégration de sources de données de rechange, et des processus de gouvernance sont en place pour superviser l'assurance de la qualité des sources de données de rechange utilisées lors de la production de l'IPC. Les rôles et responsabilités pour l'assurance de la qualité des sources de données de rechange sont documentés et bien compris. Les processus et procédures pertinents sont bien documentés, bien qu'évolutifs, et certains processus clés doivent être améliorés pour que le programme atteigne sa pleine maturité dans le cadre des opérations d'apprentissage automatique.
Statistique Canada s'efforce constamment de moderniser et de simplifier les méthodes de collecte de données. Au sein du programme de l'IPC, des sources de données de rechange, telles que les données de lecteurs optiques des commerces de détail et les données de moissonnage du Web, remplacent graduellement la collecte traditionnelle sur le terrain (c.-à-d., les intervieweurs qui visitent les magasins de détail en personne pour recueillir des observations sur les prix). À l'heure actuelle, environ la moitié de toutes les données recueillies sur les prix — ce qui représente environ 20 % de l'ensemble du panier de l'IPC — sont recueillies sous la forme d'une source de données de rechange, et le but est d'augmenter la quantité de données recueillies sur les prix pour atteindre 75 %. L'organisme continue de travailler avec de nouveaux fournisseurs de données éventuels pour élargir l'utilisation des sources de données de rechange.
Cette augmentation progressive de l'utilisation de sources de données de rechange a modifié les processus et les méthodes de production de l'IPC, ainsi que les systèmes d'ingestion de données, qui nécessitent une capacité et des ressources adéquates pour recevoir et préparer de vastes ensembles de données. À l'instar de nombreuses organisations nationales de la statistique, le programme de l'IPC de Statistique Canada tire avantage d'algorithmes d'apprentissage automatique supervisés pour traiter efficacement ces ensembles de données.
L'équipe d'audit a noté que les scientifiques de données du programme de l'IPC sont des contributeurs clés au Comité d'experts sur les mégadonnées et la science des données pour les statistiques officielles de l'ONU. Leur groupe de travail sur les données de lecteurs optiques a élaboré un guide sur l'utilisation de nouvelles sources de données pour la production de statistiques sur l'indice des prix à la consommation. Le Canada est aussi membre du groupe consultatif du comité et président de son conseil de la livraison technique. Les scientifiques de données de l'IPC ont publié plusieurs articles et études qui ont contribué à l'avancement mondial pour les programmes d'IPC dans les domaines des sources de données de rechange et de l'apprentissage automatique. Néanmoins, il s'agit là de disciplines émergentes pour les organisations nationales de la statistique, et par conséquent, les normes internationales ne sont pas encore établies. L'équipe d'audit a été informée que la plupart des organisations nationales de la statistique mènent encore des recherches et collaborent toujours sur des méthodologies dans ces domaines.
Le programme de l'IPC effectue constamment diverses activités d'assurance de la qualité lorsqu'il ingère des sources de données de rechange. Des processus de gouvernance sont en place pour surveiller l'assurance de la qualité des sources de données de rechange utilisées dans la production de l'IPC.
Selon les publications et la recherche effectuées par Statistique Canada et d’autres organisations nationales de la statistique, plusieurs processus clés peuvent contribuer à la qualité des sources de données de rechange utilisées dans l’IPC. Ces processus comprennent l’obtention de données à l’aide de négociations avec les fournisseurs, les vérifications de la qualité globale, les vérifications de la qualité détaillée, les modèles d’apprentissage automatique avec validation manuelle, et l’assurance de la qualité par le domaine spécialisé.
Un échantillon discrétionnaire de trois formes de sources de données de rechange utilisées par le programme de l’IPC a été sélectionné pour faire l’objet d’un examen minutieux fondé sur les risques, la proéminence d’utilisation à l’intérieur de certains groupes de produits et la matérialité des poids de leur panier, de sorte que l’échantillonnage couvrait environ 50 % du panier de l’IPC (pour l’année de référence 2022). Les trois formes de sources de données de rechange sélectionnées étaient (1) les données de lecteurs optiques des commerces de détail utilisées pour le groupe de produits des aliments, (2) les données issues du moissonnage du Web utilisées pour le groupe de produits de l’habillement et chaussures et (3) autres données de rechange utilisées pour les coûts d’intérêts hypothécaires à l’intérieur du groupe de produits du logement. Trois mois de référence échantillonnés aléatoirement ont aussi été sélectionnés (voir la section Validation des produits mensuels). En fonction de l’échantillon d’audit testé, l’audit a permis de constater que toutes les procédures d’assurance de la qualité pour l’ingestion (par exemple, les vérifications de la qualité globale et détaillée et la validation manuelle des classifications d’apprentissage automatique) étaient systématiquement appliquées conformément aux procédures documentées.
L'équipe d'audit a également observé que des ententes écrites officielles sont en place avec les principaux détaillants qui fournissent les données de lecteurs optiques utilisées dans la production de l'IPC. Le Manuel de l'Indice des prix à la consommation : concepts et méthodes du Fonds monétaire international précise qu'il s'agit d'une bonne pratique pour s'assurer que les besoins en matière de qualité et d'actualité sont satisfaits. Statistique Canada a également mis en place un contrat avec une tierce partie pour réaliser des activités de moissonnage du Web. Le contrat comprend un énoncé des travaux détaillé pour s'assurer que les données reçues répondent aux besoins de l'organisme pour ce qui est de la qualité et de l'actualité, et que l'organisme fournit des instructions sur les détaillants au fournisseur pour garantir l'harmonisation avec la structure de classification de l'IPC. Les employés qui participent aux processus d'assurance de la qualité pour les sources de données de rechange n'avaient aucune inquiétude relativement à l'actualité des données.
L'audit a permis de constater que le comité directeur de l'IPC surveille activement l'utilisation accrue des sources des données de rechange du programme de l'IPC. Le comité reçoit des mises à jour régulières des progrès réalisés quant à l'incorporation de nouvelles sources de données de rechange et à l'ingestion et au traitement des sources de données de rechange existantes. Les présentations au comité comprennent les enjeux, risques et résolutions connexes. Des renseignements sur les processus d'assurance de la qualité pour les données de lecteurs optiques des commerces de détail et les données du moissonnage du Web, y compris les opérations d'apprentissage automatique, ainsi que le travail et les réalisations en cours dans ces domaines sont aussi inclus.
Les rôles et responsabilités pour le personnel clé participant à l'assurance de la qualité des sources de données de rechange sont documentés et bien compris. Les processus et les procédures pour diriger l'assurance de la qualité des sources de données de rechange pendant l'ingestion sont bien documentés tout en étant évolutifs.
L'audit a permis de constater que les rôles et les responsabilités liés aux activités d'assurance de la qualité requises pour l'ingestion des sources de données de rechange, y compris les opérations d'apprentissage automatique, étaient documentés dans une variété d'orientations procédurales individuelles. Les entrevues menées auprès de la direction et du personnel clés du programme ont aussi indiqué que les rôles et responsabilités sont bien compris — aucune incertitude ni aucun chevauchement n'ont été exprimés ou notés.
De nombreux documents de procédures sont utilisés dans le programme de l'IPC pour traiter les données de lecteurs optiques des commerces de détail, les données du moissonnage du Web et d'autres sources de données de rechange utilisées dans la production. Il a été constaté que tous les sous-processus clés avaient au moins un document de procédure écrit. Même si ces documents ont été pour la plupart élaborés au niveau de l'équipe ou de la sous-section, ils ont été jugés suffisamment détaillés pour aider les employés visés à s'acquitter de leurs responsabilités. Bien qu'aucun document de procédure établissant des plans d'action de remplacement en cas de limites des données de rechange n'était disponible, les employés visés étaient en mesure de trouver des solutions et de fournir des exemples de situations où des limites se sont produites et comment elles ont été réglées efficacement.
Statistique Canada a mis en place des documents d'orientation supplémentaires pour l'utilisation de sources de données de rechange tels que la Directive sur le moissonnage du Web et un document public complet appelé Le logement dans l'IPC canadien : un aperçu (2023). Ce dernier donne un aperçu des concepts et des pratiques liés au groupe de produits du logement, y compris la méthodologie et les sources de données de rechange utilisées pour les coûts d'intérêts hypothécaires. L'organisme ne dispose toutefois pas encore d'un exposé de principes général ou d'une directive sur les données de lecteurs optiques. Le Manuel de l'indice des prix à la consommation : concepts et méthodes recommande aux organisations nationales de la statistique de publier un exposé de principes expliquant comment elles procéderont avec l'utilisation des données de lecteurs optiques pour compiler l'IPC, y compris les sources de données et les méthodes à employer.
Les processus pour les opérations d'apprentissage automatique n'ont pas encore atteint leur pleine maturité.
Pour les données de lecteurs optiques et les données de moissonnage du Web, le programme de l'IPC tire parti de l'apprentissage automatique supervisé pour contribuer à classer et à jumeler de nouveaux produits uniques à l'intérieur de vastes ensembles de données dans les bons groupes de produits au sein de la structure du panier de l'IPC. Selon le document Apprentissage automatique pour les statistiques officielles (2021) de la Commission économique des Nations Unies pour l'Europe, les principaux processus de l'assurance de la qualité pour les opérations d'apprentissage automatique sont (1) l'entraînement par modèle, (2) le suivi du rendement du modèle et (3) le réentraînement du modèle.
L'équipe d'audit a évalué chaque processus clé d'assurance de la qualité par le biais d'entrevues et d'examens des documents. Dans l'ensemble, l'audit a permis de constater qu'il existait des documents de procédures pour guider l'entraînement par modèle et le suivi du rendement ainsi que les activités de réentraînement. Cependant, les personnes interrogées ont reconnu qu'il n'existait aucune directive officielle de l'organisme et que les normes internationales sont encore en processus d'élaboration, alors que les opérations d'apprentissage automatique sont encore un domaine émergent pour toutes les organisations nationales de la statistique. Les employés clés ont noté que le processus d'entraînement par modèle était simple — les données d'entraînement du modèle sont préparées lors de l'acquisition de nouvelles sources de données de rechange, avant que les données soient utilisées dans la production de l'IPC. En revanche, les entrevues ont confirmé que le suivi du rendement du modèle et que le réentraînement du modèle sont présentement plus ponctuels — les fréquences de ces activités n'ont pas été établies officiellement, bien qu'une étude publiée par les scientifiques des données de l'IPC ait déterminé la fréquence idéale pour le réentraînement à intervalles de trois à six mois.
L'équipe d'audit a observé que les scientifiques des données de l'IPC avaient mené un échantillonnage aléatoire stratifié robuste des données de lecteurs optiques pour l'un des détaillants de produits alimentaires en 2023. Le document en résultant a recommandé que de plus amples travaux soient menés, y compris d'enquêter sur les classes de produits affichant un piètre rendement, de mettre en œuvre un échantillon aléatoire stratifié d'autres détaillants de produits alimentaires et de mesurer le rendement du modèle en continu. Jusqu'à maintenant, aucune campagne supplémentaire d'échantillonnage aléatoire n'a été menée.
De plus, des processus manuels sont en place pour valider les produits de classification de l'apprentissage automatique. Cependant, bien que ces processus aient été jugés efficaces, ils sont exigeants en main-d'œuvre et pourraient limiter l'extensibilité pour des sources de données de rechange et des applications supplémentaires au sein du programme de l'IPC.
L'apprentissage automatique est un pilier clé des sources de données de rechange utilisées dans la production de l'IPC et l'expansion continue dans ce domaine. Toutefois, les modèles d'apprentissage automatique peuvent rapidement se détériorer une fois déployés, mettant ainsi l'accent sur l'importance d'avoir en place de nouveaux produits uniques étant dotés de processus d'assurance de la qualité cohérents pour surveiller et réentraîner les modèles utilisés pour contribuer à classifier les nouveaux produits uniques. L'objectif à long terme de l'organisme devrait être d'atteindre la pleine maturité pour ses opérations d'apprentissage automatique au sein du programme de l'IPC afin d'assurer la qualité, la fiabilité, la cohérence et l'extensibilité des modèles de classification automatisée et les processus à l'appui. Cela comprendrait la mise en œuvre de pratiques principales reconnues et de contrôles efficaces de la surveillance des modèles.
Recommandation
Il est recommandé que la statisticienne en chef adjointe du Secteur de la statistique économique s'assure de ce qui suit :
- qu'un cadre global accompagné d'orientations et de normes détaillées pour l'utilisation et l'application de sources de données de rechange à l'intérieur du programme de l'IPC, y compris les opérations d'apprentissage automatique, est élaboré et mis en œuvre.
Réponse de la direction
La direction accepte la recommandation formulée.
Le programme de l'IPC élaborera des orientations et des normes détaillées pour l'utilisation et l'application de sources de données de rechange. Cela comprendra la manière dont l'IPC respecte les lignes directrices internationales, l'état final souhaité, le flux opérationnel, l'architecture sous-jacente de l'organisme, les pratiques exemplaires, les rôles et responsabilités entourant l'ingestion des données d'autres sources et leur utilisation dans la production de l'IPC.
Produits livrables et échéancier
La directrice générale de la Direction de la statistique de l'industrie :
- élaborera un cadre documenté accompagné d'orientations et de normes détaillées sur l'utilisation et l'application de sources de données de rechange à l'intérieur du programme de l'IPC d'ici février 2025;
- déterminera la fréquence de déploiement du modèle d'apprentissage automatique mis à jour et le mettra en œuvre d'ici avril 2025; et
- officialisera l'élaboration de mesures de rendement du modèle d'apprentissage automatique et déterminera les seuils d'examen manuel d'ici juillet 2025.
Gestion des risques
La direction et les employés de l'IPC ont une connaissance générale des risques du programme et certaines activités de gestion des risques ont lieu de manière ponctuelle. Cependant, les processus de gestion des risques ne sont pas documentés de manière officielle pour le programme de l'IPC.
Les processus de gestion des risques ne sont pas officiellement documentés.
La Politique de gestion intégrée des risques et le Cadre de gestion intégrée du risque de Statistique Canada s'applique à toutes les activités de gestion organisationnelles, d'investissement, de politiques, de programmes, de projets, opérationnelles, des ressources et des finances. Ces instruments sont en place pour appuyer l'intégration de la gestion des risques dans les processus de prise de décisions à tous les niveaux de l'organisme. Ils instaurent aussi une culture de prise de décisions responsable éclairée par l'analyse du risque, qui contribue à la réalisation des objectifs de l'organisme et à l'amélioration des résultats. Une gestion efficace du risque peut doter un programme statistique des outils pour réagir activement au changement et à l'incertitude en s'appuyant sur l'information basée sur les risques en vue d'une prise de décisions plus efficace.
À l'intérieur du train de politiques de gestion des risques de l'organisme, il incombe aux cadres et aux gestionnaires de faire preuve de leadership et d'orienter leurs employés pour qu'ils soient en mesure de déterminer, d'évaluer et de gérer les risques pertinents dans leurs plans, leurs programmes, leurs projets et leurs activités opérationnelles. Ils veillent également à ce que les risques soient communiqués et examinés de manière appropriée dans le cadre de la structure de gouvernance respective et transmis aux partenaires et intervenants internes ou externes appropriés. Ils encouragent les bonnes pratiques de gestion du risque et sont responsables de produire des rapports sur les réponses au risque.
Compte tenu du fait que l'IPC est essentiel au mandat, les principaux risques pour les objectifs du programme — y compris les risques émergents (par exemple, les changements de méthodologies et de systèmes) — devraient être dégagés et abordés activement, et les résultats de ce travail devraient être officiellement documentés. Il s'agirait notamment d'évaluer chaque risque pour en déterminer les répercussions éventuelles et la probabilité de se produire, et de documenter un plan d'action pour atténuer, transférer, éviter ou accepter le risque.
Les entrevues avec la direction et le personnel clés de l'IPC ont révélé qu'ils avaient une connaissance générale des risques du programme de l'IPC; cependant, aucun document officiel de gestion des risques n'était disponible. L'équipe d'audit a également noté que la vision et le plan de travail de la DPC n'étaient pas directement liés à une évaluation officielle des risques. Quoi qu'il en soit, certaines activités de gestion des risques ponctuelles ont lieu et des stratégies officielles d'atténuation des risques ont été décrites lors des entrevues — par exemple, des activités régulières de transfert des connaissances ont lieu. De plus, le Groupe de travail sur les améliorations de la mise à jour du panier a documenté des enjeux et des plans d'atténuation pertinents pour la mise à jour du panier, même si ces travaux ne sont pas liés à un cadre officiel de gestion des risques pour le processus de mise à jour du panier en tant que tel ou pour le programme de l'IPC dans son ensemble.
Un cadre de gestion des risques garantirait que les risques principaux pour l'atteinte des objectifs du programme de l'IPC sont activement cernés, surveillés et atténués ou supprimés, si jugé nécessaire. Cela contribuerait ainsi à garantir la livraison continue de produits statistiques fiables et actuels du programme. En outre, compte tenu des changements importants et continus apportés au programme, des pratiques de gestion des risques officielles permettraient de mieux appuyer la gestion de l'IPC dans le cadre de l'établissement des priorités des initiatives de changement à venir.
Recommandation
Il est recommandé que la statisticienne en chef adjointe du Secteur de la statistique économique s'assure de ce qui suit :
- qu'un cadre de gestion des risques officiel est établi pour le programme de l'IPC, et que des rôles et responsabilités pour la gestion des risques sont officiellement documentés et bien compris.
Réponse de la direction
La direction accepte la recommandation formulée.
Le programme de l'IPC élaborera un profil des risques officiel qui respecte la Politique de gestion intégrée des risques et le Cadre de gestion intégrée du risque de Statistique Canada. Le programme de l'IPC utilisera ce profil comme renseignements pour la prise de décisions et la planification, l'établissement des priorités, les investissements et la mise à jour continue. Ce profil de risque sera examiné en continu et sera un document évolutif.
Réalisation attendue et calendrier
La directrice générale de la Direction de la statistique de l'industrie :
- officialisera un profil de risque conformément aux lignes directrices de l'organisme d'ici janvier 2025.
Annexes
Annexe A : Critères d'audit
Critères d'audit | Instruments de politique et sources |
---|---|
1.1 Les processus de gouvernance et de surveillance sont en place et fonctionnent comme prévu pour surveiller certains processus d'assurance de la qualité à l'intérieur du programme de l'Indice des prix à la consommation (IPC). 1.2 Les rôles et responsabilités pour certains processus d'assurance de la qualité à l'intérieur du programme de l'IPC sont bien documentés et compris par les employés visés. 1.3 Les employés visés sont dotés des outils et des directives nécessaires pour les aider à s'acquitter de leurs responsabilités relativement à l'assurance de la qualité. 1.4 Certains processus d'assurance de la qualité sont appliqués de manière cohérente pour garantir des produits de l'IPC de grande qualité. |
|
Annexe B : Activités de validation
Les Lignes directrices sur la validation des produits statistiques définissent les étapes de validation précises que tous les programmes essentiels au mandat doivent suivre, sauf si l'on peut donner la raison pour laquelle une étape n'a pu être menée à bien. Les activités de validation se divisent en deux groupes :
- Activités fondées sur les secteurs spécialisés
- Activités fondées sur les processus.
Les activités de validation fondées sur les secteurs spécialisés suivantes sont requises pour les enquêtes essentielles au mandat :
- Analyse des variations au fil du temps : pour analyser les variations au fil du temps, on crée une série chronologique cohérente pour une statistique particulière, selon une séquence de points dans le temps.
- Vérification des estimations désaisonnalisées : dans le cas des données mensuelles ou trimestrielles qui présentent des estimations désaisonnalisées, une validation des résultats peut être appropriée. La désaisonnalisation est conçue pour éliminer l'effet des influences saisonnières et du calendrier sur les données infra-annuelles, et ainsi permettre des comparaisons plus utiles de la situation économique d'une période à l'autre.
- Vérification des estimations par les tableaux croisés : cette analyse est habituellement effectuée à un niveau de désagrégation plus détaillé que celui des estimations publiées. Ces totalisations permettent de vérifier la cohérence interne du fichier de données et fournissent la possibilité d'explorer les caractéristiques sous–jacentes associées aux estimations.
- Analyse de la cohérence fondée sur des événements courants connus : dans le cadre de l'analyse de la cohérence fondée sur des événements courants connus, on valide les estimations en fonction des renseignements sur le domaine et des événements récents ayant touché le secteur.
- Comparaison avec d'autres sources similaires de données publiées par Statistique Canada : la comparaison avec d'autres sources similaires de données, publiées par Statistique Canada ou par des sources externes, peut permettre d'évaluer si les microdonnées et estimations agrégées déclarées sont raisonnables.
- Consultation d'intervenants à l'intérieur de Statistique Canada : il serait possible de consulter les intervenants qui ont des connaissances directes du domaine spécialisé faisant l'objet de l'étude ou qui sont des experts d'un domaine spécialisé connexe.
- Participation au Forum du Quotidien : Le Forum du Quotidien est un événement interactif dans lequel les analystes qui participent à la diffusion et à l'interprétation des estimations essentielles au mandat se réunissent pour mettre en commun des renseignements concernant les principales constatations et tendances, et échangent de l'information sur les événements ou les facteurs qui sont pertinents pour l'interprétation de ces données. Il fournit aussi à tous les participants des renseignements sur l'ensemble d'indicateurs connexes de différents programmes statistiques qui pourraient être examinés au moment de l'assurance de la qualité de diffusions de données particulières.
- Séance d'information officielle au comité de gouvernance : Chaque programme essentiel au mandat doit présenter ses résultats de diffusion anticipée au comité de gouvernance (c'est-à-dire, le Comité de gestion stratégique). La présentation comprend un aperçu de tous les changements mis en œuvre ou des problèmes qui se sont posés pendant les opérations de production, les répercussions que ces changements peuvent avoir eues sur les estimations, et la stratégie d'atténuation des risques utilisée. Les enjeux liés à la gestion des programmes doivent aussi être présentés, soulignant tout risque accru d'erreur attribuable à des préoccupations concernant la gestion des ressources humaines ou des employés, ainsi que la stratégie d'atténuation utilisée.
Les activités de validation fondées sur les processus suivantes sont requises pour les enquêtes essentielles au mandat :
- Examen des processus de production : Les processus de production comprennent, par exemple, la création de la base de sondage, le plan d'échantillonnage, la collecte, le codage, la vérification, l'imputation et les systèmes de pondération. Ils comprennent aussi d'autres interventions, comme le couplage de données administratives ou le calcul de variables dérivées.
- Analyse de la cohérence fondée sur des indicateurs de qualité : les indicateurs de la qualité associés à un programme devraient servir à savoir si une estimation est valide. Dans le cas des enquêtes statistiques, des indicateurs de la qualité fondés sur le plan de sondage, les résultats de la collecte et le traitement sont utilisés. Sans toutefois s'y limiter, les indicateurs de la qualité comprennent notamment les taux d'imputation, les métadonnées et les paradonnées, et les taux de révision de l'estimation.