La main-d’œuvre du Canada est l’une des plus scolarisées au monde, mais nous avons assisté à une réelle baisse de la productivité des travailleurs au cours des dernières années. Les données trimestrielles publiées par StatCan en juin 2024 confirment que les travailleurs canadiens continuent d’être moins performants que leurs voisins du Sud. Cette constatation ne surprend pas notre invitée Elizabeth Richards, économiste à StatCan. Les plus récents chiffres trimestriels confirment d’ailleurs la baisse continue de la productivité au Canada, que les économistes surveillent depuis des années.

Quels sont donc les facteurs qui ont une incidence sur la productivité des travailleurs? Et en quoi le fait que les Canadiens soient moins productifs est-il important? En fait, qu’est-ce que la productivité? Dans cet épisode, nous avons demandé à  Elizabeth de nous aider à comprendre comment nous en sommes arrivés là et pourquoi les Canadiens devraient s’intéresser à cette question.

Animatrice

Annik Lepage

Invitée

Elizabeth Richards

Écoutez

Nous pouvons faire de notre mieux, mais il n'est pas toujours facile de savoir ce qui est le mieux pour l'environnement. Notre monde est fort complexe et être vert ne se résume pas à réduire, réutiliser et recycler, bien qu'il s'agisse d'un bon point de départ!

Pour reprendre les mots immortels de Kermit la grenouille, « ce n'est pas facile d'être vert ».

C'est le thème que nous explorons dans cet épisode, divisé en deux segments. Dans le premier segment, que nous avons réalisé à l'interne, nous discutons de la mesure dans laquelle notre monde numérique est réellement vert. Dans le second, qui est tiré du balado Simply Science, nous découvrons le monde fabuleux des forêts urbaines.

Animatrice

Annik Lepage

Invités

Éric Rancourt, Gerry McGovern (Narration: Yves Gilbert)

Écoutez

Par Christian Ritter, William Spackman, Todd Best, Serge Goussev, Greg DeVilliers et Stephen Theobald, Statistique Canada

Introduction

Statistique Canada (StatCan) est passé à une stratégie qui accorde la priorité aux données administratives (Stratégie des données de Statistique Canada). Parallèlement, l'organisme a également étudié et exploité l'apprentissage automatique (AA) (Projets en science des données) de façon accrue, non seulement en raison du volume et de la vitesse des nouvelles données, mais aussi en raison de leur diversité, certaines parties des données étant non structurées ou semi-structurées. Le Cadre pour l'utilisation responsable de l'apprentissage automatique (Utilisation responsable de l'apprentissage automatique à Statistique Canada) a permis d'orienter l'adoption de l'AA par StatCan en vue de la réalisation d'investissements à l'appui d'applications et de méthodes fiables. Cette adoption a également mis l'accent sur le développement d'un code de niveau de production et d'autres pratiques exemplaires (Code de niveau de production dans le domaine de la science des données). L'un des types de pratiques exemplaires élaborés met l'accent sur la transparence, la reproductibilité, la rigueur, l'évolutivité et l'efficacité — des processus également connus sous le nom d'opérations d'apprentissage automatique, ou MLOps. Le présent article propose un aperçu des investissements réalisés et des projets d'élaboration de MLOps à StatCan, en se concentrant sur le cas d'utilisation des statistiques sur les prix, en particulier pour l'Indice des prix à la consommation (IPC) canadien.

À l'instar de nombreux organismes nationaux de statistique (ONS), le programme de l'IPC de StatCan tire avantage de l'AA supervisé pour classer de nouveaux produits uniques (UN Task Team on Scanner Data, 2023 (en anglais seulement)) provenant de sources de données de rechange (p. ex. données de lecteurs optiques, extraites du moissonnage du Web ou administratives) dans les classes de produits utilisées pour l'IPC. Les données administratives de l'économie de consommation soulèvent une préoccupation particulière, à savoir le dynamisme au fil du temps, avec l'arrivée de nouveaux produits sur le marché et le retrait d'anciens produits. Du point de vue de l'AA, cette évolution au fil du temps peut être considérée comme le déplacement progressif de la répartition des données à classer pour chaque mois, par rapport à la répartition sur laquelle un modèle d'AA a été entraîné, ce qui donne lieu à une dégradation graduelle du modèle (voir la figure 1 pour obtenir une visualisation du concept). Comme le montrent Spackman et coll., 2023 (en anglais seulement) et Spackman et coll., 2024 (en anglais seulement), une classification erronée peut également avoir des répercussions sur un indice de prix. Une approche fiable est donc nécessaire pour combiner l'observation des données et des modèles, la validation des enregistrements pour corriger les classifications erronées, et un réentraînement fréquent pour s'assurer que les indices de prix ne sont touchés par aucune classification erronée. Le cadre des MLOps permet de répondre à ces préoccupations grâce à un processus fiable de production d'AA.

Pourquoi le cadre des MLOps est-il utile dans cette situation?

L'application de l'AA à un processus de production nécessite un examen approfondi de plusieurs besoins opérationnels de l'utilisateur final notamment des suivants :

• Efficacité globale, telle que la rentabilité de la gestion
• Capacité d'effectuer l'inférence de modèle sur la production de mégadonnées avec leurs 5V (volume, véracité, vitesse, variété et valeur)
• Assurance d'une utilisation transparente et efficace des algorithmes très complexes
• Assurance d'un rendement fiable et acceptable du modèle en continu assorti d'un risque faible
• Assurance de l'utilisation de nombreux modèles, en parallèle ou au moyen de mises à jour
• Gestion de la dépendance complexe de cadres et de progiciels d'AA en accès libre
• Satisfaction des besoins organisationnels en matière de gouvernance.

Pour répondre à ces besoins opérationnels, le modèle courant d'AA n'est qu'un infime élément dans le contexte du processus global de production d'AA, comme il est souligné par Sculley et coll., 2015 (en anglais seulement), et comme l'illustre la figure 2.

De manière générale, des efforts considérables sont déployés depuis des décennies pour répondre à des besoins opérationnels semblables (en particulier dans le secteur financier), mais ces efforts ont été grandement renforcés lorsque l'AA s'est généralisé dans toutes les industries et que des besoins supplémentaires sont apparus, notamment la nécessité de traiter des mégadonnées et des réseaux neuronaux de plus en plus complexes. Le cadre des MLOps est le processus de production d'AA qui vise à répondre à tous les besoins opérationnels courants susmentionnés. Le cadre des MLOps d'aujourd'hui peut être considéré comme un paradigme ou une approche permettant la livraison automatisée, efficace, transparente et itérative de modèles d'AA en production, tout en se concentrant sur les exigences opérationnelles et réglementaires. Il présente donc de nombreux avantages, en particulier pour StatCan. Le cadre des MLOps couvre les méthodologies statistiques (p. ex. détection des dérives, classification erronée), les pratiques exemplaires en matière de génie logiciel (p. ex. DevOps), et l'infrastructure et les outils (infonuagiques) (p. ex. conception des systèmes, observation, solutions évolutives).

L'approche automatisée et itérative du cadre des MLOps s'inspire des pratiques DevOps du génie logiciel, ce qui, dans le contexte de l'AA, aide à réaliser des économies et à accroître la vitesse de création et de déploiement des modèles, permettant ainsi l'utilisation de nombreux modèles. En outre, la gouvernance et la transparence s'améliorent grâce à l'utilisation du cadre des MLOps. Le processus de création de modèles, avec son approche complexe en plusieurs étapes tenant compte des dépendances de données et de logiciels, est représenté par des pipelines d'entraînement. Un (ré)entraînement fréquent des modèles (réentraînement continu) est souvent nécessaire pour atténuer la dégradation de l'exactitude des modèles d'AA imputable à la dérive des données.

En complément, le processus de déploiement des modèles s'inspire souvent du génie logiciel avec le concept de « déploiement » du logiciel, du modèle et de ses dépendances, dans un environnement de production isolé. Le déploiement s'effectue souvent sur une infrastructure évolutive (c.-à-d. dans laquelle il est facile d'augmenter ou de réduire les ressources informatiques) pour gérer les caractéristiques des mégadonnées; le modèle est encapsulé et intégré dans une interface claire et conviviale (c.-à-d. capable d'interagir par une interface de programmation d'applications, ou API). Ce processus comporte des composantes propres à l'AA, telles que la nécessité d'enregistrer et d'observer le comportement du modèle et des données, et potentiellement d'autoriser la fonctionnalité d'interprétabilité ou d'explicabilité de l'AA.

Comment l'approche des MLOps s'intègre-t-elle aux besoins en matière de statistiques de prix?

L'AA supervisé est un outil clé dans les pipelines de traitement des statistiques des prix à la consommation. Plus précisément, comme l'IPC est calculé à partir d'indices de prix pour des agrégats élémentaires (des associations de classes de produits et de classes géographiques) (Le document de référence de l'Indice des prix à la consommation canadien, Chapitre 4 – Classifications), la classification doit être effectuée pour les produits uniques dans leurs codes de produits respectifs appropriés (c.-à-d. les catégories). D'un point de vue technique, il s'agit d'un problème de traitement du langage naturel, semblable à d'autres exemples de StatCan (Classification des commentaires sur le Recensement de 2021), où le texte décrivant un produit est utilisé par le modèle pour classer le produit dans un groupe utilisé pour les indices de prix. La classification n'étant pas parfaite, une validation manuelle des enregistrements est nécessaire pour corriger les erreurs avant de compiler les indices de prix. Cette validation permet en outre de créer de nouveaux exemples qui peuvent être utilisés comme données de réentraînement. StatCan possède une vaste expérience de ce processus, décrit plus en détail comme l'étape 5.2 du Modèle générique du processus de production statistique (GSBPM) (Classification des commentaires sur le Recensement de 2021). La figure 3 illustre que cette étape clé est au cœur d'un pipeline de traitement d'une source de données de rechange type, telle que des données de lecteurs optiques, avant que le fichier ne puisse être utilisé en production.

L'adoption de principes de MLOps pour ce cas d'utilisation augmenterait considérablement la maturité du processus. Le tableau 1 ci-dessous résume la valeur promise (à gauche) et la manière dont elle répond aux besoins concrets en matière de statistiques de prix (à droite).

Tableau 1 : Résumé des capacités clés du cadre des MLOps et de la manière dont chacune d'entre elles soutient le cas d'utilisation des statistiques de prix.

Promesse des MLOps	Satisfaction des besoins en matière de statistiques de prix
Économies de coûts générales	Réduction des coûts liés aux calculs et au travail des scientifiques des données grâce à l'automatisation des processus
Stabilisation du pipeline pour l'ensemble du cycle de vie de l'AA grâce à des pratiques DevOps	Réduction des risques d'erreurs et de frictions entre l'élaboration des modèles et la production
Réduction des frictions à chaque étape du processus des MLOps grâce à l'automatisation	Automatisation d'étapes complexes du travail de science des données (p. ex. prétraitement et entraînement, reproductibilité et transparence du travail)
Réutilisation du pipeline de création de modèles pour produire des centaines de modèles	Possibilité d'utiliser les modèles d'entraînement fondés sur de nouvelles données pour créer en permanence des modèles d'AA, en orientant le pipeline d'entraînement vers de nouvelles données
Capacité de déploiement accéléré et simplifié des modèles d'AA	Réponse au besoin de produire plusieurs modèles par source de données de rechange à une fréquence plus élevée
Utilisation de l'emplacement central de suivi et de versionnage des modèles	Entrepôt central de modèles et contrôle accru de l'historique et de la gouvernance requis pour tenir à jour des centaines de modèles
Échelonnage simple et automatisé du calcul pendant le processus des MLOps approprié au temps et à l'échelle nécessaires	Capacité d'échelonnage en fonction de la quantité croissante de données à l'aide de systèmes de calcul de haute performance et de systèmes distribués; utilisation rentable
Observation prolongée : de l'observation de l'infrastructure à l'observation des modèles	Garantie de la fiabilité du rendement des modèles en dépit d'une multitude de facteurs tels que les mises à jour des modèles, la dérive des données et les erreurs
Politique et déroulement des opérations communs	Processus automatisé normalisé permettant à l'organisme de répondre à ses besoins en matière d'utilisation de l'intelligence artificielle (IA)
Gestion de dépendances complexes (en accès libre)	Réduction du risque d'échec (silencieux) grâce à des pratiques exemplaires de génie logiciel, comme la virtualisation, les essais, l'intégration continue (IC) et le déploiement continu (DC) (désignés ensemble « CI/CD »)
Audit et gouvernance	Reproductibilité grâce au contrôle des versions de tous les artefacts d'AA; adoption simple de cadres de responsabilité et de contrôle tels que le cadre d'utilisation responsable de l'IA

Cheminement vers l'adoption au moyen du modèle de maturité itératif

Intégration au processus existant

Conformément à la description ci-dessus, la classification des produits (et la détection des valeurs aberrantes et des classifications erronées) fait partie des composantes d'un processus beaucoup plus vaste englobant des données d'autres sources. L'intégration doit donc être réalisée de manière modulaire et dissociée, en suivant les pratiques exemplaires de conception architecturale. Le service de classification ou le système des MLOps est exposé au reste du système de traitement au moyen d'API REST dédiées, ce qui permet une intégration en douceur. Les mises à jour et les modifications apportées à ce système des MLOps ne doivent pas avoir d'incidence sur le système global, tant qu'aucune modalité des contrats d'API n'est enfreinte.

Étapes de maturité

En fonction des besoins opérationnels et d'une étude de faisabilité, une approche itérative a été conçue pour l'adoption des MLOps selon quatre niveaux de maturité des MLOps. Ces étapes, semblables aux pratiques exemplaires de l'industrie telles que celles décrites par Google (MLOps: Continuous delivery and automation pipelines in machine learning (en anglais seulement)) ou Microsoft (Modèle de maturité des opérations de Machine Learning), adoptent un niveau croissant d'automatisation et de corrections pour une variété de risques. La génération de valeur est possible dès le niveau 1 en abordant les aspects les plus critiques de la production d'AA.

Tableau 2 : Modèle de maturité pour le cadre des MLOps

Maturité	Couverture
Niveau 0	Avant l'adoption des MLOps; utilisation du bloc-notes Jupyter pour la modélisation et de scripts Luigi pour l'inférence et l'orchestration
Niveau 1	Entraînement automatique au moyen de pipelines d'entraînement continu, gestion des artefacts d'AA et contrôle des versions; contrôles et observation de la qualité des données de base
Niveau 2	Inférence automatique et évolutive du modèle d'AA sur de nouvelles données; déploiement continu vers des points d'extrémité évolutifs
Niveau 3	Observation assortie de détection des dérives fondée sur le rendement, déploiement de modèles fantômes, réentraînement automatisé, utilisation responsable de l'IA avec des cartes de modèles et établissement de rapports normalisés

Vue d'ensemble de l'architecture et des capacités du système

Avant de s'intéresser à chaque composante et capacité du système, on fournit une représentation visuelle de l'ensemble de l'architecture et du déroulement des opérations d'exécution. Les pipelines (sous forme de code) sont publiés dans l'environnement de production, puis exécutés selon les pratiques exemplaires des MLOps afin d'en garantir la reproductibilité. Des métadonnées sont conservées sur chaque aspect et la provenance est bien établie.

Flux de production

Tout d'abord, on décrit le déroulement des opérations qui survient pour chaque nouvel ensemble de données de détaillant. La figure 4 illustre les étapes qui peuvent être résumées comme un processus de traitement par lots en plusieurs étapes.

1. État initial : Un nouvel ensemble de données de détaillant arrive dans l'entrepôt de données au moyen du processus bronze-argent-or.
2. Un pipeline Synapse est déclenché pour extraire les nouvelles données uniques sur les produits dans le lac de données et appeler notre principal point d'extrémité REST.
3. Le principal point d'extrémité REST exécute un pipeline d'orchestration qui interagit avec différents pipelines (composantes).
4. Il appelle d'abord le pipeline de validation des données qui teste les attentes en matière de données définies au moyen de Great Expectations (GE) (Great Expectations Github (en anglais seulement)). Les rejets à la vérification donnent lieu à des rapports automatiques sur les données.
5. Le pipeline de classification suit, utilisant le type de données et le détaillant en question comme paramètres pour repérer les modèles à production échelonnée dans le registre ainsi que les déploiements correspondants sous les points d'extrémité gérés, comme il convient dans ce cas.
6. Les déploiements distribuent les données à travers plusieurs nœuds aux fins de traitement en parallèle.
7. Les classifications qui en résultent sont validées et vérifiées pour détecter les valeurs aberrantes et les classifications erronées au moyen de méthodes versionnées. On attribue une catégorie aux valeurs aberrantes ou aux classifications erronées.
8. L'orchestrateur place les données classées dans le lac, ce qui déclenche l'exécution d'un pipeline Synapse pour le chargement de ces données de sortie dans l'entrepôt de données.
9. Les résultats de la classification et les données aux valeurs aberrantes sont réingérés dans l'entrepôt de données.
10. Les résultats de la classification et les données aux valeurs aberrantes sont désormais accessibles dans l'entrepôt pour la consommation en aval (et surtout pour la validation).

Déroulement des opérations de création de modèles

Le processus de création du modèle est effectué en marge du déroulement des opérations de production. La figure 5 illustre ces étapes.

1. Le code de modélisation est poussé vers la branche de développement sur GitLab, ce qui déclenche le pipeline de DC pour intégrer le code du pipeline dans Azure Machine Learning (Azure ML).
2. Dans le cadre du processus d'IC, le code est testé selon des procédures établies.
3. Une fois approuvé par l'intermédiaire d'une demande de fusion, le pipeline de DC publie le pipeline d'entraînement dans l'espace de travail en tant que nouvelle version, où il devient disponible aux fins d'exécution. Remarque : Il contient la configuration d'entraînement pour différents détaillants, au besoin.
4. Le pipeline d'entraînement peut être exécuté en le dirigeant vers un emplacement du lac de données où sont stockées les données d'entraînement (ou de réentraînement) prédéterminées. Cette étape peut être programmée aux fins d'exécution au moment de la création de données de réentraînement actualisées. Si l'entraînement est réussi, le modèle est inscrit au registre des modèles Azure ML, sous un nom et une version uniques.
5. La définition du modèle en production est stockée dans un fichier de configuration sur GitLab; la modification de ce fichier entraîne une modification de la configuration du déploiement. Les modèles qui se trouvent sur MLflow (MLflow Tracking : Une façon efficace de suivre les essais de modélisation) sont désignés en conséquence dans le registre des modèles, puis déployés en tant que déploiement sous un point d'extrémité géré correspondant.
6. Selon les besoins des données, un modèle peut être utilisé pour chaque détaillant ou pour plusieurs détaillants. Des modèles fantômes sont également utilisés, s'il y a lieu, pour permettre un processus fiable de mise à jour des modèles à l'issue d'une phase d'observation.

Aperçu détaillé des capacités des MLOps

Bien que l'architecture du système permet d'automatiser de manière fiable tous les aspects nécessaires de la production et d'appuyer le réentraînement automatisé, ces étapes sont requises pour gérer la dérive des données.

Concept de dérive des données

Dans les environnements dynamiques et non stationnaires, la répartition des données peut changer au fil du temps, entraînant le phénomène de dérive conceptuelle (João et coll., 2014 (en anglais seulement)). Dans le contexte des données sur les prix à la consommation, cela pourrait se traduire par l'introduction de nouvelles catégories de produits sur le marché au fil du temps et par l'évolution des préférences des consommateurs. Le rendement du modèle se dégradera si la modification de la répartition des données modifie la limite de décision entre les classes, ce que l'on appelle la dérive conceptuelle réelle (figure 6).

Ces changements de répartition peuvent se produire brusquement ou au fil du temps, comme le montre la figure 7.

Il est important que le système de production MLOps mis en œuvre dispose d'outils permettant de détecter et de corriger les dérives conceptuelles au fur et à mesure qu'elles se produisent.

Détection des dérives

Les données sur les prix à la consommation ne sont pas connues pour changer brusquement. On a donc choisi une détection des dérives fondée sur le rendement (Spackman et coll., 2023). Comme son nom l'indique, la détection des dérives fondée sur le rendement évalue le rendement du modèle prédictif pour établir la présence d'une dérive. Cette approche est appropriée en présence d'une proportion élevée de validation pour corriger les éventuelles classifications erronées après le modèle, comme c'est le cas pour notre mise en œuvre. Dans nos systèmes de production, le rendement du modèle prédictif est inconnu au moment de la classification. Pour calculer le rendement, un sous-ensemble des instances prédites doit être signalé aux fins d'assurance de la qualité. Une fois que l'on dispose d'un ensemble de données dont la qualité est garantie, on peut comparer les prédictions du modèle aux vraies classes afin de calculer les paramètres d'évaluation permettant de mesurer le rendement. Pour que cette évaluation soit fiable, le sous-ensemble d'instances prédites choisi aux fins d'assurance de la qualité ne doit pas être biaisé. L'une des méthodes de sélection d'un échantillon non biaisé consiste à sélectionner au hasard une proportion précise d'instances à partir de chaque exécution du modèle prédictif. La figure 8 ci-dessous montre notre tableau de bord de suivi du rendement des modèles, qui présente différentes valeurs F1, de précision et de rappel pour des exécutions distinctes du modèle prédictif, qui peuvent être utilisées pour établir s'il y a eu dérive.

Réentraînement des modèles

Le suivi du rendement au fil du temps a permis de constater une dérive des données dans les modèles de production; un processus est donc nécessaire pour en atténuer les répercussions dans le système des MLOps. L'une des options pour contrer la dérive conceptuelle consiste à réadapter périodiquement les modèles de production à l'aide de nouvelles données. Ce processus est lourd et fastidieux aux premiers stades de la maturité des MLOps. C'est pourquoi l'opérationnalisation du processus de réentraînement des modèles constitue un élément clé de la maturité des MLOps.

La figure 9 illustre le flux de nouveaux produits dans le système des MLOps. Les nouveaux produits ingérés dans le système de production sont automatiquement classés. Comme cela a été indiqué précédemment, une fraction des produits est sélectionnée pour que leurs classes soient vérifiées et corrigées manuellement par un annotateur formé. À partir d'un processus d'examen manuel, il est possible d'estimer les critères de rendement du classifieur. En outre, les produits vérifiés manuellement servent de nouvelles données d'entraînement qui peuvent être utilisées pour réentraîner le classifieur, qui est ensuite déployé en production.

Ce processus de révision et de réadaptation reste cohérent entre les différents niveaux de maturité des MLOps. La différence réside dans l'automatisation du pipeline de réentraînement. Au dernier niveau de maturité, la mise à jour des données d'entraînement, la réadaptation du modèle et le déploiement du modèle sont entièrement automatisés; ils sont déclenchés soit par l'achèvement de l'étape de révision manuelle, soit selon un échéancier fixe.

Validation des données et contrôle des attentes

Les modifications de la qualité des données constituent un problème important pour le rendement des modèles et la qualité des extrants en production. En fait, les données sont devenues la partie la plus importante d'un projet de science des données (ère axée sur les données), car les architectures et les modèles sont facilement accessibles. Il est donc nécessaire d'établir un cadre et des méthodes appropriés en matière de qualité des données. Dans le contexte de l'AA, il est important d'harmoniser les vérifications de la qualité avec les attentes du scientifique de données qui crée les modèles. Un pipeline distinct de validation des données a été mis en place spécialement pour cette tâche. Il effectue des vérifications à l'aide du cadre en accès libre Great Expectations (GE) (Great Expectations Github (en anglais seulement)).

Le degré de souplesse et d'évolutivité de GE est élevé en ce qui concerne le type de contrôles pouvant être effectués et la création des attentes visant à permettre un contrôle de version aisé. GE produit également des rapports automatiques et faciles à lire sur la qualité des données à l'intention des spécialistes de domaine et des scientifiques des données. Ces rapports sont accessibles directement dans l'interface utilisateur d'Azure ML. Par ailleurs, GE fournit une bibliothèque d'extension des contrôles des attentes de validation des données prêts à l'emploi pour un déploiement et une réutilisation rapides dans différents ensembles de données, et offre de multiples options de connexion à diverses sources de données (fichiers CSV sur des lacs de données ou des serveurs de fichiers, bases de données, etc.). De plus, GE offre la possibilité de développer des suites d'attentes et des contrôles personnalisés, ce qui permet d'adapter les contrôles des attentes des concepteurs à des cas d'utilisation marginaux qui ne seraient généralement pas couverts par les méthodes de validation des données standard.

Contrôle des versions

L'utilisation appropriée du contrôle des versions (Contrôle de version avec Git pour les professionnels de l'analyse) est une condition essentielle pour un système de MLOps. Il s'agit d'une exigence importante dans le cadre de l'adoption à plus grande échelle de pratiques exemplaires en accès libre pour le développement de la production par les organismes nationaux de la statistique (Price et Marques, 2023). Pour le cas d'utilisation de l'AA, elle comprend non seulement le contrôle de version du code, mais aussi les versions des parties supplémentaires dans le cycle de vie de l'AA, y compris le contrôle de version des données, le contrôle de version de l'expérience et le contrôle de version du modèle. Pour obtenir une provenance et un historique fiables, il faut suivre les versions des différentes parties du processus. Par exemple, pour un modèle en production, on souhaite connaître les données sur lesquelles le modèle a été entraîné, le code d'entraînement utilisé, etc.

• Contrôle de version du code : Le système des MLOps utilise le contrôle qualité du code et les pratiques exemplaires d'IC/de DC. Il utilise plus particulièrement GitOps, qui définit le répertoire Git comme la source fiable et l'état du système adopté. Les pipelines et les déploiements sont définis de la même manière que le code.
• Contrôle de version des données : Le contrôle de version des données permet de retracer le modèle d'AA produit jusqu'à la version des données sur lesquelles il a été entraîné. Dans un processus de production appliqué aux données comprenant une arrivée fréquente de nouvelles données, il est également essentiel de garder une trace de la version des données. Les ensembles de données d'Azure ML sont utilisés pour répondre aux deux besoins.
• Contrôle de version du modèle : Le contrôle de version du modèle peut être simplifié par un entrepôt central de modèles, qui stocke les artefacts du modèle et assure la gestion de ses métadonnées. MLflow est l'outil en accès libre le plus connu pour la gestion de modèles. On utilise l'entrepôt de modèles d'Azure ML, car il permet d'interagir avec MLflow.
• Contrôle de version des dépendances des progiciels : Le contrôle de version des dépendances des progiciels se fait au moyen d'environnements virtuels et d'images de menu fixe dans lesquels les dépendances sont encapsulées. Les environnements Azure Container Registry et Azure ML sont utilisés pour gérer les dépendances des pipelines de données et des modèles d'AA.
• Contrôle de version des pipelines : L'exécution quotidienne de nombreux pipelines exige le contrôle de version des nouveaux pipelines publiés. On a recours au versionnage des pipelines d'Azure ML pour publier des pipelines et les gérer sous des points d'extrémité de pipeline.
• Versionnage du déploiement : Le versionnage du déploiement est géré au moyen de dépendances sur la version du modèle.

La figure 11 (ci-dessous) résume la manière dont ces différentes composantes sont associées pour former un graphique de l'historique des modèles déployés.

Conclusion

Cet article résume la manière dont le cadre des MLOps peut apporter une valeur considérable à un programme statistique essentiel de StatCan, en renforçant la maturité et la robustesse d'un processus de production en accord avec le Cadre pour l'utilisation responsable de l'apprentissage automatique à Statistique Canada (Utilisation responsable de l'apprentissage automatique à Statistique Canada). L'organisme continuera d'évaluer comment le cadre des MLOps peut être appliqué à d'autres cas d'utilisation et à investir dans l'expansion de capacités développées. Par exemple, les capacités suivantes sont à l'étude : tableaux de bord d'IA explicables dans le cadre de l'étape de choix des modèles dans le flux de travail de création des modèles; détection plus fiable de la dérive des données; déploiement plus explicite de modèles fantômes pour appuyer l'évaluation des modèles (ou simplement exécution permanente de modèles de sauvegarde en production, au besoin); suivi amélioré des coûts pour optimiser encore davantage l'utilisation opérationnelle.

Bibliographie

João, Gama, Žliobaitė Indrė, Albert Bifet, Mykola Pechenizkiy et Abdelhamid Bouchachia. (2014). A survey on concept drift adaptation (en anglais seulement). ACM computing surveys (CSUR), 46(4), 1-37.

Price, Matthew, et Diogo Marques. (2023). Developing reproducible analytical pipelines for the transformation of consumer price statistics: rail fares, UK (en anglais seulement). Meeting of the Group of Experts on Consumer Price Indices, Geneva: UN.

Sculley, David, Gary Holt, Daniel Golovin, Eugene Davydov, Todd Phillips, Dietmar Ebner, Vinay Chaudhary, Michael Young, Jean-Francois Crespo et Dan Dennison. (2015). Hidden technical debt in machine learning systems. Advances in neural information processing systems (28).

Spackman, William, Greg DeVilliers, Christian Ritter et Serge Goussev. (2023). Identifying and mitigating misclassification: A case study of the Machine Learning lifecycle in price indices with web-scraped clothing data (en anglais seulement). Meeting of the Group of Experts on Consumer Price Indices, Geneva: UN.

Spackman, William, Serge Goussev, Mackenzie Wall, Greg DeVilliers, and David Chiumera. 2024. "Machine Learning is (not!) all you need: Impact of classification-induced error on price indices using scanner data." (en anglais seulement) 18th Meeting of the Ottawa Group. Ottawa: UNECE.

UN Task Team on Scanner Data. (2023). Classifying alternative data for consumer price statistics: Methods and best practices (en anglais seulement). Meeting of the Group of Experts on Consumer Price Indices, Geneva.

Commencez votre enquête

Certaines enquêtes de Statistique Canada peuvent être faites en ligne. Si vous avez reçu, par courriel ou par la poste, une invitation à participer à une enquête en ligne, suivez les étapes ci-dessous pour y accéder.

Étape 1 : Consultez le portail des questionnaires électroniques et sélectionnez Commencer l'enquête.

Étape 2 : Entrez votre code d'accès sécurisé.

Étape 3 : Répondez à l'enquête.

Vous ne trouvez pas votre code d'accès sécurisé ou vous avez besoin d'aide?

Téléphone :

1-877-949-9492
(ATS : 1-800-363-7629)
Du lundi au vendredi (sauf les jours fériés), de 8 h à 19 h, heure de l'Est

Si vous utilisez un service de relais téléphonique, vous pouvez nous appeler pendant les heures normales de bureau. Il n'est pas nécessaire d'autoriser le téléphoniste à communiquer avec nous.

Courriel :

infostats@statcan.gc.ca

Novembre 2024
Numéro du projet : 80590-140

Table des matières

• Résumé
• Conformité aux normes professionnelles
• Sigles et acronymes
• Introduction
  • Contexte
  • Objectif de l'audit
  • Portée
  • Approche et méthodologie
  • Autorité
• Constatations, recommandations et réponse de la direction
  • Cadre de gestion de l'approvisionnement
  • Organismes de surveillance
  • Surveillance et données sur l'approvisionnement
  • Appels d'offres pour l'acquisition de services professionnels
  • Contrats et modifications
  • Divulgation proactive
• Annexes
  • Annexe A : Critères d'audit

Résumé

Contexte

La fonction d'approvisionnement joue un rôle crucial dans l'acquisition de biens, de services et de constructions essentiels pour appuyer l'exécution des programmes du gouvernement du Canada et lui permettre d'atteindre ses objectifs et résultats. La passation de marchés du gouvernement fédéral est régie par une série d'instruments, dont des lois, des règlements, des ententes et des politiques, visant à garantir que les acquisitions obtiennent la meilleure valeur possible au moyen de processus équitables, ouverts et transparents. Conformément à la Directive sur la gestion de l'approvisionnement du Secrétariat du Conseil du Trésor du Canada (SCT), les ministères et organismes doivent établir, mettre en œuvre et maintenir un cadre de gestion de l'approvisionnement (CGA), qui comprend une gouvernance, des processus, des systèmes et des contrôles. La directive permet de s'assurer que les mesures liées à la gestion de l'approvisionnement sont équitables, ouvertes et transparentes, et qu'elles répondent aux attentes du public en matière de prudence et de probité. Par ailleurs, elle permet de veiller à ce que les approvisionnements soient gérés d'une manière qui permet d'obtenir des résultats opérationnels et qui témoigne d'une bonne intendance et de l'optimisation des ressources, conformément aux objectifs socioéconomiques et environnementaux du gouvernement du Canada. La directive prévoit que le CGA soit proportionnel à la valeur, au risque et à la complexité du ou des processus d'approvisionnement entrepris.

Pourquoi est-ce important?

Au cours des dernières années, des questions liées aux marchés publics de même que des préoccupations ont été soulevées quant à savoir si de saines pratiques d'approvisionnement et de gestion étaient systématiquement adoptées et suivies à l'échelle du gouvernement. À la demande de la Chambre des communes et du premier ministre, des audits ont été menés par le SCT, par l'entremise du Bureau du contrôleur général du Canada (BCG), du Bureau de l'ombudsman de l'approvisionnement et du Bureau du vérificateur général du Canada. Ces audits ont mis en évidence de nombreuses lacunes et faiblesses dans les pratiques de gestion de l'approvisionnement, les dossiers d'approvisionnement avec des documents insuffisants ou manquants, et des défis pour démontrer que la meilleure valeur était obtenue pour les dollars des contribuables.

En mars 2024, le président du Conseil du Trésor (CT) a annoncé que le BCG entreprenait un audit horizontal pour évaluer la gouvernance, la prise de décisions et les contrôles liés aux contrats de services professionnels. L'audit a requis la participation de nombreux petits et grands ministères responsables. Le BCG a aussi demandé aux dirigeants principaux de la vérification de ministères et d'organismes fédéraux d'inclure un examen des contrôles et de la gouvernance internes en matière d'approvisionnement dans leurs plans de vérification axés sur les risques si aucun examen n'avait été mené au cours des 12 mois précédents.

Par conséquent, la Direction de l'audit et de l'évaluation a réalisé cet audit des pratiques d'approvisionnement, en tenant compte de l'objectif et de la portée des audits du BCG qui ont été réalisés récemment ou qui sont en cours.

Conclusion générale

De manière générale, le CGA de l'organisme répond aux exigences de la Directive sur la gestion de l'approvisionnement et aux autres lois, politiques et directives liées à l'approvisionnement. Cependant, certains aspects doivent être renforcés et une attention particulière est requise pour s'assurer que certains processus clés fonctionnent comme prévu. L'examen d'un ensemble d'acquisitions de l'organisme a permis de conclure qu'elles avaient été établies et administrées conformément aux exigences, bien que certaines erreurs administratives et lacunes dans la documentation aient été relevées dans de nombreux dossiers. L'examen a également fait ressortir la nécessité de garantir que les méthodes d'approvisionnement choisies correspondent aux exigences de l'organisme et que le rendement du fournisseur est géré et surveillé.

Principales constatations

De manière générale, le CGA répond aux exigences de la directive, même si certains aspects doivent être renforcés, et une attention particulière est requise pour s'assurer que certains processus clés fonctionnent comme prévu.

Des organismes de gouvernance sont mis en place et se conforment aux exigences de la directive, bien qu'il y ait des possibilités d'élargir leur rôle.

L'organisme effectue une surveillance pour détecter les actes répréhensibles, assurer la conformité à la directive et évaluer le rendement des fournisseurs, mais des renseignements plus complets permettraient d'appuyer davantage la prise de décisions.

Les approvisionnements concurrentiels et non concurrentiels étaient principalement attribués conformément au CGA de l'organisme et aux instruments juridiques et de politique en place, mais des erreurs administratives et des documents manquants ont été relevés, ainsi que des situations où la méthode d'approvisionnement ne correspondait pas aux exigences de l'organisme.

Les contrats et les modifications sont établis et administrés conformément aux exigences du SCT, bien qu'il soit possible d'avoir une gestion et une surveillance plus proactives du rendement des fournisseurs. Les procédures pourraient être renforcées afin d'assurer une surveillance plus proactive des conflits d'intérêts potentiels.

Les données sur la passation des marchés associées aux contrats examinés n'étaient pas toujours divulguées avec exactitude sur le Portail du gouvernement ouvert du Canada.

Conformité aux normes professionnelles

L'audit a été réalisé conformément aux Procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales d'audit interne de l'Institute of Internal Auditors.

L'application de procédures d'audit suffisantes et appropriées et la collecte des éléments de preuve contribuent à l'exactitude des constatations et des conclusions du présent rapport, et donnent une assurance de niveau audit. Les constatations et les conclusions sont fondées sur une comparaison des conditions, telles qu'elles existaient à l'époque, au regard de critères de vérification préétablis. Les constatations et les conclusions s'appliquent à l'entité examinée pour la portée et la période de référence de l'audit.

Steven McRoberts
Dirigeant principal de la vérification et de l'évaluation

Sigles et acronymes

AA - Arrangement en matière d'approvisionnement
AF - Anciens fonctionnaires
BCG - Bureau du contrôleur général du Canada
CAL - Commande d'achat local
CEC - Conseil d'examen des contrats
CEG - Comité exécutif de gestion
CGA - Cadre de gestion de l'approvisionnement
CGMO - Cadre de gestion des marchés de l'organisme
CGS - Comité de gestion stratégique
CO - Comité des opérations
CRD - Compte rendu des décisions
CSD - Cadre supérieur désigné
CT - Conseil du Trésor du Canada
DP - Demande de propositions
DG - Directeur général / Directrice générale
LGFP - Loi sur la gestion des finances publiques
OC - Offre à commandes
RME - Règlement sur les marchés de l'État
SCA - Statisticienne en chef adjointe
SCT - Secrétariat du Conseil du Trésor du Canada
SFMC - Système financier ministériel commun
SMC - Services du matériel et des contrats
SPAC - Services publics et Approvisionnement Canada
SPC - Services partagés Canada
SSPC - Système des services professionnels centralisés

Introduction

Contexte

La fonction d'approvisionnement joue un rôle crucial dans l'acquisition de biens, de services et de constructions essentiels pour appuyer l'exécution des programmes du gouvernement du Canada et lui permettre d'atteindre ses objectifs et résultats. La passation de marchés du gouvernement fédéral est régie par une série d'instruments, dont des lois, des règlements, des ententes et des politiques, visant à garantir que les acquisitions obtiennent la meilleure valeur au moyen de processus équitables, ouverts et transparents. En 2021, le Secrétariat du Conseil du Trésor du Canada (SCT) a amorcé un remaniement de son ensemble de politiques pour mettre l'accent sur la planification intégrée, la gouvernance et la responsabilisation dès le début, les approches agiles et axées sur le rendement, l'adoption des principes du cycle de vie, le renforcement des capacités et le renforcement des perspectives stratégiques.

Conformément à la Directive sur la gestion de l'approvisionnement du SCT, les ministères et organismes doivent établir, mettre en œuvre et maintenir un cadre de gestion de l'approvisionnement (CGA), qui comprend une gouvernance, des processus, des systèmes et des contrôles. La directive permet de s'assurer que les mesures liées à la gestion de l'approvisionnement sont équitables, ouvertes et transparentes, et qu'elles répondent aux attentes du public en matière de prudence et de probité. Par ailleurs, elle permet de veiller à ce que les approvisionnements soient gérés d'une manière qui permet d'obtenir des résultats opérationnels et qui témoigne d'une bonne intendance et de l'optimisation des ressources, conformément aux objectifs socioéconomiques et environnementaux du gouvernement du Canada. La directive prévoit que le CGA soit proportionnel à la valeur, au risque et à la complexité du ou des processus d'approvisionnement entrepris.

Au cours des dernières années, des questions liées aux marchés publics de même que des préoccupations ont été soulevées quant à savoir si de saines pratiques d'approvisionnement et de gestion étaient systématiquement suivies à l'échelle du gouvernement. À la demande de la Chambre des communes et du premier ministre, des audits ont été menés par le SCT, par l'entremise du Bureau du contrôleur général du Canada (BCG), du Bureau de l'ombudsman de l'approvisionnement et du Bureau du vérificateur général du Canada. Ces audits ont mis en évidence de nombreuses lacunes et faiblesses dans les pratiques de gestion de l'approvisionnement, les dossiers d'approvisionnement avec des documents insuffisants ou manquants, et des défis pour démontrer que la meilleure valeur était obtenue pour les dollars des contribuables.

Ces audits ont aussi renforcé l'importance que les ministères et organismes maintiennent et vérifient l'efficacité de leurs CGA, particulièrement en ce qui concerne l'approvisionnement des services professionnels. De plus, ils ont mis en évidence des possibilités pour le SCT et Services publics et Approvisionnement Canada (SPAC), conformément à leurs mandats respectifs, de renforcer l'approvisionnement dans l'ensemble du gouvernement fédéral dans les domaines des politiques, des orientations, des outils et de la formation, des pratiques de mise en œuvre et des méthodes de passation des marchés.

L'approvisionnement au sein de l'organisme

L'organisme est assujetti au Règlement sur les marchés de l'État (RME) et aux exigences du SCT lorsqu'il passe des marchés pour l'acquisition de biens et services. La section des Services du matériel et des contrats (SMC), qui fait partie de la Division de l'approvisionnement, des systèmes financiers et des contrôles internes au sein de la Direction des finances, de la planification et de l'approvisionnement, Secteur des stratégies et de la gestion intégrées, facilite le processus d'approvisionnement au sein de l'organisme et est chargée d'établir et de mettre à jour le CGA de l'organisme.

Dans le cadre des pouvoirs d'approvisionnement délégués de l'organisme, les SMC œuvrent à titre d'autorité contractante pour le processus d'approvisionnement. L'autorité contractante mène les processus d'approvisionnement au nom de l'organisme, conformément à des principes d'approvisionnement solides et aux instruments régissant la passation des marchés. Elle conseille les propriétaires fonctionnels et leur recommande des options quant aux stratégies d'approvisionnement qui répondent aux besoins opérationnels et qui produisent les résultats escomptés.

Bien que les SMC facilitent le processus d'approvisionnement, la responsabilité des achats incombe en grande partie au propriétaire fonctionnel. Les propriétaires fonctionnels collaborent avec l'autorité contractante pour s'assurer que tous les renseignements concernant leurs besoins sont exacts et complets, et respectent les processus et procédures de gouvernance requis conformément aux instruments de gouvernance.

Lorsque les valeurs des contrats dépassent les pouvoirs d'approvisionnement délégués de l'organisme, SPAC agit comme autorité contractante et doit fournir des conseils et un soutien aux propriétaires fonctionnels et pour émettre et administrer les contrats et les modifications au nom de l'organisme. Pour certaines exigences liées à la technologie de l'information, Services partagés Canada (SPC) agit aussi souvent comme autorité contractante. De plus, SPAC et SPC ont publié des offres à commandes (OC) et des arrangements en matière d'approvisionnement (AA) que l'ensemble des ministères et organismes doivent utiliser lors de l'acquisition de certains biens et services. L'utilisation de ces instruments d'approvisionnement est souvent obligatoire et ils doivent être utilisés par les ministères et les organismes, qu'ils agissent à titre d'autorité contractante ou que SPAC le fasse.

Le graphique ci-dessous, Valeur totale et nombre de contrats par exercice financier et méthode d'approvisionnement (fourni par les SMC), présente l'ensemble de l'activité d'approvisionnement de l'organisme de 2019-2020 à 2023-2024. Il comprend la valeur des contrats établis (excluant les modifications) et le nombre de contrats par exercice financier. Les données sur la valeur des contrats sont ventilées en quantités des contrats signés par d'autres ministères (c.-à-d. où SPAC ou SPC a agi à titre d'autorité contractante) et quantités des contrats signés par les SMC. Lorsque l'organisme agissait en tant qu'autorité contractante la valeur des contrats est ventilée davantage en quantités de contrats établis au moyen d'une OC ou d'un AA de SPAC/ SPC et quantités de contrats établis en utilisant une commande d'achat local (CAL). Il convient de noter que les valeurs de passation de marchés étaient anormalement élevées en 2019-2020 en raison du grand volume d'achats de logiciels et en 2023-2024 en raison des contrats de services d'infonuagique pour l'organisme et d'un contrat d'impression pour le Recensement de la population.

Bien que SPAC ou SPC soit l'autorité contractante pour la plupart des dollars de passation de marchés établis chaque année, l'organisme (c.-à-d. les SMC) était l'autorité contractante pour environ 70 % de tous les contrats établis au cours des cinq dernières années (ce qui représente une moyenne de plus de 300 contrats annuellement). Les contrats établis par les SMC ont en général une valeur plus faible en dollars et une complexité moindre que ceux où SPAC ou SPC intervient.

Objectif de l'audit

L'audit avait pour objectif de fournir une assurance raisonnable au statisticien en chef du Canada et au Comité ministériel de vérification que Statistique Canada a en place une gouvernance et des contrôles efficaces pour garantir que les acquisitions sont conformes aux règlements, aux accords et aux politiques applicables.

Portée

La portée de cette mission comprenait un examen du CGA et de la gouvernance de l'organisme en place pour appuyer sa mise en œuvre, y compris l'imputabilité, les rôles et les responsabilités des principaux intervenants, les autorités de prise de décisions liées à l'approvisionnement, et les mécanismes de surveillance, de planification et de rapports.

La portée comprenait également une évaluation de la conformité aux principales exigences en matière de lois et de politiques au moyen d'un examen de certains contrats de services professionnels et des modifications connexes signés par l'organisme au cours des deux derniers exercices financiers (d'avril 2022 à mars 2024).

En raison des exigences d'indépendance, les activités de passation de marché réalisées par la Direction de l'audit et de l'évaluation sont exclues de la portée.

Approche et méthodologie

Le travail d'audit a consisté à examiner les politiques et les lignes directrices actuelles, à effectuer des entrevues et des visites avec des membres clés de la direction et du personnel, à vérifier un échantillon de dossiers d'approvisionnement, et à examiner et à analyser la documentation connexe.

Autorité

L'audit a été mené en vertu des pouvoirs prévus dans le Plan intégré d'audit et d'évaluation fondé sur les risques (2024-2025 à 2028-2029) approuvé par Statistique Canada.

Constatations, recommandations et réponse de la direction

Cadre de gestion de l'approvisionnement

Les cadres supérieurs désignés (CSD) sont responsables de l'établissement, de la mise en œuvre et de la mise à jour d'un CGA qui consiste en des processus, des systèmes et des contrôles, et comprend des rôles et responsabilités clairement établis, ainsi que des pratiques et procédures exemplaires. Ce CGA vise à veiller à ce que la fonction de l'approvisionnement dispose du soutien nécessaire pour gérer les approvisionnements de façon équitable, ouverte, transparente et conforme aux attentes du public en matière de prudence et de probité.

Bien que les éléments clés d'un CGA soient communs dans l'ensemble du gouvernement, la manière dont chaque organisation l'opérationnalise variera. Cela dépend de variables telles que la taille, la maturité et le profil de risque de l'organisation, ainsi que du volume, de la valeur et de la complexité des activités d'approvisionnement. Comme mentionné précédemment, la directive prévoit que le CGA soit proportionnel à la valeur, au risque et à la complexité du ou des processus d'approvisionnement entrepris. À Statistique Canada, la direction considère que les achats de l'organisme sont pour la plupart de faible valeur, à faible risque et faible complexité.

Le CGA ministériel consiste en un Cadre de gestion des marchés de l'organisme (CGMO) de haut niveau qui résume les rôles et les responsabilités clés, une ébauche de guide du CGMO qui fournit des rôles et responsabilités plus détaillés, et de plus amples orientations sur la mise en œuvre du CGMO. Il comprend également divers modèles pour aider les agents de négociation des marchés à accomplir leur travail, et un ensemble de pages du Réseau de communications internes qui expliquent les étapes principales que les clients doivent suivre pour divers types d'acquisitions.

La directive présente 16 éléments précis qui doivent faire partie d'un CGA, ainsi que de nombreuses autres exigences du CSD pour la gestion de l'approvisionnement, les autorités contractantes, les propriétaires fonctionnels et autres intervenants dans le processus d'approvisionnement. L'audit a évalué la conformité du CGA de l'organisme avec les exigences principales.

Dans l'ensemble, le CGA de l'organisme correspond aux attentes de la directive. Le CGA précise les rôles et responsabilités des personnes qui participent au processus d'approvisionnement et comprend les mécanismes à suivre pour répondre aux diverses exigences de la directive, telles que, entre autres, la passation de marchés avec des entreprises autochtones, le respect des traités et des accords commerciaux, donner la priorité à la concurrence et garantir l'intégrité du processus d'approvisionnement.

Conformément à la directive, le CGA de l'organisme a été élaboré à un niveau qui soit proportionnel à la valeur, au risque et à la complexité de ses approvisionnements. Les processus qui ne sont pas documentés de manière aussi exhaustive dans le guide du CGMO sont pour la plupart appuyés par des modèles qui demandent aux autorités contractantes de tenir compte de certains éléments de la directive qui pourraient autrement être négligés, ainsi que des examens par les pairs et les chefs de groupe à des étapes clés du processus d'approvisionnement.

Cela dit, l'organisme pourrait tirer avantage de documenter la justification pour certains secteurs du CGA où le risque, la complexité et la valeur des approvisionnements de l'organisme n'exigent pas de contrôles plus formels. Le fait de documenter cette justification faciliterait les examens périodiques du CGA et aiderait la direction à déterminer où des contrôles plus formels pourraient être requis alors que le contexte d'approvisionnement de l'organisme évolue.

Nonobstant l'équilibre de la documentation par rapport à la valeur, au risque et à la complexité des approvisionnements de l'organisme, l'audit a permis de dégager plusieurs éléments qui pourraient bénéficier d'une documentation plus claire et plus complète. Il s'agit des suivants :

• Le processus de sécurité lors de l'attribution du contrat et pendant son administration – Bien que le guide du CGMO fournisse une orientation sur l'établissement d'exigences en matière de sécurité pour les approvisionnements, il ne donne pas de directive sur le processus de sécurité lors de l'attribution du contrat et pendant son administration (p. ex. le processus pour valider les cotes de sécurité des fournisseurs lors des autorisations de travaux).
• Le rôle et les responsabilités du CSD – Certaines incohérences ont été relevées en ce qui concerne le rôle et les responsabilités du CSD tels qu'ils sont déterminés dans le CGA et dans la directive. La direction a indiqué qu'ils avaient été élaborés dans le CGA avant l'achèvement de la directive.
• Les acquisitions pour lesquelles SPAC agit comme autorité contractante – Les responsabilités pour les SMC dans les situations où SPAC agit comme autorité contractante ne sont pas définies. Dans ces situations, les SMC agissent comme autorité administrative, un rôle différent de celui de l'autorité contractante.
• La possibilité d'utiliser des ressources internes ou externes pour atteindre l'objectif de l'approvisionnement et pour gérer les situations de sous-traitance – Avant de décider de passer un marché pour des services professionnels, les propriétaires fonctionnels devraient évaluer s'il existe d'autres méthodes pour atteindre les buts organisationnels, et comment les méthodes potentielles s'harmonisent avec le mandat et les priorités de l'organisme. Après l'octroi du contrat, sa réalisation exige que les propriétaires fonctionnels gèrent activement leur relation avec le fournisseur, ses employés et tous les sous-traitants avec lesquels il pourrait collaborer. Le SCT a récemment mis à jour son Guide du gestionnaire : principales considérations pour l'approvisionnement en services professionnels. Ce guide comprend des questions pour aider les gestionnaires à décider d'avoir recours ou pas à des services professionnels (ou à déterminer si l'utilisation de ressources internes serait plus appropriée) et les guide pour gérer le contrat avec succès. Le cas échéant, ce guide devrait être intégré dans le CGA de l'organisme.
• L'élaboration et la documentation d'une méthode de gestion des fournisseurs – Bien que cela ne constitue pas une exigence de la directive, un secteur a mis en œuvre une méthode pour gérer un volume élevé de demandes non sollicitées d'engagement avec des employés par des fournisseurs potentiels. Ce programme de gestion des fournisseurs contribue à garantir que les interactions entre les fournisseurs potentiels et les employés ne mettent pas en péril l'ouverture ou l'intégrité des approvisionnements, et qu'elles répondent aux attentes du Code de valeurs et d'éthique de la fonction publique et de la Directive sur les conflits d'intérêts. Bien que le programme n'ait pas été formellement documenté, le secteur a indiqué avoir collaboré avec les SMC à de nombreuses occasions pour s'assurer que leur approche était appropriée. Il pourrait être utile pour l'organisme de documenter cette approche et d'envisager la mise sur pied d'un programme de gestion des fournisseurs à l'échelle de l'organisme qui pourrait s'appliquer à tous les secteurs.

Dans le cadre de l'examen des dossiers et des entrevues, l'audit a aussi permis de relever plusieurs cas dans lesquels les processus établis du CGA ne fonctionnaient pas comme prévu et pourraient nécessiter une attention accrue de la direction pour en garantir l'efficacité. Ces cas sont les suivants :

• Un modèle d'évaluation du risque a été élaboré par les SMC pour que les autorités contractantes l'utilisent dans le cadre de certaines acquisitions afin de fournir des renseignements sur le risque qui seront utilisés tout au long du cycle de vie de l'approvisionnement. Le modèle comprend une liste de risques courants, y compris, sans toutefois s'y limiter, la passation de marchés répétitive, les approvisionnements évalués à l'intérieur de 10 % des seuils, et la non-conformité potentielle aux obligations juridiques et politiques. Il présente aussi une section permettant à l'autorité contractante de cerner tout autre risque qui n'a pas été indiqué dans la liste préétablie, mais qui pourrait s'appliquer à l'approvisionnement. Cependant, l'examen a permis de constater que les évaluations de risque ne sont pas réalisées par les autorités contractantes lorsque cela est requis.
• Les audits d'examen de la qualité des dossiers d'approvisionnement ne sont pas réalisés comme requis dans le guide. Ces examens pourraient fournir de précieux renseignements sur l'efficacité des contrôles et fournir un aperçu de la conformité de l'organisme au CGA et aux lois, règlements et politiques applicables.
• Pour 2024-2025, l'organisme a entrepris un plan d'approvisionnement pour dresser une liste des acquisitions prévues par l'organisme pour l'année, pour les services professionnels de plus de 40 000 $. Cela aiderait l'organisme à planifier ses ressources d'approvisionnement et à dégager les possibilités de méthodes d'approvisionnement stratégique lorsque des besoins communs dans l'ensemble de l'organisme sont cernés avant de procéder à l'approvisionnement. Cependant, les taux de réponse des divisions étaient très faibles, limitant l'efficacité du plan. Notamment, les SMC ont pris note des leçons retenues de l'exercice et ont l'intention de les intégrer au processus de planification de l'approvisionnement pour le prochain exercice financier.

Recommandation

Il est recommandé que la statisticienne en chef adjointe (SCA) du Secteur des stratégies et de la gestion intégrées s'assure de ce qui suit :

1. que le CGA de l'organisme soit examiné et renforcé, notamment de la façon suivante :
   • en clarifiant les rôles et responsabilités et l'imputabilité pour mieux les harmoniser avec ceux qui sont indiqués dans la directive, y compris ceux du CSD et des SMC lorsque SPAC agit comme autorité contractante;
   • en fournissant une direction quant
     • au processus de sécurité lors de l'attribution du contrat et pendant son administration,
     • à la manière de gérer les acquisitions lorsque SPAC agit comme autorité contractante,
     • à la possibilité d'utiliser des ressources internes ou externes pour atteindre l'objectif de l'approvisionnement et gérer les situations avec des sous-traitants,
     • à la nécessité de documenter la justification lorsque le risque, la complexité et la valeur des approvisionnements de l'organisme n'exigent pas des contrôles plus formels.

Réponse de la direction

La direction accepte la recommandation formulée.

Un examen stratégique et une analyse de la documentation interne seront menés pour

• mettre à jour les rôles du CSD et de l'intervenant dans le CGA pour qu'ils correspondent à la Directive sur la gestion de l'approvisionnement actuellement en vigueur, y compris envisager d'utiliser des ressources internes ou externes, et réviser le tableau de bord de la Suite P du CSD;
• réviser les processus du CGA liés à la responsabilité de l'autorité contractante pour la validation de la sécurité des fournisseurs et des ressources pendant le début du contrat et sa gestion;
• mettre à jour la matrice des rôles et responsabilités pour clarifier le rôle des SMC quand SPAC ou SPC est l'autorité contractante;
• examiner les lacunes entre le Guide pour l'établissement d'un cadre de gestion de l'approvisionnement et le CGA de Statistique Canada, et documenter les décisions d'exclure certains processus en raison du risque ou de la complexité;
• mettre au point une approche normalisée de gestion des fournisseurs, y compris les rôles, les responsabilités et les conditions de l'engagement.

Produits livrables et échéancier

Le directeur général (DG) de la Direction des finances, de la planification et de l'approvisionnement :

• mettra à jour le CGA en y ajoutant les rôles actuels du CSD et des intervenants, les procédures élargies de vérification de la sécurité et les pratiques exemplaires de gestion des fournisseurs; les documents mis à jour seront approuvés par le CSD d'ici juin 2025;
• mettra à jour le document Matrice des rôles et responsabilités pour inclure le rôle des SMC quand SPAC ou SPC est l'autorité contractante d'ici mars 2025;
• préparera une justification accompagnant le CGA qui documente les décisions opérationnelles au sujet du degré de formalisation de certains processus d'approvisionnement ayant trait au risque, à la complexité et à la valeur des acquisitions de l'organisme; ce document sera approuvé par le CSD d'ici juin 2025.

Recommandation

Il est recommandé que la SCA du Secteur des stratégies et de la gestion intégrées s'assure de ce qui suit :

2. que les audits des dossiers d'approvisionnement soient réalisés comme prévu, que les résultats soient utilisés pour guider l'accompagnement et la formation des agents d'approvisionnement et des propriétaires fonctionnels, et que les résultats soient déclarés aux organismes de surveillance sur une base périodique.

Réponse de la direction

La direction accepte la recommandation formulée.

Les SMC reprendront le programme d'audit des dossiers, qui comprendra ce qui suit :

• l'achèvement de la documentation d'audit interne des dossiers pour refléter les orientations mises à jour du SCT, et l'établissement d'une fréquence planifiée des audits et du nombre de dossiers à vérifier;
• la réalisation des activités d'audit des dossiers comme prévu pour fournir des commentaires aux autorités contractantes en vue d'un apprentissage continu;
• la déclaration des résultats de l'audit au CSD en ce qui a trait au rendement de l'autorité contractante, et la présentation d'autres tendances soulevées, telles que le taux d'achèvement de l'évaluation de l'optimisation des ressources, au Comité des finances et de la surveillance organisationnelle.

Produits livrables et échéancier

Le DG de la Direction des finances, de la planification et de l'approvisionnement :

• mettra à jour les documents d'audit des dossiers d'ici avril 2025;
• présentera un rapport trimestriel sur les résultats de l'audit des dossiers au CSD d'ici mai 2025;
• présentera un rapport consolidé sur les résultats de l'audit des dossiers au Comité des finances et de la surveillance organisationnelle d'ici juin 2025.

Organismes de surveillance

La directive exige que le CGA inclue des rôles et responsabilités et une imputabilité clairement définis pour les divers comités de gouvernance en cause.

Deux organismes de gouvernance, le Comité exécutif de gestion (CEG), anciennement le Comité des opérations (CO), et le Conseil d'examen des contrats (CEC), ont des responsabilités de surveillance pour l'approvisionnement au sein de l'organisme.

Le CEC est un comité permanent établi par l'autorité de la SCA du Secteur des stratégies et de la gestion intégrées et est l'organe chargé de faire des recommandations à ce dernier concernant les décisions et les activités se rapportant à l'approvisionnement et à la passation de marchés. Il a pour objet :

• de cerner, d'évaluer, d'atténuer et de gérer les risques liés aux activités d'approvisionnement et d'assurer la conformité à la Loi sur la gestion des finances publiques (LGFP), et à la Politique sur les marchés du Conseil du Trésor (CT), la directive et l'examen des RME et de formuler des recommandations au sujet des propositions de changements émanant des nouvelles stratégies de passation de marchés et des résultats d'audit, entre autres.

Le CEC remplit son mandat en examinant et en remettant en question les contrats qui répondent à certaines spécifications, en agissant comme groupe formel de résolution des différends et en examinant les rapports obligatoires avant leur publication. Le mandat du CEC et le guide du CGMO fournissent une direction permettant de déterminer quand et comment une approbation de contrôle des contrats est requise. Ensemble, ces documents fournissent une directive claire permettant de déterminer quand les contrats doivent être envoyés au CEC aux fins d'examen et de remise en question. Les comptes rendus de réunions et autres enregistrements indiquent que le CEC remplit son rôle et ses responsabilités de manière active, alors que l'examen des dossiers a confirmé que, sauf quelques exceptions, le CEC a examiné les acquisitions comme l'exige son mandat.

Bien que le mandat du CEC comprenne l'examen et la formulation de recommandations au sujet des propositions de changements aux processus d'approvisionnement, il n'a pas semblé être actif dans ce rôle pendant la période visée par l'audit. Ce rôle semble avoir été accompli par le CO (maintenant le CEG).

Le mandat du CO (et l'ébauche de mandat pour le CEG actuellement en voie d'achèvement) ne mentionne pas explicitement l'approvisionnement, mais indique qu'il est responsable de la surveillance opérationnelle stratégique pour l'ensemble de l'organisation. Le Comité examine et suit les progrès réalisés relativement aux cibles et aux objectifs opérationnels clés liés aux programmes à l'échelle de l'organisme, fournit une fonction de remise en question pour assurer la qualité et l'optimisation des ressources et donne des conseils sur l'efficacité opérationnelle. Il est la tribune pour la gestion des risques des activités opérationnelles importantes et il assure la surveillance de toutes les activités opérationnelles. L'ébauche de mandat pour le CEG précise les mêmes éléments ou des éléments similaires.

Le guide stipule que les SMC fournissent une mise à jour sur l'approvisionnement au CO (maintenant le CEG) deux fois par année, mise à jour qui dresse la liste des contrats à haut risque, donne un aperçu du contexte d'approvisionnement et informe le comité des initiatives et des changements qui auront des répercussions sur l'organisme. Notamment, en avril 2024, les SMC ont présenté au CEG une mise à jour sur le contexte d'approvisionnement et les changements aux processus d'approvisionnement de l'organisme résultant de la nouvelle direction du SCT et de SPAC. Cependant, les dossiers indiquent que les SMC n'ont pas fait de présentation au CEG (ou au CO) deux fois par année, comme c'était prévu. Ils ont fait une présentation au CEG (ou CO) une fois en 2021-2022, une fois en 2022-2023 et une fois en 2024-2025, mais n'ont pas fait de présentation au CEG (ou au CO) sur le contexte d'approvisionnement en 2023-2024. Cependant, les SMC ont fourni de fréquentes mises à jour à la haute direction sur les dépenses en contrats par l'entremise du Comité de gestion stratégique (CGS) en 2023-2024.

De récents événements liés aux marchés publics ont donné lieu à un plus grand nombre d'examens minutieux dans certains secteurs, et les récents audits et examens ont fait en sorte de mettre plus en évidence les faiblesses dans ces secteurs à l'étendue du gouvernement. Bien que cela ne soit pas explicitement exigé par la directive, l'organisme pourrait envisager d'établir un rôle précis pour que les organismes de gouvernance assurent une surveillance des domaines suivants de l'approvisionnement :

• passation de marchés avec les entreprises autochtones;
• actes répréhensibles dans les activités d'approvisionnement;
• ajout de main-d'œuvre dans le cadre de passations de marchés;
• surveillance du caractère adéquat et de l'efficacité des processus et des outils de l'organisme pour appuyer les décisions d'approvisionnement.

La valeur que peuvent apporter les organismes de surveillance à ces secteurs pourrait être influencée par la valeur, la complexité et le risque des acquisitions de l'organisme, et la direction pourrait déterminer que la participation d'un plus important organisme de surveillance n'est pas nécessaire dans certains ou dans l'ensemble des secteurs soulevés.

Surveillance et données sur l'approvisionnement

De récents événements liés aux marchés publics ont fait en sorte de susciter l'intérêt et l'inquiétude du public quant aux actes répréhensibles et à la conformité à la directive. L'audit a examiné la collecte et l'utilisation des données sur l'approvisionnement de l'organisme pour surveiller ces secteurs.

L'organisme a mis en œuvre un programme robuste d'intégrité et de respect qui comprend un processus visant à signaler les éventuels actes répréhensibles et à mener l'enquête à ce sujet. D'autres contrôles intégrés au processus d'approvisionnement ont contribué à atténuer les risques d'actes répréhensibles, y compris la conformité au régime d'intégrité de SPAC, une ségrégation appropriée des tâches qui garantit qu'aucune personne ne possède une autorité non vérifiée sur des décisions d'approvisionnement et des paiements financiers critiques, et le recours obligatoire à des évaluateurs de proposition pour déclarer tout conflit d'intérêts potentiel avant d'entreprendre les évaluations de propositions. Pour ce qui est de la surveillance des données d'approvisionnement pour détecter les actes répréhensibles, les autorités contractantes examinent les historiques d'approvisionnement pour trouver des preuves de fractionnement de marché et l'équipe de l'approvisionnement examine régulièrement les détails des achats effectués avec des cartes de crédit d'achat à la recherche de signes d'abus.

L'organisme prépare de nombreux rapports obligatoires pour le SCT et d'autres organismes centraux qui appuient la surveillance de la conformité à certaines exigences de la directive, d'autres exigences politiques ou certains objectifs du gouvernement. Ces rapports abordent des sujets tels que l'approvisionnement vert, la passation de marchés avec d'anciens fonctionnaires, la passation de marchés avec des entreprises autochtones et la divulgation proactive, pour n'en nommer que quelques-uns.

Pour surveiller la plus large conformité des dossiers d'approvisionnement individuels, l'organisme a élaboré un programme exhaustif d'audit de dossier dans lequel les SMC sélectionnent un échantillon de dossiers d'approvisionnement chaque année pour leur faire subir un examen de l'assurance de la qualité. Ce processus contribue à évaluer la conformité aux exigences de la directive, à déterminer les secteurs faibles du processus d'approvisionnement et les secteurs à développer pour les autorités contractantes. Cependant, comme mentionné précédemment, ces audits de dossier n'ont pas été réalisés pendant la période de la portée de l'audit.

Recommandation

Les enjeux soulevés dans cette section sont abordés par la recommandation 2 dans la section précédente.

Appels d'offres pour l'acquisition de services professionnels

L'équipe de l'audit a examiné un échantillon de 10 approvisionnements concurrentiels de services professionnels et 10 approvisionnements non concurrentiels, où l'organisme a agi comme autorité contractante pour évaluer la conformité au CGA de l'organisme, et aux principales exigences politiques et prévues par la loi.

L'engagement des dépenses et l'engagement en vertu de l'article 32 ont été réalisés de manière adéquate.

L'engagement des dépenses et l'engagement en vertu de l'article 32 de la LGFP ont été réalisés par une personne détenant les bons pouvoirs délégués pour tous les dossiers concurrentiels et non concurrentiels analysés.

La justification pour l'attribution d'un contrat à un fournisseur exclusif dans les approvisionnements non concurrentiels était, dans la plupart des cas, documentée et valide, bien que la documentation clé ait été absente de deux dossiers.

Les RME exigent une demande de soumissions, à moins que le contrat ne réponde à l'une des exceptions précisées à l'article 6. Voici les exceptions :

1. les cas d'extrême urgence où un retard serait préjudiciable à l'intérêt public;
2. les dépenses estimées ne dépassent pas
   1. 25 000 $, dans le cas d'un contrat de biens,
   2. 100 000 $, dans le cas d'un contrat à signer par le ministre du Développement international pour l'acquisition de services d'architecture, de génie ou d'autres services requis pour la planification, la conception, la préparation ou la supervision d'un programme ou d'un projet d'aide au développement international,
   3. 100 000 $, dans le cas d'un contrat pour l'acquisition de services d'architecture, de génie ou d'autres services requis pour la planification, la conception, la préparation ou la supervision de la construction, de la réparation, de la rénovation ou de la remise en état d'un ouvrage,
   4. 40 000 $ dans le cas de tout autre contrat auquel ce règlement s'applique;
3. La nature du travail qui fera l'objet d'un contrat est telle qu'il ne serait pas dans l'intérêt public de demander des soumissions;
4. Une seule personne est en mesure d'exécuter le contrat.

Le recours à l'une de ces exceptions doit être entièrement justifié, des documents appropriés devant être inclus au dossier du contrat. Lorsque l'exception (d) a été invoquée pour permettre un contrat à fournisseur unique, l'agent de négociation des marchés doit tenir compte de sept questions supplémentaires établies par le CT et y répondre, avec l'aide du propriétaire fonctionnel.

Il a été conclu que la justification pour un fournisseur unique a été documentée et est valide dans tous les cas sauf deux, où les documents justificatifs n'ont été que partiellement remplis. Dans un cas, l'attestation de contrat à fournisseur exclusif ou d'appel d'offres limité était manquante pour indiquer les renseignements pour l'approvisionnement, tels que le numéro de la demande, la description de l'exigence, les dépenses estimées et le fournisseur proposé. Dans un autre cas, les réponses aux sept questions obligatoires du CT n'apparaissaient pas au dossier et l'autorité contractante n'a pu les trouver.

Pour les approvisionnements concurrentiels, les méthodes de demande de soumissions et les critères d'évaluation étaient clairement expliqués dans les documents de demande de soumissions et n'ont pas été jugés inutilement restrictifs, injustes ou biaisés.

L'audit a permis de conclure que pour les 10 dossiers concurrentiels analysés, la méthode de sélection des soumissions et les critères d'évaluation étaient clairement expliqués et inclus dans les documents de demande de propositions (DP). Les demandes de propositions établissaient les critères techniques cotés et obligatoires (le cas échéant) et établissaient clairement la méthode de sélection des soumissions (p. ex. le plus bas soumissionnaire conforme; 60 % pour mérite technique et 40 % pour le prix) à employer pour identifier le soumissionnaire retenu. La demande de propositions fournissait aussi une direction claire pour poser les questions et comprenait des directives sur la présentation des soumissions.

L'audit a conclu qu'aucun des 10 dossiers concurrentiels analysés ne comportait des énoncés des travaux, des descriptions des travaux ou des critères d'évaluation qui étaient restrictifs, non équitables ou biaisés. Les énoncés des travaux précisaient et établissaient les travaux à réaliser, les objectifs à atteindre et, la plupart du temps, le calendrier des travaux. Cependant, dans deux cas, le véhicule d'approvisionnement ou le volet de travail sélectionné ne correspondait pas parfaitement avec l'énoncé des travaux (discuté ci-dessous).

Pour deux des approvisionnements concurrentiels analysés et un des approvisionnements non concurrentiels analysés, les services requis ne correspondaient pas à la catégorie ProServices sélectionnée. D'autres erreurs administratives ont aussi été relevées dans l'évaluation des soumissions des approvisionnements analysés.

ProServices est la méthode d'approvisionnement des services professionnels obligatoire pour les exigences dont la valeur est inférieure au seuil de l'Accord de libre-échange Canada–Corée. Il s'agit d'un arrangement en matière d'approvisionnement et non d'un contrat. Les arrangements en matière d'approvisionnement permettent aux ministères et aux organismes d'obtenir les soumissions d'un bassin de fournisseurs préqualifiés selon des exigences particulières. ProServices permet aux fournisseurs d'être préqualifiés dans une ou plusieurs des 185 catégories de 15 volets.

Dans le cadre du processus de demande de soumissions, les autorités contractantes doivent comparer les catégories de ProServices disponibles avec les exigences du ministère et de l'organisme. Lorsqu'une catégorie convenable est sélectionnée, l'autorité contractante cherche dans le portail électronique du Système des services professionnels centralisés (SSPC) pour identifier les fournisseurs qualifiés. Au moins deux fournisseurs préqualifiés reçoivent ensuite une demande de proposition, bien qu'il soit recommandé de sélectionner plus que le minimum de deux fournisseurs. S'il est impossible de trouver une catégorie qui couvre l'exigence, l'autorité contractante doit demander une exemption à SPAC en fournissant une justification de la raison pour laquelle l'exigence ne s'inscrit dans aucune des catégories possibles.

La plupart des catégories de ProServices sont divisées en trois niveaux d'expertise (p. ex. débutant, intermédiaire et principal) et chaque niveau d'expertise comporte une qualification obligatoire minimale, qui est définie dans la grille souple. Par conséquent, avant qu'un fournisseur préqualifié n'inclue une ressource dans sa soumission, la ressource doit respecter une qualification obligatoire minimale liée au niveau d'expertise de la catégorie. La grille souple doit être conservée au dossier pour démontrer que le fournisseur sélectionné était en mesure de réaliser le travail et de respecter les exigences.

Dans un approvisionnement concurrentiel, des cours de préparation à la retraite ont été demandés dans le cadre de la catégorie 8.5 « Expert-conseil en rémunération » de ProServices. Cette catégorie ne correspondait pas aux besoins indiqués dans l'énoncé des travaux, qui exigeait, notamment, que la formation fournisse aux participants « une connaissance des effets du vieillissement sur le corps, des effets d'une saine alimentation, comment contrôler le stress et demeurer en forme » et les aide à « se préparer psychologiquement à la retraite, à savoir comment gérer le temps et à envisager d'autres modes de vie ». Un seul fournisseur a présenté une soumission pour cette demande de propositions.

Dans un second dossier d'approvisionnement concurrentiel, un programme personnalisé de sensibilisation à l'hameçonnage a été sollicité dans le cadre du volet 9.2 « Expert-conseil en continuité des activités » de ProServices^{Notes de bas1}, plutôt que dans une catégorie de technologie de l'information plus adéquate de ProServices. Un seul fournisseur a présenté une soumission pour cette demande de propositions.

Dans le dossier d'approvisionnement non concurrentiel, l'autorité contractante a cherché dans le Portail électronique du SSPC les fournisseurs dans la catégorie 8.1 Expert-conseil en ressources humaines pour fournir des cours de préparation à la retraite. À l'instar de l'approvisionnement concurrentiel des cours de préparation à la retraite, cette catégorie ne répondait pas non plus aux besoins indiqués dans l'énoncé des travaux.

Même s'il y avait une documentation limitée dans les deux dossiers indiquant pourquoi ces catégories de ProServices avaient été sélectionnées, les renseignements recueillis par les représentants des SMC laissaient supposer que les propriétaires fonctionnels avaient probablement trouvé un fournisseur qu'ils jugeaient apte à fournir le service, et que les volets sélectionnés étaient fondés sur les catégories dans lesquelles ces fournisseurs s'étaient qualifiés. Compte tenu du fait que les catégories sélectionnées ne correspondaient pas aux travaux à effectuer, on se serait attendu à ce que d'autres entreprises préqualifiées dans ces catégories ne présentent pas de soumissions.

D'autres erreurs importantes ont été relevées dans l'échantillon de dossiers concurrentiels et non concurrentiels. Dans trois cas, les évaluations par rapport aux grilles souples n'ont pas été bien menées ou n'ont pas été menées du tout.

• Pour l'approvisionnement concurrentiel en cours de préparation à la retraite, des renseignements ont été fournis par le soumissionnaire pour de multiples « experts-conseils » alors qu'un seul était requis dans la demande de propositions. Quoi qu'il en soit, l'équipe d'évaluation des soumissions a évalué trois des ressources proposées. Les ressources évaluées ont obtenu des notes de passage, malgré le fait qu'elles ne respectaient pas les exigences minimales de la catégorie et du niveau.
• Pour un autre approvisionnement concurrentiel, aucune grille souple n'a été présentée par le soumissionnaire et aucune évaluation n'a été réalisée.
• Pour le cours de préparation à la retraite non concurrentiel, le contrat n'a pas précisé la catégorie ni le niveau de ressources requis et n'a pas indiqué les ressources particulières qui fourniraient le service. Par conséquent, aucune évaluation des ressources prévues au contrat par rapport aux grilles souples n'a pu être réalisée. De plus, le contrat a été établi de manière inadéquate avec un prix ferme pour quatre webinaires de deux jours au lieu de fournir une ventilation des ressources prévues au contrat et de leurs taux quotidiens.

Les documents de justification des prix ont confirmé que le prix du contrat était juste et raisonnable pour certaines des acquisitions, mais pas toutes.

Les documents de justification des prix pour s'assurer que le prix du contrat était juste et raisonnable étaient au dossier pour 8 des 10 dossiers non concurrentiels examinés. Dans 6 des 10 dossiers concurrentiels pour lesquels une seule soumission a été reçue ou jugée recevable dans les dossiers concurrentiels, il n'y avait aucune preuve que l'autorité contractante avait validé le prix proposé par le soumissionnaire comme étant juste et raisonnable. Cela constitue une étape nécessaire lorsque des processus concurrentiels parviennent à générer de multiples soumissions.

Recommandation

Les enjeux soulevés dans cette section sont abordés dans la recommandation 2.

Contrats et modifications

Les contrats étaient au dossier et signés par des personnes détenant le pouvoir délégué approprié, même si des erreurs administratives ont été relevées dans une situation de passation de marché mettant en cause un ancien fonctionnaire.

Pour tous les dossiers analysés (concurrentiels et non concurrentiels), une copie du contrat écrit et signé était au dossier, signé par une personne détenant le pouvoir délégué.

Dans le cadre de l'examen, l'équipe d'audit a tenté de confirmer que les contrats avec l'ancien fonctionnaire étaient justifiés, documentés et approuvés comme requis. Un seul des 20 dossiers analysés a été identifié comme ayant été établi avec un ancien fonctionnaire. Dans ce cas, le dossier d'approvisionnement ne contenait aucune justification pour avoir conclu un marché avec un ancien fonctionnaire, y compris la justification du prix, les mesures d'atténuation du risque et de contrôle du coût pour l'ajuster pour des paiements de retraite ou forfaitaires, comme requis par la directive. Le dossier d'approvisionnement n'avait pas non plus été examiné et préapprouvé par le CEC, comme prévu dans le cadre de son mandat.

Des documents étaient généralement au dossier pour justifier les modifications au contrat, et les modifications étaient signées par les personnes détenant le pouvoir délégué approprié.

Des 20 dossiers analysés (concurrentiels et non concurrentiels), 9 incluaient un total de 22 modifications au contrat. Les raisons des modifications incluaient une augmentation des montants en dollars du contrat pour appuyer la fourniture de services supplémentaires, la prorogation des dates d'expiration, exercer des années d'option et modifier les conditions générales.

Toutes les modifications étaient signées par une personne détenant le pouvoir délégué approprié, et des documents étaient au dossier pour justifier la plupart des modifications. Les autorités contractantes ont complété les documents de sommaire de modification (c.-à-d. le modèle élaboré par les SMC) pour documenter la raison pour laquelle le propriétaire fonctionnel avait demandé la modification et pour fournir leur propre justification de la modification. Cependant, aucun document de sommaire de modification n'était au dossier dans trois cas, et le sommaire de modification n'était pas signé tel qu'approuvé (c.-à-d pour des modifications non planifiées) dans deux cas.

Dans tous les cas sauf un, la cote de sécurité des ressources proposées par le soumissionnaire retenu a été vérifiée et il a été confirmé qu'elles respectaient les exigences avant l'adjudication du contrat.

Les exigences de sécurité ont été déterminées pour six des approvisionnements analysés (concurrentiels et non concurrentiels). Dans tous les dossiers sauf un, des documents indiquaient que la cote de sécurité des ressources proposées par le soumissionnaire retenu a été vérifiée et il a été confirmé qu'elles respectaient les exigences avant l'adjudication du contrat. Pour un dossier analysé, la soumission du fournisseur comprenait les niveaux de sécurité et les numéros d'attestation pour chaque ressource proposée, mais il n'y avait aucune preuve que ces renseignements avaient été vérifiés auprès de la Sécurité.

Aucune preuve n'a été trouvée au dossier quant à la surveillance du rendement du fournisseur par les autorités contractantes.

L'audit a cherché des preuves dans les documents au dossier que, conformément aux attentes de la directive et du CGA, il y avait une surveillance pour surveiller le rendement et pour s'assurer que la prestation des services répondait aux dispositions du contrat (p. ex. sur le plan de la qualité, des normes, des niveaux de service).

La directive stipule que :

• les propriétaires fonctionnels ont la responsabilité d'informer les autorités contractantes du rendement du fournisseur, y compris des problèmes et de la réalisation des principaux produits livrables à mesure qu'ils se produisent;
• les autorités contractantes, en consultation avec les propriétaires fonctionnels, doivent surveiller, documenter, enquêter et discuter des problèmes de rendement des fournisseurs à mesure qu'ils se produisent;
• les autorités contractantes ont la responsabilité de s'assurer que des rapports d'approvisionnement exacts et complets applicables au dossier du contrat sont créés et mis à jour pour faciliter la surveillance et l'audit de la direction.

En outre, les rôles et responsabilités des autorités contractantes de l'organisme dans le cadre de la surveillance des contrats établis sont définis dans de nombreux documents et modèles dans le CGA :

• Les SMC ont établi un système de rappel pour aider les autorités contractantes à surveiller les dates d'expiration des contrats et à assurer un suivi d'autres questions;
• Les SMC ont établi une matrice de responsabilités qui définit les rôles et responsabilités des autorités contractantes en ce qui a trait, entre autres, à la gestion des contrats. Ces responsabilités comprennent la résolution des problèmes contractuels, la surveillance de la conformité aux conditions générales des contrats, le fait de déterminer si les biens et services reçus le sont conformément aux contrats, et l'envoi d'avis de renouvellement pour le propriétaire fonctionnel de 3 à 6 mois avant les dates d'expiration des contrats;
• Les SMC ont établi un processus pour mener des audits réguliers d'un certain nombre de dossiers d'approvisionnement aux fins d'assurance de la qualité et de perfectionnement professionnel. Le modèle d'audit indique que les preuves d'activités des autorités contractantes dans la gestion de contrats pourraient inclure la fourniture d'observations ou de conseils sur les dépenses et les factures, la surveillance des calendriers de livraison (c.-à-d. une communication continue, à certains jalons ou à la fin du contrat), la détermination de problèmes potentiels avant que des mesures correctives ne soient requises, et le règlement des différends.

L'audit a permis de constater le peu de preuves ou l'absence de preuves de la participation de l'autorité contractante pendant l'administration du contrat dans les dossiers qui ont été examinés. Aucune preuve n'a été notée selon laquelle les propriétaires fonctionnels avaient informé les autorités contractantes de problèmes de rendement des fournisseurs ou selon laquelle les autorités contractantes avaient surveillé, documenté, enquêté ou discuté de problèmes de rendement des fournisseurs avec les propriétaires fonctionnels. Les dossiers examinés ne contenaient pas non plus de documents indiquant si une valeur avait été obtenue du contrat. Sans ces renseignements, il est difficile de savoir si les contrats ont été réalisés avec succès comme prévu ou si le propriétaire fonctionnel a choisi de laisser le contrat prendre fin, de reprendre les travaux du fournisseur ou d'accepter des produits livrables non conformes aux normes sans aviser l'autorité contractante. Cependant, selon la nouvelle directive du SCT et de SPAC, en mai 2024, l'organisme a introduit une évaluation de l'optimisation des ressources pour les approvisionnements de services professionnels afin de renforcer la surveillance. À la clôture du contrat, les détenteurs de budget doivent maintenant soumettre un document final qui évalue l'optimisation des ressources obtenue du contrat. Cette évaluation contribuera à s'assurer que les dollars des contribuables sont dépensés efficacement, et elle pourrait donner un aperçu du rendement du fournisseur.

Bien qu'un conflit d'intérêts ait été relevé dans un dossier, les fonctionnaires et les titulaires d'une charge publique ont autrement maintenu l'intégrité du processus d'approvisionnement dans notre échantillon.

L'audit n'a trouvé aucune preuve pour indiquer que les fonctionnaires ayant participé aux approvisionnements avaient eu un comportement qui irait à l'encontre du Code de valeurs et d'éthique du secteur public et de la Directive sur les conflits d'intérêts dans 19 des 20 dossiers analysés.

Il y a eu un cas où un employé a participé à un processus d'évaluation de soumission d'une acquisition qui incluait un soumissionnaire avec qui l'employé avait précédemment déclaré un conflit d'intérêts. L'employé avait fait la déclaration 11 mois avant l'évaluation de la soumission au moyen du processus de valeurs et d'éthique de l'organisme, mais n'a pas divulgué les renseignements à l'autorité contractante au moment de l'évaluation de la soumission. Dans ce cas, le soumissionnaire en cause dans le conflit n'a pas obtenu le contrat. L'équipe des valeurs et de l'éthique a immédiatement entrepris une enquête lorsqu'elle a été avisée du conflit par l'équipe des SMC.

L'équipe d'audit a noté qu'aucun processus n'était actuellement en place pour vérifier de manière proactive les déclarations de conflits d'intérêts existantes pour les employés participant à un processus d'approvisionnement. Cependant, on rappelle aux employés leur obligation de divulguer tout conflit possible au début de chaque processus d'évaluation des soumissions.

L'article 34 (Pouvoir d'attestation) a été appliqué adéquatement pour tous les dossiers analysés, même si les documents de justification pourraient être renforcés.

L'article 34, Pouvoir d'attestation, (Vérification des comptes), de la LGFP est la clé de l'approvisionnement. Il stipule qu'avant de faire un paiement, les gestionnaires qui exercent leurs pouvoirs financiers doivent s'assurer que les travaux prévus aux contrats ont été réalisés, que les biens ont été reçus et que les montants demandés sont conformes au prix stipulé dans le contrat.

L'équipe d'audit a analysé 23 paiements pour un sous-échantillon d'approvisionnements à l'étude. L'audit a permis de constater que le pouvoir d'attestation a été réalisé par une personne ayant le pouvoir délégué pour ce faire, et a vérifié correctement l'exactitude du paiement demandé dans tous les paiements analysés. L'attestation a été réalisée en temps opportun pour tous les paiements sauf un. Fait à noter, les facteurs pour les paiements analysés ne comportaient pas une granularité suffisante pour documenter adéquatement les services réalisés (p. ex. les feuilles de temps détaillant les heures et les travaux réalisés) dans les dossiers analysés. Cependant, la fonction financière de l'organisme a récemment mis en œuvre de nouvelles procédures pour s'assurer que ces renseignements seront systématiquement au dossier pour tous les futurs paiements. Pour les nouveaux contrats, les fournisseurs devront rédiger un rapport pour accompagner leurs factures, fournissant des renseignements détaillés sur les travaux accomplis. Les détenteurs de budget valideront ces renseignements et soumettront les documents avec les demandes de paiement.

Recommandation

Il est recommandé que la SCA du Secteur des stratégies et de la gestion intégrées s'assure de ce qui suit :

3. que des contrôles soient mis en œuvre pour vérifier proactivement les dossiers existants de l'organisme afin de détecter de possibles conflits d'intérêts pour tout employé (ou personne réputée être employée) de l'organisme participant au processus d'approvisionnement.

Remarque : D'autres enjeux soulevés dans cette section qui ne sont pas couverts par la recommandation 3 le sont par la recommandation 2.

Réponse de la direction

La direction accepte la recommandation formulée.

Les SMC collaboreront avec l'équipe des valeurs et de l'éthique pour élaborer un processus de vérification des conflits d'intérêts. Entre-temps, les SMC examinent les noms des soumissionnaires et les membres de l'équipe d'évaluation pour détecter une division « à risque » avant que les propositions soient transférées au propriétaire fonctionnel comme mesure d'atténuation des risques.

Produits livrables et échéancier

Le DG de la Direction des finances, de la planification et de l'approvisionnement et la DG de la Direction de l'effectif et du milieu de travail :

• élaboreront, mettront en œuvre et documenteront une procédure pour permettre à la Division de l'approvisionnement, des systèmes financiers et des contrôles internes de vérifier les conflits d'intérêts dans le cycle d'approvisionnement d'ici mars 2025.

Divulgation proactive

La Loi sur l'accès à l'information exige que les entités gouvernementales publient de manière proactive des renseignements sur les contrats d'une valeur de plus de 10 000 $, une modification de contrat lorsqu'elle modifie la valeur du contrat pour qu'il dépasse 10 000 $, et les modifications aux contrats qui font augmenter ou diminuer la valeur d'un contrat de plus de 10 000 $.

Conformément à ces exigences, l'audit a permis de constater que tous les contrats examinés sauf un ont été publiés sur le portail du gouvernement ouvert. Cependant, l'audit a noté que du reste des contrats qui ont été publiés,

• deux contrats l'ont été en n'utilisant pas le bon nom de fournisseur;
• deux modifications qui excédaient 10 000 $ n'ont pas été publiées;
• de multiples écarts mineurs ont été détectés en ce qui a trait aux dates de début et de fin de contrat publiées.

Les SMC ont cerné des problèmes avec les renseignements de divulgation proactive avant le début de l'audit et ont travaillé pour apporter les corrections nécessaires et mettre en œuvre les nouveaux contrôles pour se pencher sur les causes des erreurs.

Recommandation

Il est recommandé que la SCA du Secteur des stratégies et de la gestion intégrées s'assure de ce qui suit :

4. que les travaux en cours pour corriger les erreurs de divulgation proactive soient achevés; que les faiblesses dans le processus qui ont mené aux erreurs de divulgation soient déterminées et que de nouveaux contrôles pour garantir l'exactitude, l'intégralité et l'actualité des rapports de divulgation proactive soient mis en œuvre.

Réponse de la direction

La direction accepte la recommandation formulée.

L'équipe des projets spéciaux continuera

• d'examiner les éléments d'information à risque élevé sur les contrats et les modifications de plus de 10 000 $ pour en assurer l'harmonisation avec le contrat ayant force obligatoire et republier les renseignements sur canada.ouvert.gc.ca;
• de mettre à jour périodiquement la fiche d'aide pour les détails de déclaration en fonction des tendances détectées pour aider les autorités contractantes à effectuer une entrée de données plus exacte;
• d'examiner, d'analyser et de corriger les tableaux d'identification des fournisseurs et la correspondance financière dans le Système financier ministériel commun (SFMC) pour améliorer l'exactitude et la qualité des données;
• de créer un guide de l'utilisateur pour le SFMC avec explications, scénarios et normes ministérielles pour aider les autorités contractantes à s'y retrouver dans le système.

Produits livrables et échéancier

Le DG de la Direction des finances, de la planification et de l'approvisionnement :

• analysera les rapports de divulgation proactive qui ont été examinés et republiés d'ici juin 2025;
• mettra à jour la fiche d'aide pour les détails de déclaration qui aidera l'autorité contractante lors de l'entrée des données sur l'approvisionnement d'ici juin 2025;
• mettra à jour le guide de l'utilisateur pour le SFMC qui aidera l'autorité contractante lors de l'entrée des données sur l'approvisionnement d'ici juin 2025.

Annexes

Annexe A : Critères d'audit

Annexe A : Critères d'audit

Critères d'audit

Instruments de politique et sources

Cadre de gestion de l'approvisionnement 1.1 L'organisme a établi et mis en œuvre un cadre de gestion de l'approvisionnement conforme à la Directive sur la gestion de l'approvisionnement du Conseil du Trésor. Approvisionnements en services professionnels 2.1 Les approvisionnements sont attribués d'une manière équitable, ouverte et transparente conformément au cadre de gestion de l'approvisionnement de l'organisme et aux instruments juridiques et de politique en place à ce moment. 2.2 Les contrats et les modifications sont établis et administrés conformément aux exigences du Secrétariat du Conseil du Trésor (SCT), et le rendement fait l'objet d'une surveillance pour s'assurer que les services respectent les conditions du contrat (qualité, coût, temps). 2.3 Les contrats font l'objet d'une divulgation proactive conformément aux exigences du SCT. Données sur l'approvisionnement 3.1 Les données sur l'approvisionnement sont recueillies et utilisées pour appuyer la surveillance et la prise de décisions par l'organisme.

Directive sur la gestion de l'approvisionnement du SCT et autres politiques, directives, procédures et lignes directrices pertinentes. Cadre de gestion des marchés de l'organisme et son guide. Mandat, ordres du jour et procès-verbaux des réunions, compte rendu des décisions et rapports pour les comités pertinents, s'il y a lieu. Dossiers d'approvisionnement et données pertinentes. Autres documents internes de Statistique Canada, le cas échéant.

Novembre 2024
Numéro de projet : 80590-139

Table des matières

• Résumé
• Conformité aux normes professionnelles
• Introduction
  • Contexte
  • Objectif de l'audit
  • Portée
  • Approche et méthodologie
  • Autorité
• Constatations, recommandations et réponse de la direction
  • Validation des produits mensuels
  • L'assurance de la qualité à l'intérieur du processus de mise à jour annuel du panier
  • Assurance de la qualité lors de la réception et de la préparation de sources de données de rechange
  • Gestion des risques
• Annexes
  • Annexe A : Critères d'audit
  • Annexe B : Activités de validation

Résumé

Le programme de l'Indice des prix à la consommation (IPC) est un programme essentiel au mandat qui est nécessaire pour mener à bien le mandat de base de Statistique Canada prévu par la loi. L'IPC est souvent utilisé comme un indicateur général de l'inflation au Canada et les Canadiens sont très nombreux à le connaître, à le citer et à y faire confiance.

La production mensuelle de l'IPC suit un processus de flux de données itératif dans le cadre duquel des validations et des vérifications de la qualité se produisent à différentes étapes de l'ensemble du processus. Pour respecter les dates de publication préannoncées, le programme de l'IPC doit suivre un horaire de production serré. De plus, en raison de sa large utilisation aux fins d'indexation, l'IPC ne fait l'objet d'aucune révision.

L'IPC est mesuré en fonction d'un panier de biens de consommation et de services. Des poids sont attribués aux groupes de produits du panier de l'IPC dans le cadre d'un processus de mise à jour du panier qui se déroule chaque année. Ces poids du panier sont ensuite appliqués lors du calcul de l'IPC mensuel.

L'organisme a élaboré une approche structurée pour obtenir des résultats statistiques de grande qualité comme décrit dans son Cadre d'assurance de la qualité et dans les Lignes directrices concernant la qualité complémentaires. Ensemble, ces outils de base déterminent les éléments de qualité concernant la production de statistiques officielles. Bien qu'il existe des lignes directrices et des listes de contrôle pratiques, l'expertise, le jugement et l'ensemble de compétences uniques du personnel demeurent essentiels — toutes les activités faisant partie du processus de production doivent démontrer une préoccupation pour la qualité.

L'organisme a également élaboré la Directive sur la validation des produits statistiques et les Lignes directrices sur la validation des produits statistiques connexes, qui visent à renforcer l'assurance de la qualité et à appuyer la qualité des produits statistiques. Ces instruments fournissent une orientation et des conseils pratiques au sujet de la validation — une vérification finale et très importante de la qualité par laquelle les produits statistiques doivent passer avant la diffusion. Cette vérification finale remet en question la validité des données statistiques, afin de s'assurer qu'elle ne comporte pas d'erreurs de conception ou d'exécution non décelées.

Enfin, le Manuel de l'Indice des prix à la consommation : Concepts et méthodes du Fonds monétaire international donne un aperçu exhaustif des méthodes et des pratiques dont les organisations nationales de la statistique devraient tenir compte. Les normes internationales qu'il renferme fournissent des lignes directrices sur les pratiques exemplaires et font la promotion de la qualité et de la comparabilité internationale des IPC nationaux.

Pourquoi est-ce important?

Divers intervenants se basent sur l'IPC, tels que les gouvernements, les entreprises, la Banque du Canada, le Système de comptabilité nationale et le milieu universitaire. L'un des principes de base au cœur du programme statistique de l'organisme est la qualité — un engagement qui contribue à favoriser et à assurer la confiance des Canadiens et des intervenants de l'organisme. Cet audit a été mené en raison de l'importance de la qualité pour le succès de l'organisme.

Conclusion générale

La direction a mis en œuvre un cadre de contrôle de la qualité adéquat pour assurer la qualité élevée des produits de l'IPC et l'application cohérente des processus d'assurance de la qualité connexes. Des mécanismes d'assurance de la qualité sont en place tout au long du processus de flux des données et intégrés dans la direction du programme. Les employés spécialisés sont des experts chevronnés et connaissent très bien leurs rôles et leurs responsabilités, et ils peuvent également décrire ceux de leurs collègues et de leurs pairs. Certaines possibilités d'amélioration ont été notées dans les domaines du respect des lignes directrices, des outils et des orientations en matière de validation, ainsi que de la gestion des risques.

Principales constatations

Validation des produits mensuels

Diverses activités d'assurance de la qualité sont effectuées par le programme de l'IPC pour valider ses produits statistiques mensuels, et les résultats font l'objet de discussions par le biais de mécanismes de gouvernance appropriés qui comprennent la haute direction. Les rôles et les responsabilités pertinents sont pour la plupart documentés et bien compris, et les employés sont en général appuyés par des processus et des procédures qui dirigent la validation des produits mensuels de l'IPC. Le programme de l'IPC n'a pas officiellement documenté une stratégie de validation pour ses produits mensuels, et aucun rapport de validation officiel n'est préparé, comme l'exigent les lignes directrices de l'organisme.

L'assurance de la qualité à l'intérieur du processus de mise à jour annuelle du panier

De nombreuses activités d'assurance de la qualité et de validation sont réalisées par le programme de l'IPC lors d'une mise à jour du panier. Ces activités sont documentées, les résultats font l'objet de rapports à la direction du programme et des processus de gouvernance adéquats assurent la surveillance de l'assurance de la qualité des mises à jour du panier. Les rôles et responsabilités pour l'assurance de la qualité à l'intérieur du processus de mise à jour du panier sont documentés et compris par la plupart des employés, et des processus et procédures en appui sont en place — bien que certaines limites aient été observées. Aucune stratégie de validation globale n'a été élaborée pour les mises à jour du panier.

Assurance de la qualité lors de la réception et de la préparation de sources de données de rechange

Le programme de l'IPC effectue en continu diverses activités d'assurance de la qualité lors de l'intégration de sources de données de rechange, et des processus de gouvernance sont en place pour superviser l'assurance de la qualité des sources de données de rechange utilisées lors de la production de l'IPC. Les rôles et responsabilités pour l'assurance de la qualité des sources de données de rechange sont documentés et bien compris. Les processus et procédures pertinents sont bien documentés, bien qu'évolutifs, et certains processus clés doivent être améliorés pour que le programme atteigne sa pleine maturité dans le cadre des opérations d'apprentissage automatique.

Gestion des risques

La direction et les employés de l'IPC ont une connaissance générale des risques du programme et certaines activités de gestion des risques ont lieu de manière ponctuelle. Cependant, les processus de gestion des risques ne sont pas documentés de manière officielle pour le programme de l'IPC.

Conformité aux normes professionnelles

L'audit a été réalisé conformément aux Procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales d'audit interne de l'Institute of Internal Auditors.

L'application de procédures d'audit suffisantes et appropriées et la collecte des éléments de preuve contribuent à l'exactitude des constatations et des conclusions du présent rapport, et donnent une assurance de niveau audit. Les constatations et les conclusions sont fondées sur une comparaison des conditions, telles qu'elles existaient à l'époque, au regard de critères de vérification préétablis. Les constatations et les conclusions s'appliquent à l'entité examinée pour la portée et la période de référence de l'audit.

Steven McRoberts
Dirigeant principal de la vérification et de l'évaluation

Introduction

Contexte

La Division des prix à la consommation (DPC) a pour mandat de produire des données actuelles et pertinentes sur la variation de l'Indice des prix à la consommation au fil du temps et dans toutes les régions géographiques au Canada. Pour ce faire, la DPC produit et publie l'Indice des prix à la consommation (IPC) mensuellement. Le programme de l'IPC a pour objectifs de fournir des mesures fiables et en temps opportun de la variation de l'indice des prix à la consommation et des renseignements de grande qualité aux utilisateurs de données à l'intérieur de normes de service établies.

Le programme de l'IPC est un programme essentiel au mandat qui est nécessaire pour respecter le mandat de base de Statistique Canada prévu par la loi. L'IPC en soi est un indicateur de la variation des prix que connaissent les consommateurs canadiens. Il est calculé en comparant, au fil du temps, le coût d'un panier fixe de biens et services. L'indice est souvent utilisé comme un indicateur général de l'inflation au Canada. Il est largement connu et cité et les Canadiens y accordent leur confiance. L'une de ses utilisations les plus importantes est celle qu'en font les administrations publiques, les entreprises et les particuliers pour ajuster, en fonction de l'inflation, certains paiements contractuels ou prévus par la loi. De plus, l'IPC éclaire la politique monétaire, aide la Banque du Canada alors qu'elle s'efforce de maintenir l'inflation à l'intérieur de sa fourchette cible et permet au Système de comptabilité nationale d'estimer le produit intérieur brut en dollars constants. L'IPC est diffusé mensuellement dans Le Quotidien^{Note de bas de page 1} dans un délai de 31 jours suivant la période d'observation des prix. Habituellement, la diffusion a lieu la troisième semaine du mois qui suit la période d'observation des prix^{Note de bas de page 2}.

La production mensuelle de l'IPC suit un processus de flux des données itératif au cours duquel les produits et les régions géographiques sont classifiés, une stratégie d'échantillonnage est déterminée, des points de vente sont sélectionnés, et des prix sont recueillis. Une fois les ensembles de données recueillis, ils font l'objet d'un examen, d'une révision et d'un ajustement de la qualité. Par la suite, les indices de prix élémentaires sont calculés et agrégés, les résultats sont analysés et les statistiques de l'IPC mensuel sont diffusées. Des activités de validation et de vérification de la qualité ont lieu à diverses étapes à mesure que les données passent par le processus de production. Pour respecter les dates de publication préannoncées, le programme de l'IPC doit suivre un horaire de production serré. De plus, en raison de sa large utilisation aux fins d'indexation, l'IPC ne fait l'objet d'aucune révision.

L'IPC est mesuré en fonction d'un panier de biens de consommation et de services. Le panier de l'IPC est classifié à l'aide de huit groupes de produits^{Note de bas de page 3} (p. ex. aliments), qui sont formés de 187 agrégats de base (p. ex. essence et fruits frais) et 490 agrégats élémentaires (p. ex. pommes). Des agrégats élémentaires sont ajoutés au panier ou en sont supprimés à mesure que les habitudes de consommation évoluent au fil du temps. Des poids sont attribués aux groupes de produits du panier de l'IPC dans le cadre d'un processus de mise à jour du panier. Ces poids du panier sont ensuite appliqués lors du calcul de l'IPC mensuel^{Note de bas de page 4}.

L'organisme a élaboré une approche structurée pour obtenir des résultats statistiques de grande qualité comme décrit dans son Cadre d'assurance de la qualité (2017) et dans les Lignes directrices concernant la qualité complémentaires (2019). Ensemble, ces outils de base déterminent les éléments de qualité concernant la production de statistiques officielles et aident les gestionnaires de programme à garantir des processus de production de données de grande qualité^{Note de bas de page 5}. Bien que des lignes directrices et des listes de vérification pratiques soient fournies, elles n'ont pas pour but de remplacer l'expertise et le jugement des employés chargés de produire des données. Cependant, le souci de la qualité qui en émane doit toujours se manifester dans l'ensemble des activités de tout processus de production. Il incombe à tout le personnel intervenant dans les activités statistiques de veiller à ce que la qualité soit considérée comme hautement prioritaire durant la conception et la mise en œuvre des méthodes et des procédures statistiques.

L'organisme a également élaboré la Directive sur la validation des produits statistiques (2015) et les Lignes directrices sur la validation des produits statistiques connexes (2015), qui visent à renforcer l'assurance de la qualité et à appuyer la qualité des produits statistiques. Ces instruments fournissent une orientation et des conseils pratiques au sujet de la validation — une vérification finale et très importante de la qualité par laquelle les produits statistiques doivent passer avant la diffusion. Cette vérification finale remet en question la validité des données statistiques, afin de s'assurer qu'elle ne comporte pas d'erreurs de conception ou d'exécution non décelées.

Enfin, le Manuel de l'Indice des prix à la consommation : Concepts et méthodes (2020) du Fonds monétaire international donne un aperçu exhaustif des méthodes et des pratiques dont les organisations nationales de la statistique devraient tenir compte. Les normes internationales qu'il renferme fournissent des lignes directrices sur les pratiques exemplaires et font la promotion de la qualité et de la comparabilité internationale des IPC nationaux.

Objectif de l'audit

Cet audit avait pour objectif de fournir une assurance raisonnable que la direction a établi un cadre de contrôle de la qualité adéquat pour assurer la qualité élevée des produits de l'IPC et l'application cohérente des processus d'assurance de la qualité connexes.

Portée

La portée de l'engagement comprenait un examen de certains composants du cadre de contrôle de la qualité du programme de l'IPC, y compris la gouvernance et la surveillance, les rôles et responsabilités, les processus d'assurance de la qualité établis qui sont appuyés par des outils et des orientations, et l'application de tels processus.

Le travail sur le terrain relativement à ce qui précède comprenait les domaines particuliers suivants :

• les activités réalisées pour valider les produits de l'IPC avant qu'ils ne soient diffusés au public
• l'assurance de la qualité à l'intérieur du processus de mise à jour annuelle du panier
• l'assurance de la qualité lors de la réception et de la préparation de sources de données de rechange utilisées dans la production de l'IPC.

Un échantillon de processus d'assurance de la qualité a été sélectionné aux fins d'examen pour confirmer qu'ils fonctionnaient comme prévu. L'accent était mis sur certaines activités réalisées par le programme de l'IPC pour assurer la grande qualité des produits statistiques. Cet audit ne comprenait pas le réexamen de tout calcul de l'IPC et n'évaluait pas ni ne commentait pas l'exactitude ou la validité des produits statistiques diffusés par le programme de l'IPC.

En ce qui a trait à la portée de l'audit, l'utilisation de l'expression « produits de l'IPC » ou « produits statistiques » comprend le communiqué du Quotidien et tous les tableaux à l'appui de l'Entrepôt commun de données de sortie publiés en ligne à l'intention du public conformément au calendrier officiel de diffusion mensuelle de l'IPC. Également inclus, le tableau des poids du panier de l'IPC qui est publié en ligne et mis à jour annuellement. Le programme de l'IPC diffuse aussi des tableaux de prix de détail moyens mensuels, un outil de visualisation des données et des articles, des rapports, des journaux et des périodiques connexes. Ces publications supplémentaires ne faisaient pas partie de la portée du présent audit.

La période faisant l'objet de l'examen s'étendait du 1er janvier 2023 au 30 juin 2024.

Approche et méthodologie

Le travail sur le terrain consistait en ce qui suit :

• les entrevues et les visites de membres clés de la direction et du personnel;
• un examen et une analyse des documents pertinents;
• la vérification d'un échantillon de processus d'assurance de la qualité pertinents;
• l'examen des politiques, des lignes directrices et des normes actuelles; et
• l'examen de certains ordres du jour de réunions de comités et comptes rendus de décisions.

Autorité

L'audit a été mené en vertu des pouvoirs prévus dans le Plan intégré d'audit et d'évaluation fondé sur les risques (2023-2024 à 2027-2028) approuvé par Statistique Canada.

Constatations, recommandations et réponse de la direction

Validation des produits mensuels

Dans le cadre d'un processus statistique, la validation est l'ensemble d'activités qui font en sorte que les estimations pondérées et les statistiques agrégées sont fiables, exactes et défendables. Elle comprend les processus utilisés pour déterminer et corriger les incohérences dans les microdonnées et les macrodonnées au moyen d'outils de diagnostic et à l'aide de l'expertise du domaine. Les activités de validation évaluent donc la qualité d'un produit statistique, du point de vue de son exactitude, de sa cohérence et de sa vraisemblance globale. Les statisticiens valident la qualité des données de sortie produites, conformément à un cadre général de la qualité par rapport aux attentes, en fonction de leurs connaissances cumulatives du domaine statistique particulier. La validation vise à remettre en question les estimations plutôt qu'à les rationaliser. Il est donc important que les résultats inhabituels ou les fluctuations soient compris et que les estimations atypiques déclenchent un examen plus détaillé.

La Directive sur la validation des produits statistiques (la Directive) de Statistique Canada énonce les dispositions nécessaires pour s'assurer que la validation est réalisée et documentée pour tous les produits statistiques de l'organisme. Elle exige que l'ensemble des programmes essentiels au mandat suivent les étapes de validation décrites conformément aux Lignes directrices sur la validation des produits statistiques (appelées « Lignes directrices » ci–après) de l'organisme, sauf si l'on peut donner la raison pour laquelle une étape n'a pu être menée à bien. En tant que programme essentiel au mandat, l'IPC doit se conformer à la Directive et aux Lignes directrices.

Selon ces lignes directrices, « les directeurs doivent s'assurer que chaque programme de leur division comporte une stratégie de validation qui respecte les exigences de la Directive pour la validation des produits statistiques ». Une stratégie de validation explique en détail les activités de validation prévues d'un programme statistique à réaliser et les détails sur ce qui sera réalisé (p. ex., quels sont les dossiers à vérifier ou quels sont les partenaires externes qui participeront). La stratégie de validation de chaque programme doit être documentée à l'intérieur d'un rapport de validation, bien qu'aucun format particulier ne soit exigé pour le rapport. Dans la plupart des cas, l'élément de stratégie de validation du rapport de validation demeurera stable au fil du temps et il devra être mis à jour uniquement lorsque des changements sont apportés aux mesures de validation utilisées. On s'attend à ce que les directeurs de programme examinent la stratégie de validation de chaque programme au moins tous les trois ans, afin de veiller à ce que les activités de validation réalisées suffisent à atténuer les risques au chapitre de la qualité des données.

Les Lignes directrices exigent aussi que le rapport de validation soit mis à jour à chaque cycle de production pour enregistrer les résultats des plus récentes activités de validation du programme. Si des anomalies perçues ou des anomalies réelles sont trouvées, il faut documenter ces divergences, l'examen qui a été mené et la stratégie de correction mise en œuvre ou la raison de l'acceptation de la divergence. Le rapport doit rendre compte uniquement des principaux points ou éléments du processus de validation, mais il doit comporter suffisamment de détails pour que la raison justifiant cette conclusion concernant la qualité des données soit claire.

Le programme de l'IPC réalise régulièrement bon nombre des activités d'assurance de la qualité pour valider les produits de l'IPC mensuel, comme l'exigent les Lignes directrices. Des processus de gouvernance sont en place pour surveiller la validation des produits statistiques.

Les Lignes directrices divisent les activités de validation en huit activités fondées sur les secteurs spécialisés et deux activités fondées sur les processus. Les activités de validation fondées sur les secteurs spécialisés sont (1) l'analyse des variations au fil du temps, (2) la vérification des estimations désaisonnalisées, (3) la vérification des estimations par les tableaux croisés, (4) l'analyse de la cohérence fondée sur des événements courants connus, (5) la comparaison avec d'autres sources similaires de données publiées par Statistique Canada, (6) la consultation d'intervenants à l'intérieur de Statistique Canada, (7) la participation au Forum du Quotidien et (8) la séance d'information officielle au comité de gouvernance. Les activités de validation fondées sur les processus sont (1) l'examen des processus de production et (2) l'analyse de la cohérence fondée sur des indicateurs de qualité (voir l'annexe B pour une description des activités de validation).

L'équipe d'audit a appris que les responsabilités pour chacun des huit groupes de produits à l'intérieur du panier de l'IPC sont affectées à cinq sous-sections^{Note de bas de page 6} au sein de la subdivision de la Production de la DPC. En outre, l'achèvement de certaines activités de validation est une responsabilité conjointe parmi les sous-sections au sein de la Subdivision de la Production et des Sous-sections de l'analyse et de la diffusion, tandis que d'autres sont l'unique responsabilité d'une sous-section au sein de la DPC. Ainsi, cinq des huit groupes de produits et les sous-sections pertinentes au sein de la Subdivision de la Production ont fait l'objet d'un échantillonnage avec les Sous-sections de l'analyse et de la diffusion pour évaluer l'application des principales étapes de validation à l'intérieur des Lignes directrices pour trois mois de référence échantillonnés aléatoirement. Toutes les sous-sections sélectionnées ont été évaluées en fonction des responsabilités et responsabilisations préexistantes pour dix étapes de validation clés (énumérées ci-dessus). Dans l'ensemble, des huit étapes de validation fondées sur le secteur spécialisé requises, cinq ont été jugées entièrement conformes et trois ont été jugées conformes avec condition. Pour ce qui est des deux étapes fondées sur les processus, elles ont toutes deux été jugées non conformes (précisions ci-dessous).

L'audit a conclu que — chaque mois — toutes les sous-sections effectuent des rapports d'analyse mensuels qui documentent les fluctuations de prix, les tendances et schémas ainsi que les éléments moteurs pour chaque groupe de produits assigné. Des réunions d'examen de l'indice mensuel sont ensuite tenues entre les sous-sections de la production et la sous-section de l'analyse pour présenter les fluctuations de prix aux fins de discussion et d'examen par les pairs, comme des analyses d'une année à l'autre et d'un mois à l'autre et les facteurs clés à l'origine des fluctuations de prix. Les rapports d'analyse mensuels générés par les sous-sections de la production servent à diffuser l'information et à valider chaque groupe de produits à son niveau d'agrégat respectif. La sous-section de l'analyse peut demander des renseignements supplémentaires et effectuer par la suite des activités pour valider l'ensemble de l'IPC^{Note de bas de page 7} au macro-niveau d'agrégat. Ces réunions d'examen de l'indice mensuel comprennent la direction et le personnel clés de l'IPC et agissent comme autorisation verbale pour permettre aux gestionnaires de programme d'approuver les données au niveau d'agrégat de l'indice. De plus, l'audit a permis de constater que le programme de l'IPC présente ses résultats mensuels de diffusion anticipée et obtient une approbation verbale du programme et de la haute direction — y compris le Comité de gestion stratégique — conformément aux exigences de validation clés (voir l'annexe B). Le Comité de gestion stratégique est un comité du premier palier qui fournit une orientation stratégique globale à l'organisme et agit comme organe responsable de toutes les prises de décisions liées à la gestion organisationnelle et à la gouvernance de Statistique Canada.

Examen des processus de production

Bien que des activités ponctuelles soient menées pour aborder et régler les questions et les défis qui se posent, un examen proactif des processus de production par les sous-sections de la production échantillonnées n'a pas été observé. Cela étant dit, le chef de sous-section désigné a été en mesure d'expliquer de nombreux cas où des questions et des défis ont été soulevés, et d'expliquer les étapes et les mesures prises pour aborder et régler de telles questions. Par conséquent, des mesures sont prises pour régler les questions des processus de production, mais elles ne font pas l'objet d'une surveillance active dans le cadre du processus de validation.

Analyse de la cohérence fondée sur des indicateurs de qualité

Les entrevues ont révélé qu'il y a des normes de service du gouvernement du Canada pour le programme de l'IPC, notamment les accusés de réception des clients doivent être envoyés dans un délai de 24 heures et la diffusion de l'IPC mensuel doit se faire dans un délai de 31 jours suivant la période d'observation des prix. Qui plus est, la DPC assure le suivi et les rapports sur les paramètres Web tels que le nombre de visites de certains sites Web; cependant, il n'existe pas d'indicateurs de la qualité pour le programme de l'IPC au-delà de cette capacité. La direction de l'IPC a confirmé qu'une analyse de la cohérence fondée sur des indicateurs de qualité pour le programme n'est pas effectuée conformément aux Lignes directrices.

Les rôles et responsabilités pour les activités de validation mensuelle de l'IPC sont pour la plupart documentés et semblent être communiqués et bien compris par les employés visés. Des processus et procédures sont en place pour diriger la validation des produits statistiques mensuels de l'IPC.

Les objectifs professionnels des ententes de rendement pour la direction et le personnel clés de l'IPC comprennent certaines activités de validation importantes telles que la vérification des données, la vérification et l'analyse des valeurs aberrantes et la détermination des problèmes de traitement. Dans la même veine, les affichages de poste et les énoncés des critères de mérite reconnaissent la nécessité de mener certaines activités de validation clés.

Les sous-sections des marchandises sont chargées de générer et de maintenir leurs propres outils de suivi de la charge de travail. Chacun est unique, sans présentation uniforme, mais les rôles et responsabilités pourront se retrouver à divers degrés, certains limités, à l’intérieur de chaque outil de suivi. Les sous-sections des marchandises dispersent la charge de travail en fonction de la classe de marchandise, et toutes les activités pour chaque classe de marchandise sont dans la plupart des cas réalisées par le même analyste.

Des discussions au sujet de la division des tâches avec le personnel clé de l'IPC ont permis de constater qu'il serait possible d'ajouter une couche supplémentaire de contrôle pour séparer les activités de conformité et d'approbation et d'examen et validation statistique; cependant, une telle division des tâches pourrait aussi ajouter une couche de complexité inutile pour le personnel. À l'heure actuelle, ces activités ne sont pas séparées pour la plupart des sous-sections des marchandises, car on considère qu'il est plus avantageux pour chaque analyste de bâtir une expertise du domaine au sein de ses groupes de marchandises respectifs. Cela permet aux analystes de parler avec aisance des fluctuations de prix. En outre, alors que la sous-section de l'analyse mène un examen impartial de l'IPC d'ensemble, une couche supplémentaire de surveillance est actuellement intégrée dans le processus de validation pour détecter toutes les valeurs aberrantes éventuelles dans les données.

Les entrevues avec la direction et le personnel clés de l'IPC ont révélé qu'une certaine quantité de formation et d'expertise pourrait être obtenue par l'entremise d'un jumelage professionnel, qui se produit lorsque de nouveaux employés arrivent. De plus, la plupart des employés avaient l'impression et étaient clairement en mesure de démontrer qu'ils comprenaient leurs rôles et responsabilités, ainsi que ceux de leurs collègues, et que ces rôles et responsabilités leur étaient communiqués.

Parmi les outils et orientations demandés par les cinq sous-sections de la production échantillonnées et les sous-sections de l'analyse et de la diffusion, la plupart ont fourni une documentation suffisante pour leur permettre de s'acquitter de leurs responsabilités relativement aux activités de validation. Toutes les sous-sections de la production disposent de modèles pour générer des rapports d'analyse des indices mensuels. La sous-section de l'analyse peut compter sur un guide qui fournit une orientation sur la manière de produire la diffusion de l'IPC mensuel dans Le Quotidien et préparer et présenter les documents analytiques à la division et à la direction de l'organisme. Qui plus est, la Division de la diffusion utilise une liste de tâches mensuelle pour l'IPC afin de suivre les activités réalisées pour diffuser les produits de l'IPC mensuel et un guide de validation des données de l'IPC, qui comprend les étapes à suivre pour télécharger, formater et valider les tableaux applicables de l'Entrepôt commun de données de sortie par rapport aux rapports du système.

Bien qu'il existe des documents, certaines possibilités d'amélioration ont été notées en ce qui concerne l'étendue et l'ampleur des détails, la couverture de toutes les activités de validation conformément aux Lignes directrices, le public cible et la pertinence continue ou l'applicabilité. Par exemple, on trouve certains conseils sur la validation des données au microniveau dans le Manuel de production de l'IPC, bien que le guide ne renferme pas les activités de validation au niveau d'agrégat et que sa dernière mise à jour remonte à 2014, ce qui en limite la pertinence.

Il existe une grande quantité de documents de formation qui offrent aux employés de l'IPC des renseignements généraux ainsi que des orientations sur les flux de données, les objectifs, la structure du programme, etc. Toutefois, les documents pourraient fournir des orientations particulières sur les activités de validation mensuelle de l'IPC, notamment au niveau d'agrégat.

Les personnes interviewées étaient toutes d'accord — bien qu'il y ait certains écarts (par exemple, un manque de documents d'intégration et d'orientations procédurales étape par étape pour certaines sous-sections) — pour dire qu'il existe en général des documents pour le programme de l'IPC. Cependant, les documents sont fragmentés, et il peut parfois être difficile de les parcourir pour trouver ce qui est demandé. Qui plus est, on a indiqué que certaines compétences et expertises requises pour traiter et analyser les données au microniveau, de même que générer des observations et en arriver à comprendre les fluctuations de prix pour un certain groupe de produits au microniveau et au macroniveau exigeaient un certain degré de formation en cours d'emploi. Bien qu'elle ne soit bien entendu pas documentée officiellement, dans certains cas, on a indiqué qu'une partie de cette formation pourrait être possible.

Une stratégie de validation officielle pour les produits de l'IPC mensuel n'a pas été élaborée, et des rapports de validation officiels ne sont pas préparés pour chaque cycle de production.

L'audit a permis de constater qu'il n'existe aucune stratégie de validation officielle et qu'aucun rapport de validation mensuel n'est généré pour le programme de l'IPC. Le but de la stratégie de validation et des rapports de validation est de s'assurer que toutes les activités de validation requises ont été intégrées dans le programme, fonctionnent comme prévu et font l'objet d'une surveillance et d'une évaluation. Les rapports de validation visent précisément à enregistrer et à communiquer les résultats des enquêtes. En outre, ils peuvent souligner et suivre certaines tendances potentielles des données de l'IPC mensuel. Les indicateurs de la qualité pour le programme devraient faire l'objet de rapports et s'harmoniser avec les rapports de validation et la stratégie de validation.

L'assurance de la qualité à l'intérieur du processus de mise à jour annuel du panier

L'IPC est une moyenne pondérée des variations des prix d'un panier fixe de biens et de services, qui est fondé sur les dépenses d'une population cible au cours d'une période de référence donnée. Pour refléter les variations de prix vécues par les Canadiens, les pondérations du panier doivent être représentatives de la façon dont les Canadiens dépensent leur argent. En 2021, le processus de mise à jour du panier est passé d'une mise à jour pluriannuelle à une mise à jour annuelle pour que le panier de l'IPC soit plus représentatif des habitudes de consommation des Canadiens. Bien que des mises à jour plus fréquentes du panier devraient en théorie réduire les biais de substitution et des nouveaux biens, ce changement vient aussi avec des niveaux d'efforts accrus et introduit plus de possibilités d'erreurs.

L'équipe de l'audit a appris que le processus de mise à jour annuel du panier est complexe et nécessite de nombreuses activités d'assurance de la qualité et de validation qui exigent des connaissances spécialisées et un ensemble de compétences, activités qui sont réalisées par diverses équipes et certains employés clés au sein de la DPC. Il y a essentiellement deux groupes d'assurance de la qualité et d'activités de validation de haut niveau dans le cadre du processus annuel : (1) assurance de la qualité et validation des nouvelles valeurs de pondération du panier et (2) assurance de la qualité et validation de l'intégration des nouveaux poids du panier à l'intérieur des systèmes de production et de diffusion de l'IPC. Les nombreuses activités d'assurance de la qualité et de validation réalisées s'inscrivent à l'intérieur de ces deux groupes et sont pour la plupart documentées à l'intérieur d'un calendrier de mise à jour du panier dont la DPC assure le suivi et la mise à jour.

Le programme de l'IPC réalise de nombreuses activités d'assurance de la qualité et de validation lors de la mise à jour d'un panier, dont bon nombre suivent les Lignes directrices. Des processus de gouvernance sont en place pour surveiller l'assurance de la qualité des mises à jour du panier.

L'équipe d'audit a sélectionné un échantillon de 15 activités uniques d'assurance de la qualité et de validation à partir du plus récent calendrier de mise à jour du panier. Les documents à l'appui démontrant le rendement de chaque étape ont été demandés et fournis. L'audit a permis de constater que les 15 étapes sélectionnées ont été suivies par les équipes et les personnes appropriées au meilleur de leur compréhension.

L'audit a aussi permis de constater que le programme de l'IPC est conforme aux attentes pour ce qui est de documenter les métadonnées statistiques. Il y a un niveau suffisant de renseignements auxquels les Canadiens ont accès à propos des poids du panier et du processus de mise à jour du panier. Cela comprend les sources de données primaires et de rechange utilisées, c'est-à-dire, des renseignements supplémentaires nécessaires pour bien comprendre, analyser et utiliser les données statistiques sont disponibles en quantité suffisante.

De plus, le processus de mise à jour annuel du panier comporte de multiples niveaux de surveillance. Le groupe de travail sur les améliorations à apporter à la mise à jour du panier, le Comité de gestion de la mise à jour du panier et le Comité directeur de l'IPC^{Note de bas de page 8} jouent tous un rôle pour surveiller la mise à jour annuelle du panier. Le groupe de travail a pour objectif de cerner les domaines d'amélioration dans les méthodes et les processus de mise à jour du panier de l'IPC, de contribuer à planifier le travail pour mettre en œuvre les améliorations et de recommander les améliorations à la direction du programme. Les activités d'amélioration sont entreprises et font l'objet d'un suivi. Le comité de direction est formé de la direction du programme jusqu'au niveau du directeur. Ce comité examine et approuve les méthodes et les processus de mise à jour du panier. Certains articles sont présentés au comité directeur de l'IPC, en fonction des besoins. Un examen des ordres du jour et les comptes rendus de réunion démontrent que des discussions structurées ont lieu à divers niveaux au sein de la DPC pour assurer une surveillance adéquate de l'assurance de la qualité des mises à jour du panier.

Les rôles et responsabilités pour le personnel clé concernant l'assurance de la qualité dans le cadre du processus de mise à jour du panier sont en grande partie documentés et compris. Les processus et les procédures sont majoritairement en place pour orienter l'assurance de la qualité dans le cadre du processus de mise à jour du panier.

L'audit a permis de constater que le document d'orientation principal pour assigner les rôles et responsabilités est le calendrier de mise à jour du panier qui est maintenu par la DPC. De plus, les responsabilités pertinentes sont incluses dans les objectifs de travail pour la plupart des équipes et des personnes participantes. Dans la plupart des cas, on a indiqué lors des entrevues que les rôles et responsabilités des personnes étaient bien compris, bien que l'on ait constaté que le rôle d'un analyste clé n'était pas défini. Les entrevues ont également révélé une certaine confusion entourant les rôles et responsabilités liés à la validation de l'additivité des agrégats particuliers à l'intérieur du tableau des poids du panier. Les Sous-sections de l'analyse et de la diffusion ont indiqué ignorer qui est responsable d'effectuer cette vérification de la validation. Par conséquent, cette année, un grand nombre d'erreurs de calcul n'ont pas été prises en compte lors de vérifications précédentes et ont été découvertes trop peu de temps avant la diffusion des nouveaux poids du panier.

Des documents en matière de procédure ont été fournis par la plupart des équipes ayant participé au processus de mise à jour annuelle du panier. En général, l'audit a permis de constater que la documentation fournit suffisamment de directives aux membres de l'équipe en ce qui a trait à leurs propres activités d'assurance de la qualité et de validation. Cependant, on a reconnu que la documentation pour la sous-section de la modélisation des indices pourrait être améliorée (par exemple, il n'y a pas de documentation préexistante qui décrit — pour chaque activité d'assurance de la qualité réalisée — ce qui est attendu, ce qui constitue une réussite ou un échec, ou comment documenter et communiquer les résultats). Dans le même ordre d'idées, les Sous-sections de l'analyse et de la diffusion et un analyste clé ont reconnu la même lacune en ce qui a trait à la documentation détaillée.

Aucune stratégie de validation globale n'a été élaborée pour les mises à jour du panier. Une liste de diverses activités d'assurance de la qualité et de validation et leurs résultats sont documentés et déclarés à la direction du programme, bien qu'il y ait certaines limites.

Pour ce qui est de l'IPC mensuel (comme mentionné ci-dessus), l'équipe d'audit a compris que la mise à jour annuelle du panier serait aussi soumise à des exigences en matière de validation, parce que le tableau des poids du panier de l'IPC est un produit statistique unique et il est publié de manière indépendante, par l'entremise du Quotidien, des produits mensuels standard de l'IPC. Par conséquent, le processus de validation mensuel standard de l'IPC ne couvrirait pas la mise à jour du panier en soi.

C'est pourquoi l'équipe d'audit a demandé une stratégie de validation documentée pour le processus de mise à jour annuel du panier. Elle a été informée que le travail de validation effectué est documenté par le biais de présentations qui sont fournies à la direction du programme pour faciliter leur examen et approbation des nouveaux poids du panier par l'entremise d'une série de réunions de certification. L'équipe d'audit a examiné les présentations fournies et a constaté qu'elles comprennent une liste cumulative de points d'intérêt des réunions. Les points d'intérêt comprenaient un examen de l'algorithme à utiliser comme outil d'assurance de la qualité, les commentaires de la Subdivision de la Production au sujet de valeurs aberrantes importantes, un examen des valeurs aberrantes non réglées, un résumé du processus d'examen des poids et un examen des parts relatives. L'équipe d'audit a déterminé que cette liste pouvait être considérée comme une stratégie de validation limitée. Même dans ce cas, la liste finale ne peut être jumelée à toutes les étapes de validation clés conformément aux Lignes directrices. Dans la même veine, le calendrier de mise à jour du panier est un outil raisonnablement détaillé qui assigne de manière explicite les responsabilités pour certaines activités clés d'assurance de la qualité et de validation à diverses équipes et personnes qui participent au processus de mise à jour annuelle du panier; cependant, il ne peut pas non plus être jumelé aux étapes de validation requises pour les programmes essentiels au mandat.

En ce qui a trait à un rapport de validation pour consigner et communiquer les résultats des activités annuelles d'assurance de la qualité et de validation, l'équipe d'audit a été informée qu'il existe une documentation complète sur tous les commentaires reçus, ajustés ou non ajustés, le nombre de changements apportés, l'impact net sur chaque agrégat majeur, les techniques utilisées pour faire des ajustements, et la quantité réelle de chaque ajustement effectué. L'équipe d'audit a examiné la documentation fournie et déterminé qu'elle comprend de manière conceptuelle les composants notés. De plus, les résultats à l'intérieur de la documentation fournie sont discutés lors des réunions de certification avec la direction du programme (noté ci-dessus), bien que les comptes rendus des discussions ne soient pas conservés. En ce qui a trait à la stratégie de validation, cependant, la documentation fournie est jugée limitée en termes de rapport de validation, car elle ne peut être facilement ou entièrement jumelée à toutes les étapes de validation requises conformément aux Lignes directrices.

Compte tenu de la complexité et de la vaste gamme de participants aux activités d'assurance de la qualité et de validation dans le cadre du processus de mise à jour annuelle du panier, une stratégie de validation officielle et complète aiderait davantage la direction du programme à clarifier les rôles et les responsabilités. En outre, sans documentation procédurale adéquate appuyant les rôles et responsabilités clés, des changements de personnel ou de surveillance pourraient faire en sorte que certaines activités d'assurance de la qualité et de validation ne soient pas réalisées adéquatement ou du tout, donnant lieu à des erreurs éventuelles dans les poids du panier qui sont diffusées au public.

Recommandation

Il est recommandé que la statisticienne en chef adjointe du Secteur de la statistique économique s'assure de ce qui suit :

1. qu'une stratégie de validation complète est officiellement documentée pour le programme de l'IPC, et qu'elle comprend (1) les produits de l'IPC mensuel, y compris le suivi des indicateurs de qualité du programme, et (2) que des mises à jour annuelles du panier et des rapports de validation officiels sont préparés conformément aux exigences prescrites pour les programmes essentiels au mandat conformément aux Lignes directrices sur la validation des produits statistiques.

Réponse de la direction

La direction accepte la recommandation formulée.

Le programme de l'IPC documentera officiellement sa stratégie de validation, y compris la mise à jour annuelle du panier, et l'harmonisera avec les lignes directrices ministérielles sur la validation des produits statistiques pour les programmes essentiels au mandat.

Produits livrables et échéancier

La directrice générale de la Direction de la statistique de l'industrie :

1. officialisera le document de stratégie de validation de la mise à jour de l'IPC mensuel et du panier annuel conformément aux Lignes directrices sur la validation des produits statistiques d'ici avril 2025; et
2. officialisera les rapports de validation cycliques conformément aux Lignes directrices sur la validation des produits statistiques d'ici septembre 2025.

La directrice générale de la Direction de la statistique de l'industrie, en collaboration avec la directrice générale de la Direction des méthodes statistiques modernes et de la science des données :

3. établira des indicateurs de la qualité provisoires pour les indices de prix et appliquera les mesures au programme de l'IPC d'ici avril 2025.

Recommandation

Il est recommandé que la statisticienne en chef adjointe du Secteur de la statistique économique s'assure de ce qui suit :

2. que les rôles et responsabilités ayant trait aux activités de validation — en lien avec (1) les produits de l'IPC mensuel et (2) les mises à jour annuelles du panier — sont examinés et mis à jour, au besoin, et que des processus et procédures détaillés sont établis, au besoin.

Réponse de la direction

La direction accepte la recommandation formulée.

Dans le cadre de l'élaboration d'une stratégie de validation complète, le programme de l'IPC améliorera les processus et les procédures et clarifiera les rôles et responsabilités ayant trait à ces activités de validation. Il s'agira notamment des activités dont les rôles et responsabilités s'étendent à des équipes multidisciplinaires à diverses étapes du cycle de production de l'IPC.

Produits livrables et échéancier

La directrice générale de la Direction de la statistique de l'industrie :

1. documentera officiellement les responsabilités assignées et les mécanismes d'approbation pour les activités de validation et de mise à jour mensuelle de l'IPC et de mise à jour annuelle du panier, d'ici mars 2025; et
2. mettra à jour les processus et procédures liés aux activités de validation et de mise à jour mensuelle de l'IPC et de mise à jour annuelle du panier d'ici mai 2025.

Assurance de la qualité lors de la réception et de la préparation de sources de données de rechange

Statistique Canada s'efforce constamment de moderniser et de simplifier les méthodes de collecte de données. Au sein du programme de l'IPC, des sources de données de rechange, telles que les données de lecteurs optiques des commerces de détail et les données de moissonnage du Web, remplacent graduellement la collecte traditionnelle sur le terrain (c.-à-d., les intervieweurs qui visitent les magasins de détail en personne pour recueillir des observations sur les prix). À l'heure actuelle, environ la moitié de toutes les données recueillies sur les prix — ce qui représente environ 20 % de l'ensemble du panier de l'IPC — sont recueillies sous la forme d'une source de données de rechange, et le but est d'augmenter la quantité de données recueillies sur les prix pour atteindre 75 %. L'organisme continue de travailler avec de nouveaux fournisseurs de données éventuels pour élargir l'utilisation des sources de données de rechange.

Cette augmentation progressive de l'utilisation de sources de données de rechange a modifié les processus et les méthodes de production de l'IPC, ainsi que les systèmes d'ingestion de données, qui nécessitent une capacité et des ressources adéquates pour recevoir et préparer de vastes ensembles de données. À l'instar de nombreuses organisations nationales de la statistique, le programme de l'IPC de Statistique Canada tire avantage d'algorithmes d'apprentissage automatique supervisés pour traiter efficacement ces ensembles de données.

L'équipe d'audit a noté que les scientifiques de données du programme de l'IPC sont des contributeurs clés au Comité d'experts sur les mégadonnées et la science des données pour les statistiques officielles de l'ONU. Leur groupe de travail sur les données de lecteurs optiques a élaboré un guide sur l'utilisation de nouvelles sources de données pour la production de statistiques sur l'indice des prix à la consommation. Le Canada est aussi membre du groupe consultatif du comité et président de son conseil de la livraison technique. Les scientifiques de données de l'IPC ont publié plusieurs articles et études qui ont contribué à l'avancement mondial pour les programmes d'IPC dans les domaines des sources de données de rechange et de l'apprentissage automatique. Néanmoins, il s'agit là de disciplines émergentes pour les organisations nationales de la statistique, et par conséquent, les normes internationales ne sont pas encore établies. L'équipe d'audit a été informée que la plupart des organisations nationales de la statistique mènent encore des recherches et collaborent toujours sur des méthodologies dans ces domaines.

Le programme de l'IPC effectue constamment diverses activités d'assurance de la qualité lorsqu'il ingère des sources de données de rechange. Des processus de gouvernance sont en place pour surveiller l'assurance de la qualité des sources de données de rechange utilisées dans la production de l'IPC.

Selon les publications et la recherche effectuées par Statistique Canada et d’autres organisations nationales de la statistique, plusieurs processus clés peuvent contribuer à la qualité des sources de données de rechange utilisées dans l’IPC. Ces processus comprennent l’obtention de données à l’aide de négociations avec les fournisseurs, les vérifications de la qualité globale, les vérifications de la qualité détaillée, les modèles d’apprentissage automatique avec validation manuelle, et l’assurance de la qualité par le domaine spécialisé.

Un échantillon discrétionnaire de trois formes de sources de données de rechange utilisées par le programme de l’IPC a été sélectionné pour faire l’objet d’un examen minutieux fondé sur les risques, la proéminence d’utilisation à l’intérieur de certains groupes de produits et la matérialité des poids de leur panier, de sorte que l’échantillonnage couvrait environ 50 % du panier de l’IPC (pour l’année de référence 2022). Les trois formes de sources de données de rechange sélectionnées étaient (1) les données de lecteurs optiques des commerces de détail utilisées pour le groupe de produits des aliments, (2) les données issues du moissonnage du Web utilisées pour le groupe de produits de l’habillement et chaussures et (3) autres données de rechange utilisées pour les coûts d’intérêts hypothécaires à l’intérieur du groupe de produits du logement. Trois mois de référence échantillonnés aléatoirement ont aussi été sélectionnés (voir la section Validation des produits mensuels). En fonction de l’échantillon d’audit testé, l’audit a permis de constater que toutes les procédures d’assurance de la qualité pour l’ingestion (par exemple, les vérifications de la qualité globale et détaillée et la validation manuelle des classifications d’apprentissage automatique) étaient systématiquement appliquées conformément aux procédures documentées.

L'équipe d'audit a également observé que des ententes écrites officielles sont en place avec les principaux détaillants qui fournissent les données de lecteurs optiques utilisées dans la production de l'IPC. Le Manuel de l'Indice des prix à la consommation : concepts et méthodes du Fonds monétaire international précise qu'il s'agit d'une bonne pratique pour s'assurer que les besoins en matière de qualité et d'actualité sont satisfaits. Statistique Canada a également mis en place un contrat avec une tierce partie pour réaliser des activités de moissonnage du Web. Le contrat comprend un énoncé des travaux détaillé pour s'assurer que les données reçues répondent aux besoins de l'organisme pour ce qui est de la qualité et de l'actualité, et que l'organisme fournit des instructions sur les détaillants au fournisseur pour garantir l'harmonisation avec la structure de classification de l'IPC. Les employés qui participent aux processus d'assurance de la qualité pour les sources de données de rechange n'avaient aucune inquiétude relativement à l'actualité des données.

L'audit a permis de constater que le comité directeur de l'IPC surveille activement l'utilisation accrue des sources des données de rechange du programme de l'IPC. Le comité reçoit des mises à jour régulières des progrès réalisés quant à l'incorporation de nouvelles sources de données de rechange et à l'ingestion et au traitement des sources de données de rechange existantes. Les présentations au comité comprennent les enjeux, risques et résolutions connexes. Des renseignements sur les processus d'assurance de la qualité pour les données de lecteurs optiques des commerces de détail et les données du moissonnage du Web, y compris les opérations d'apprentissage automatique, ainsi que le travail et les réalisations en cours dans ces domaines sont aussi inclus.

Les rôles et responsabilités pour le personnel clé participant à l'assurance de la qualité des sources de données de rechange sont documentés et bien compris. Les processus et les procédures pour diriger l'assurance de la qualité des sources de données de rechange pendant l'ingestion sont bien documentés tout en étant évolutifs.

L'audit a permis de constater que les rôles et les responsabilités liés aux activités d'assurance de la qualité requises pour l'ingestion des sources de données de rechange, y compris les opérations d'apprentissage automatique, étaient documentés dans une variété d'orientations procédurales individuelles. Les entrevues menées auprès de la direction et du personnel clés du programme ont aussi indiqué que les rôles et responsabilités sont bien compris — aucune incertitude ni aucun chevauchement n'ont été exprimés ou notés.

De nombreux documents de procédures sont utilisés dans le programme de l'IPC pour traiter les données de lecteurs optiques des commerces de détail, les données du moissonnage du Web et d'autres sources de données de rechange utilisées dans la production. Il a été constaté que tous les sous-processus clés avaient au moins un document de procédure écrit. Même si ces documents ont été pour la plupart élaborés au niveau de l'équipe ou de la sous-section, ils ont été jugés suffisamment détaillés pour aider les employés visés à s'acquitter de leurs responsabilités. Bien qu'aucun document de procédure établissant des plans d'action de remplacement en cas de limites des données de rechange n'était disponible, les employés visés étaient en mesure de trouver des solutions et de fournir des exemples de situations où des limites se sont produites et comment elles ont été réglées efficacement.

Statistique Canada a mis en place des documents d'orientation supplémentaires pour l'utilisation de sources de données de rechange tels que la Directive sur le moissonnage du Web et un document public complet appelé Le logement dans l'IPC canadien : un aperçu (2023). Ce dernier donne un aperçu des concepts et des pratiques liés au groupe de produits du logement, y compris la méthodologie et les sources de données de rechange utilisées pour les coûts d'intérêts hypothécaires. L'organisme ne dispose toutefois pas encore d'un exposé de principes général ou d'une directive sur les données de lecteurs optiques. Le Manuel de l'indice des prix à la consommation : concepts et méthodes recommande aux organisations nationales de la statistique de publier un exposé de principes expliquant comment elles procéderont avec l'utilisation des données de lecteurs optiques pour compiler l'IPC, y compris les sources de données et les méthodes à employer.

Les processus pour les opérations d'apprentissage automatique n'ont pas encore atteint leur pleine maturité.

Pour les données de lecteurs optiques et les données de moissonnage du Web, le programme de l'IPC tire parti de l'apprentissage automatique supervisé pour contribuer à classer et à jumeler de nouveaux produits uniques à l'intérieur de vastes ensembles de données dans les bons groupes de produits au sein de la structure du panier de l'IPC. Selon le document Apprentissage automatique pour les statistiques officielles (2021) de la Commission économique des Nations Unies pour l'Europe, les principaux processus de l'assurance de la qualité pour les opérations d'apprentissage automatique sont (1) l'entraînement par modèle, (2) le suivi du rendement du modèle et (3) le réentraînement du modèle.

L'équipe d'audit a évalué chaque processus clé d'assurance de la qualité par le biais d'entrevues et d'examens des documents. Dans l'ensemble, l'audit a permis de constater qu'il existait des documents de procédures pour guider l'entraînement par modèle et le suivi du rendement ainsi que les activités de réentraînement. Cependant, les personnes interrogées ont reconnu qu'il n'existait aucune directive officielle de l'organisme et que les normes internationales sont encore en processus d'élaboration, alors que les opérations d'apprentissage automatique sont encore un domaine émergent pour toutes les organisations nationales de la statistique. Les employés clés ont noté que le processus d'entraînement par modèle était simple — les données d'entraînement du modèle sont préparées lors de l'acquisition de nouvelles sources de données de rechange, avant que les données soient utilisées dans la production de l'IPC. En revanche, les entrevues ont confirmé que le suivi du rendement du modèle et que le réentraînement du modèle sont présentement plus ponctuels — les fréquences de ces activités n'ont pas été établies officiellement, bien qu'une étude publiée par les scientifiques des données de l'IPC ait déterminé la fréquence idéale pour le réentraînement à intervalles de trois à six mois.

L'équipe d'audit a observé que les scientifiques des données de l'IPC avaient mené un échantillonnage aléatoire stratifié robuste des données de lecteurs optiques pour l'un des détaillants de produits alimentaires en 2023. Le document en résultant a recommandé que de plus amples travaux soient menés, y compris d'enquêter sur les classes de produits affichant un piètre rendement, de mettre en œuvre un échantillon aléatoire stratifié d'autres détaillants de produits alimentaires et de mesurer le rendement du modèle en continu. Jusqu'à maintenant, aucune campagne supplémentaire d'échantillonnage aléatoire n'a été menée.

De plus, des processus manuels sont en place pour valider les produits de classification de l'apprentissage automatique. Cependant, bien que ces processus aient été jugés efficaces, ils sont exigeants en main-d'œuvre et pourraient limiter l'extensibilité pour des sources de données de rechange et des applications supplémentaires au sein du programme de l'IPC.

L'apprentissage automatique est un pilier clé des sources de données de rechange utilisées dans la production de l'IPC et l'expansion continue dans ce domaine. Toutefois, les modèles d'apprentissage automatique peuvent rapidement se détériorer une fois déployés, mettant ainsi l'accent sur l'importance d'avoir en place de nouveaux produits uniques étant dotés de processus d'assurance de la qualité cohérents pour surveiller et réentraîner les modèles utilisés pour contribuer à classifier les nouveaux produits uniques. L'objectif à long terme de l'organisme devrait être d'atteindre la pleine maturité pour ses opérations d'apprentissage automatique au sein du programme de l'IPC afin d'assurer la qualité, la fiabilité, la cohérence et l'extensibilité des modèles de classification automatisée et les processus à l'appui. Cela comprendrait la mise en œuvre de pratiques principales reconnues et de contrôles efficaces de la surveillance des modèles.

Recommandation

Il est recommandé que la statisticienne en chef adjointe du Secteur de la statistique économique s'assure de ce qui suit :

3. qu'un cadre global accompagné d'orientations et de normes détaillées pour l'utilisation et l'application de sources de données de rechange à l'intérieur du programme de l'IPC, y compris les opérations d'apprentissage automatique, est élaboré et mis en œuvre.

Réponse de la direction

La direction accepte la recommandation formulée.

Le programme de l'IPC élaborera des orientations et des normes détaillées pour l'utilisation et l'application de sources de données de rechange. Cela comprendra la manière dont l'IPC respecte les lignes directrices internationales, l'état final souhaité, le flux opérationnel, l'architecture sous-jacente de l'organisme, les pratiques exemplaires, les rôles et responsabilités entourant l'ingestion des données d'autres sources et leur utilisation dans la production de l'IPC.

Produits livrables et échéancier

La directrice générale de la Direction de la statistique de l'industrie :

1. élaborera un cadre documenté accompagné d'orientations et de normes détaillées sur l'utilisation et l'application de sources de données de rechange à l'intérieur du programme de l'IPC d'ici février 2025;
2. déterminera la fréquence de déploiement du modèle d'apprentissage automatique mis à jour et le mettra en œuvre d'ici avril 2025; et
3. officialisera l'élaboration de mesures de rendement du modèle d'apprentissage automatique et déterminera les seuils d'examen manuel d'ici juillet 2025.

Gestion des risques

Les processus de gestion des risques ne sont pas officiellement documentés.

La Politique de gestion intégrée des risques et le Cadre de gestion intégrée du risque de Statistique Canada s'applique à toutes les activités de gestion organisationnelles, d'investissement, de politiques, de programmes, de projets, opérationnelles, des ressources et des finances. Ces instruments sont en place pour appuyer l'intégration de la gestion des risques dans les processus de prise de décisions à tous les niveaux de l'organisme. Ils instaurent aussi une culture de prise de décisions responsable éclairée par l'analyse du risque, qui contribue à la réalisation des objectifs de l'organisme et à l'amélioration des résultats. Une gestion efficace du risque peut doter un programme statistique des outils pour réagir activement au changement et à l'incertitude en s'appuyant sur l'information basée sur les risques en vue d'une prise de décisions plus efficace.

À l'intérieur du train de politiques de gestion des risques de l'organisme, il incombe aux cadres et aux gestionnaires de faire preuve de leadership et d'orienter leurs employés pour qu'ils soient en mesure de déterminer, d'évaluer et de gérer les risques pertinents dans leurs plans, leurs programmes, leurs projets et leurs activités opérationnelles. Ils veillent également à ce que les risques soient communiqués et examinés de manière appropriée dans le cadre de la structure de gouvernance respective et transmis aux partenaires et intervenants internes ou externes appropriés. Ils encouragent les bonnes pratiques de gestion du risque et sont responsables de produire des rapports sur les réponses au risque.

Compte tenu du fait que l'IPC est essentiel au mandat, les principaux risques pour les objectifs du programme — y compris les risques émergents (par exemple, les changements de méthodologies et de systèmes) — devraient être dégagés et abordés activement, et les résultats de ce travail devraient être officiellement documentés. Il s'agirait notamment d'évaluer chaque risque pour en déterminer les répercussions éventuelles et la probabilité de se produire, et de documenter un plan d'action pour atténuer, transférer, éviter ou accepter le risque.

Les entrevues avec la direction et le personnel clés de l'IPC ont révélé qu'ils avaient une connaissance générale des risques du programme de l'IPC; cependant, aucun document officiel de gestion des risques n'était disponible. L'équipe d'audit a également noté que la vision et le plan de travail de la DPC n'étaient pas directement liés à une évaluation officielle des risques. Quoi qu'il en soit, certaines activités de gestion des risques ponctuelles ont lieu et des stratégies officielles d'atténuation des risques ont été décrites lors des entrevues — par exemple, des activités régulières de transfert des connaissances ont lieu. De plus, le Groupe de travail sur les améliorations de la mise à jour du panier a documenté des enjeux et des plans d'atténuation pertinents pour la mise à jour du panier, même si ces travaux ne sont pas liés à un cadre officiel de gestion des risques pour le processus de mise à jour du panier en tant que tel ou pour le programme de l'IPC dans son ensemble.

Un cadre de gestion des risques garantirait que les risques principaux pour l'atteinte des objectifs du programme de l'IPC sont activement cernés, surveillés et atténués ou supprimés, si jugé nécessaire. Cela contribuerait ainsi à garantir la livraison continue de produits statistiques fiables et actuels du programme. En outre, compte tenu des changements importants et continus apportés au programme, des pratiques de gestion des risques officielles permettraient de mieux appuyer la gestion de l'IPC dans le cadre de l'établissement des priorités des initiatives de changement à venir.

Recommandation

Il est recommandé que la statisticienne en chef adjointe du Secteur de la statistique économique s'assure de ce qui suit :

4. qu'un cadre de gestion des risques officiel est établi pour le programme de l'IPC, et que des rôles et responsabilités pour la gestion des risques sont officiellement documentés et bien compris.

Réponse de la direction

La direction accepte la recommandation formulée.

Le programme de l'IPC élaborera un profil des risques officiel qui respecte la Politique de gestion intégrée des risques et le Cadre de gestion intégrée du risque de Statistique Canada. Le programme de l'IPC utilisera ce profil comme renseignements pour la prise de décisions et la planification, l'établissement des priorités, les investissements et la mise à jour continue. Ce profil de risque sera examiné en continu et sera un document évolutif.

Réalisation attendue et calendrier

La directrice générale de la Direction de la statistique de l'industrie :

1. officialisera un profil de risque conformément aux lignes directrices de l'organisme d'ici janvier 2025.

Annexes

Annexe A : Critères d'audit

Critères d'audit

Critères d'audit

Instruments de politique et sources

1.1 Les processus de gouvernance et de surveillance sont en place et fonctionnent comme prévu pour surveiller certains processus d'assurance de la qualité à l'intérieur du programme de l'Indice des prix à la consommation (IPC). 1.2 Les rôles et responsabilités pour certains processus d'assurance de la qualité à l'intérieur du programme de l'IPC sont bien documentés et compris par les employés visés. 1.3 Les employés visés sont dotés des outils et des directives nécessaires pour les aider à s'acquitter de leurs responsabilités relativement à l'assurance de la qualité. 1.4 Certains processus d'assurance de la qualité sont appliqués de manière cohérente pour garantir des produits de l'IPC de grande qualité.

Cadre d'assurance de la qualité de Statistique Canada Lignes directrices concernant la qualité de Statistique Canada Directive sur la validation des produits statistiques de Statistique Canada Lignes directrices sur la validation des produits statistiques de Statistique Canada Directive sur la documentation des métadonnées statistiques de Statistique Canada Politique de gestion intégrée des risques de Statistique Canada Cadre de gestion intégrée du risque de Statistique Canada Manuel sur l'IPC du Fonds monétaire international (FMI) : concepts et méthodes Autres documents internes de Statistique Canada, le cas échéant.

Annexe B : Activités de validation

Les Lignes directrices sur la validation des produits statistiques définissent les étapes de validation précises que tous les programmes essentiels au mandat doivent suivre, sauf si l'on peut donner la raison pour laquelle une étape n'a pu être menée à bien. Les activités de validation se divisent en deux groupes :

• Activités fondées sur les secteurs spécialisés
• Activités fondées sur les processus.

Les activités de validation fondées sur les secteurs spécialisés suivantes sont requises pour les enquêtes essentielles au mandat :

1. Analyse des variations au fil du temps : pour analyser les variations au fil du temps, on crée une série chronologique cohérente pour une statistique particulière, selon une séquence de points dans le temps.
2. Vérification des estimations désaisonnalisées : dans le cas des données mensuelles ou trimestrielles qui présentent des estimations désaisonnalisées, une validation des résultats peut être appropriée. La désaisonnalisation est conçue pour éliminer l'effet des influences saisonnières et du calendrier sur les données infra-annuelles, et ainsi permettre des comparaisons plus utiles de la situation économique d'une période à l'autre.
3. Vérification des estimations par les tableaux croisés : cette analyse est habituellement effectuée à un niveau de désagrégation plus détaillé que celui des estimations publiées. Ces totalisations permettent de vérifier la cohérence interne du fichier de données et fournissent la possibilité d'explorer les caractéristiques sous–jacentes associées aux estimations.
4. Analyse de la cohérence fondée sur des événements courants connus : dans le cadre de l'analyse de la cohérence fondée sur des événements courants connus, on valide les estimations en fonction des renseignements sur le domaine et des événements récents ayant touché le secteur.
5. Comparaison avec d'autres sources similaires de données publiées par Statistique Canada : la comparaison avec d'autres sources similaires de données, publiées par Statistique Canada ou par des sources externes, peut permettre d'évaluer si les microdonnées et estimations agrégées déclarées sont raisonnables.
6. Consultation d'intervenants à l'intérieur de Statistique Canada : il serait possible de consulter les intervenants qui ont des connaissances directes du domaine spécialisé faisant l'objet de l'étude ou qui sont des experts d'un domaine spécialisé connexe.
7. Participation au Forum du Quotidien : Le Forum du Quotidien est un événement interactif dans lequel les analystes qui participent à la diffusion et à l'interprétation des estimations essentielles au mandat se réunissent pour mettre en commun des renseignements concernant les principales constatations et tendances, et échangent de l'information sur les événements ou les facteurs qui sont pertinents pour l'interprétation de ces données. Il fournit aussi à tous les participants des renseignements sur l'ensemble d'indicateurs connexes de différents programmes statistiques qui pourraient être examinés au moment de l'assurance de la qualité de diffusions de données particulières.
8. Séance d'information officielle au comité de gouvernance : Chaque programme essentiel au mandat doit présenter ses résultats de diffusion anticipée au comité de gouvernance (c'est-à-dire, le Comité de gestion stratégique). La présentation comprend un aperçu de tous les changements mis en œuvre ou des problèmes qui se sont posés pendant les opérations de production, les répercussions que ces changements peuvent avoir eues sur les estimations, et la stratégie d'atténuation des risques utilisée. Les enjeux liés à la gestion des programmes doivent aussi être présentés, soulignant tout risque accru d'erreur attribuable à des préoccupations concernant la gestion des ressources humaines ou des employés, ainsi que la stratégie d'atténuation utilisée.

Les activités de validation fondées sur les processus suivantes sont requises pour les enquêtes essentielles au mandat :

1. Examen des processus de production : Les processus de production comprennent, par exemple, la création de la base de sondage, le plan d'échantillonnage, la collecte, le codage, la vérification, l'imputation et les systèmes de pondération. Ils comprennent aussi d'autres interventions, comme le couplage de données administratives ou le calcul de variables dérivées.
2. Analyse de la cohérence fondée sur des indicateurs de qualité : les indicateurs de la qualité associés à un programme devraient servir à savoir si une estimation est valide. Dans le cas des enquêtes statistiques, des indicateurs de la qualité fondés sur le plan de sondage, les résultats de la collecte et le traitement sont utilisés. Sans toutefois s'y limiter, les indicateurs de la qualité comprennent notamment les taux d'imputation, les métadonnées et les paradonnées, et les taux de révision de l'estimation.

Novembre 2023
Numéro du projet : 80590-133

Table des matières

• Sommaire
• Conformité avec les normes professionnelles
• Introduction
  • Contexte
  • Objectif de l'audit
  • Portée
  • Approche et méthodologie
  • Autorité
• Constatations, recommandations et réponse de la direction
  • Gouvernance et surveillance
  • Évaluation des risques et plan de surveillance constante
  • Essais de contrôle
  • Communication des résultats
  • Établissement de rapports internes et externes
• Annexes
  • Annexe A : Critères d'audit
  • Annexe B : Acronymes
  • Annexe C : Plan de travail relatif au contrôle interne en matière de gestion financière de 2020-2021 à 2023-2024

Sommaire

En 2017, le Conseil du trésor du Canada (CT) a établi la Politique sur la gestion financière, qui énumère des responsabilités clés pour les administrateurs généraux, les dirigeants principaux des finances (DPF) et les cadres supérieurs des ministères et organismes dans l'exercice d'une gestion financière efficace. La politique cherche à faire en sorte que les ressources financières du gouvernement du Canada soient bien gérées et soient protégées grâce à des contrôles équilibrés qui permettent une certaine souplesse et une gestion des risques. Conformément à la politique, les ministères et organismes doivent établir, surveiller et maintenir un système de contrôle interne en matière de gestion financière (CIGF) fondé sur le risque, ainsi que de contrôle interne en matière de rapports financiers (CIRF), un sous-ensemble du CIGF. Le CIGF est un ensemble de mesures et d'activités qui fournissent une assurance raisonnable de l'efficacité des activités de gestion financière de l'organisme. Le CIRF est un ensemble de mesures et d'activités qui assurent la validité, l'exactitude et l'exhaustivité des rapports financiers, comme les états financiers de l'organisme. Pour soutenir les ministères et organismes lors de l'élaboration et de la mise en œuvre des cadres et mesures clés du contrôle interne, et assurer la surveillance constante des contrôles internes et du maintien d'un système efficace de CIGF, le CT a diffusé, en 2019, le Guide sur le contrôle interne en matière de gestion financière et le Guide de surveillance continue du contrôle interne en matière de gestion financière.

Le système de CIGF repose sur trois catégories de contrôle : les contrôles des processus opérationnels, les contrôles généraux des technologies de l'information (CGTI) et les contrôles au niveau de l'entité (CE). Les contrôles des processus opérationnels sont des activités menées pendant la création, la consignation, le traitement et la communication de l'information financière, ainsi que des activités de contrôle liées aux processus de gestion financière. Ils sont conçus pour fonctionner avec un niveau de précision qui leur permet de prévenir ou de détecter les erreurs liées au CIGF, et de les corriger. Les CGTI contribuent à garantir la fiabilité des données financières générées par les systèmes de TI et à étayer l'affirmation selon laquelle les systèmes fonctionnent comme prévu et les résultats sont fiables. Les contrôles au niveau de l'entité ou du « ton aux échelons supérieurs » définissent la culture d'une organisation et son engagement envers l'intégrité et l'éthique. Ils établissent des lignes directrices pour la gouvernance, l'analyse et l'intégrité financières et le respect des lois et des normes professionnelles applicables de l'organisation.

À Statistique Canada, on compte actuellement 12 processus opérationnels clés, soit 5 processus opérationnels de gestion financière, 6 processus opérationnels de rapports financiers et 1 processus opérationnel associé à la gestion et aux rapports financiers (voir l'annexe C). En ce qui concerne les CGTI, l'organisme a déterminé que 13 systèmes ont une incidence, directe ou non, sur les opérations financières ou les renseignements financiers nécessaires à la production des rapports annuels. L'organisme a établi une matrice de contrôle pour surveiller ses CE en fonction du cadre du « Committee of Sponsoring Organizations » (COSO) faisant figure de norme dans l'industrie^{Note de bas de page 1}. La matrice de contrôle des CE comprend 79 activités de contrôle individuelles.

L'équipe chargée des contrôles internes de la Division de l'approvisionnement, des systèmes financiers et des contrôles internes du Secteur des stratégies et de la gestion intégrées est responsable de soutenir l'adjoint au DPF quand vient le temps de mettre en application la Politique sur la gestion financière. Les responsables du processus opérationnel (RPO) sont des directeurs et gestionnaires dont le programme est responsable d'un processus opérationnel clé. Ils sont tenus de surveiller les contrôles associés à un processus opérationnel particulier ou à un processus de CGTI.

Pourquoi est-ce important?

Au cours des dernières années, Statistique Canada a connu une période de croissance sans précédent, la demande pour ses données ayant augmenté à un rythme rapide pendant la pandémie de COVID-19. En 2022-2023, l'organisme a dû composer avec des pressions financières jamais vues. Des stratégies d'atténuation ont été adoptées pour réduire un déficit important prévu dans le rapport de situation financière de mi-année.

Ainsi, la gérance financière et le respect des processus établis constituent des priorités pour la haute direction. Selon les attentes, un système bien établi et efficace de CIGF devrait fournir une assurance raisonnable que les ressources publiques sont utilisées de manière prudente et économique, que les processus de gestion financière sont efficaces et que les lois, les règlements et les instruments de politique de gestion financière pertinents sont respectés.

En outre, les systèmes et pratiques pour la documentation et l'évaluation du CIRF sont en place depuis 2009^{Note de bas de page 2}. La Politique de gestion financière du CT exige, depuis 2017, que les risques et contrôles des processus opérationnels du CIGF soient documentés, évalués et surveillés. Depuis 2019, des travaux se sont poursuivis pour atteindre le stade de la surveillance continue pour tous les processus opérationnels du CIGF. Par conséquent, il est utile de donner l'assurance raisonnable que le programme élargi du CIGF est adéquat et efficace.

Conclusion générale

Statistique Canada dispose d'un cadre et de processus adéquats et efficaces pour évaluer le système de CIGF, le surveiller et en rendre compte. On a constaté que l'organisme respecte la politique et les lignes directrices du CT au chapitre du CIGF. On a noté quelques possibilités d'amélioration mineures dans les domaines de l'évaluation des risques et de la production de rapports, ce qui renforcera le programme et le fera évoluer, afin qu'il comble les besoins de l'organisme et respecte son profil de risque à l'avenir.

Principales constatations

Gouvernance et surveillance

L'organisme dispose de la structure de gouvernance appropriée pour le système de CIGF, qui compte des rôles et des responsabilités clairement établis pour tous les intervenants.

Évaluation des risques et plan de surveillance constante

Un plan de surveillance constante adéquat a été consigné et mis en œuvre. Un processus d'évaluation des risques annuel l'appuie. Ainsi, l'organisme dispose d'une surveillance suffisante, proportionnelle aux risques des principaux processus opérationnels en matière de CIGF.

Essais de contrôle

Les méthodologies et activités d'essais pour l'évaluation du contrôle étaient efficaces et ont été suivies de manière constante pendant la période visée. Une stratégie d'essais du CIGF consignée qui va de pair avec les lignes directrices du CT et les pratiques exemplaires de l'industrie est en place. L'organisme pourrait trouver utile d'établir une correspondance entre tous les contrôles surveillés et les risques connexes. Cela permettrait de déterminer les domaines dans lesquels les contrôles sont trop présents et les risques peuvent ne pas être suffisamment pris en compte par les contrôles existants, indiquant les domaines dans lesquels il faudrait peut-être mettre en œuvre de nouveaux contrôles.

Communication des résultats

On documente et communique aux RPO les résultats des principaux essais de contrôle de manière rapide et efficace. On obtient les plans d'action de la direction rapidement. On a constaté que le système de suivi et de surveillance des plans d'action est exact et exhaustif.

Établissement de rapports internes et externes

L'annexe à la déclaration de responsabilité de la direction va de pair avec le format prescrit par le CT. On a jugé que les renseignements figurant dans l'annexe, ainsi que dans les rapports au Comité ministériel de vérification, sont exacts. Cependant, les rapports réguliers à l'intention du Comité de gestion stratégique n'ont pas été fournis comme prévu.

Conformité avec les normes professionnelles

L'audit a été réalisé conformément aux Procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors.

L'application de procédures d'audit suffisantes et appropriées et la collecte des éléments de preuve contribuent à l'exactitude des constatations et des conclusions du présent rapport, et donnent une assurance de niveau audit. Les constatations et les conclusions sont fondées sur une comparaison des conditions, telles qu'elles existaient à l'époque, au regard de critères de vérification préétablis. Les constatations et les conclusions s'appliquent à l'entité examinée pour la portée et la période de référence de l'audit.

Steven McRoberts
Dirigeant principal de la vérification et de l'évaluation

Introduction

Contexte

En 2017, le Conseil du trésor du Canada (CT) a établi la Politique sur la gestion financière (la politique), qui énumère des responsabilités clés pour les administrateurs généraux, les dirigeants principaux des finances (DPF) et les cadres supérieurs des ministères et organismes dans l'exercice d'une gestion financière efficace. La politique cherche à faire en sorte que les ressources financières du gouvernement du Canada soient bien gérées et soient protégées grâce à des contrôles équilibrés qui permettent une certaine souplesse et une gestion des risques. Conformément à la politique, les ministères et organismes doivent établir, surveiller et maintenir un système de contrôle interne en matière de gestion financière (CIGF) fondé sur le risque, ainsi que de contrôle interne en matière de rapports financiers (CIRF), un sous-ensemble du CIGF. Le CIGF est un ensemble de mesures et d'activités qui fournissent une assurance raisonnable de l'efficacité des activités de gestion financière de l'organisme. Le CIRF est un ensemble de mesures et d'activités qui assurent la validité, l'exactitude et l'exhaustivité des rapports financiers, comme les états financiers de l'organisme. Pour soutenir les ministères et organismes lors de l'élaboration et de la mise en œuvre des cadres et mesures clés du contrôle interne, et assurer la surveillance constante des contrôles internes et du maintien d'un système efficace de CIGF, le CT a diffusé, en 2019, le Guide sur le contrôle interne en matière de gestion financière et le Guide de surveillance continue du contrôle interne en matière de gestion financière.

Le système de CIGF repose sur trois catégories de contrôle : les contrôles des processus opérationnels, les contrôles généraux des technologies de l'information (CGTI) et les contrôles au niveau de l'entité (CE). Les contrôles des processus opérationnels sont des activités menées pendant la création, la consignation, le traitement et la communication de l'information financière, ainsi que des activités de contrôle liées aux processus de gestion financière. Ils sont conçus pour fonctionner avec un niveau de précision qui leur permet de prévenir ou de détecter les erreurs liées au CIGF, et de les corriger. Les CGTI contribuent à garantir la fiabilité des données financières générées par les systèmes de TI et à étayer l'affirmation selon laquelle les systèmes fonctionnent comme prévu et les résultats sont fiables. Les contrôles au niveau de l'entité ou du « ton aux échelons supérieurs » définissent la culture d'une organisation et son engagement envers l'intégrité et l'éthique. Ils établissent des lignes directrices pour la gouvernance, l'analyse et l'intégrité financières et le respect des lois et des normes professionnelles applicables de l'organisation.

À Statistique Canada, on compte actuellement 12 processus opérationnels clés, soit 5 processus opérationnels de gestion financière, 6 processus opérationnels de rapports financiers et 1 processus opérationnel associé à la gestion et aux rapports financiers (voir l'annexe C). En ce qui concerne les CGTI, l'organisme a déterminé que 13 systèmes ont une incidence, directe ou non, sur les opérations financières ou les renseignements financiers nécessaires à la production des rapports annuels. L'organisme a établi une matrice de contrôle pour surveiller ses CE en fonction du cadre du « Committee of Sponsoring Organizations » (COSO) faisant figure de norme dans l'industrie^{Note de bas de page 3}. La matrice de contrôle des CE comprend 79 activités de contrôle individuelles.

L'équipe chargée des contrôles internes de la Division de l'approvisionnement, des systèmes financiers et des contrôles internes du Secteur des stratégies et de la gestion intégrées est responsable de soutenir l'adjoint au DPF quand vient le temps de mettre en application la politique. Cela comprend ce qui suit :

• Mettre à jour les documents sur les contrôles internes.
• Coordonner les activités de mises à l'essai annuelles.
• Assurer un suivi adéquat des faiblesses décelées au chapitre du contrôle.
• Soutenir la préparation des rapports et des mises au point à l'intention de la haute direction.

Les responsables du processus opérationnel (RPO) sont des directeurs et gestionnaires dont le programme est responsable d'un processus opérationnel clé. Ils sont tenus de surveiller les contrôles associés à un processus opérationnel particulier ou à un processus de CGTI. Voici certaines de leurs responsabilités :

• Valider les évaluations des risques et la documentation des contrôles.
• Fournir des documents et participer aux évaluations réalisées dans leur zone d'affectation.
• Mettre en application des plans d'action correctifs pour les faiblesses décelées au chapitre du contrôle.

L'évaluation exhaustive des risques du système de CIGF de l'organisme la plus récente a été réalisée en 2019-2020. La prochaine est prévue en 2023-2024^{Note de bas de page 4}.

Objectif de l'audit

L'audit avait pour objectif de procurer une assurance raisonnable au chapitre du caractère adéquat et de l'efficacité du cadre et des processus en place à l'appui du respect de la politique et des lignes directrices du CT en matière de CIGF.

Portée

La portée de l'audit comprenait une évaluation des processus et activités pertinents qui ont servi à consigner, à évaluer et à surveiller le système de CIGF de l'organisme, y compris le CIRF, et à en rendre compte pour les exercices financiers de 2020-2021 à 2022-2023. Cela comprenait un examen des différentes évaluations de contrôle interne réalisées pendant cette période pour vérifier la conception et l'efficacité opérationnelle des contrôles des processus opérationnels, des CGTI et des CE. En outre, l'évaluation des risques du CIGF de 2019-2020 faisait partie de la portée de l'audit, puisqu'il s'agit de l'évaluation des risques exhaustive la plus récente. Lors de l'audit, on a également évalué le cadre de gouvernance en place pour surveiller le système de CIGF de l'organisme.

L'équipe de l'audit n'a pas évalué l'exactitude des états financiers de l'organisme ni la conception et l'efficacité opérationnelle des contrôles des processus opérationnels individuels, des CGTI ou des CE. En outre, l'audit ne comprenait pas la réalisation, à nouveau, des activités d'essais de contrôle. L'audit interne n'évalue pas l'exactitude des états financiers de l'organisme. L'assurance de processus opérationnels particuliers pourrait être évaluée lors de futurs mandats d'audit ou de consultation.

Approche et méthodologie

Cet audit a été réalisé conformément aux Procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors.

Les travaux d'audit comprenaient ce qui suit :

• Un examen et une analyse des documents internes pertinents.
• Les tests de fichiers pour une sélection d'évaluations de contrôle interne.
• Des entrevues et des visites de membres clés de la direction et du personnel.

Autorité

L'audit a été mené en vertu des pouvoirs prévus dans le Plan intégré d'audit et d'évaluation fondé sur les risques de 2023-2024 à 2027-2028, qui a été approuvé par Statistique Canada.

Constatations, recommandations et réponse de la direction

Gouvernance et surveillance

L'organisme dispose de la structure de gouvernance appropriée pour le système de CIGF, qui compte des rôles et des responsabilités clairement établis pour tous les intervenants.

Structure de gouvernance en place pour le système de CIGF.

Selon la Loi sur la gestion des finances publiques et la Politique sur la gestion financière, le statisticien en chef (SC), le DPF et les statisticiens en chef adjoints (SCA) ont des rôles et des responsabilités au chapitre de la mise en œuvre, de la mise à jour et de l'évaluation du système de CIGF fondé sur les risques, en plus de s'assurer qu'un tel système est en place. Il faudrait indiquer aux SCA qu'ils sont responsables du système de CIGF dans leur zone d'affectation. En outre, les ministères et organismes devraient également faire un compte rendu, à leur Comité ministériel de vérification (CMV), du système de CIGF au moins une fois par année, et comprendre les risques clés qui ont une incidence sur le système de CIGF, le plan de surveillance constante et les résultats des évaluations. Le CMV donne des conseils objectifs et formule des recommandations au SC relativement au caractère suffisant et adéquat, au fonctionnement et à la qualité des cadres et des processus de gestion, de contrôle et de gouvernance des risques de l'organisme.

L'équipe chargée de l'audit a examiné le cadre de CIGF de l'organisme. Elle a déterminé qu'il allait de pair avec la politique actuelle du CT et les guides connexes. L'audit a également permis de constater que les SCA sont informés, chaque année, de leurs rôles et responsabilités au chapitre du CIGF, y compris les responsabilités en gestion financière dans leurs ententes de gestion du rendement. En outre, on exige qu'ils signent une attestation annuelle au sujet du respect du système de contrôle interne de leur secteur.

Le CMV est l'organe de surveillance principal du système de CIGF. Trois fois par année, il reçoit des mises au point sur l'état des plans et résultats du CIGF. La charte du CMV de l'organisme indique que ce comité doit examiner les ententes sur le contrôle interne de l'organisme et formuler des conseils au SC. Un examen des procès-verbaux des réunions du CMV pendant la période visée a montré un degré de mobilisation des membres du CMV au chapitre du CIGF, y compris une analyse critique et des conseils sur les points affichant un risque supérieur. En outre, le DPF et le SC participent aux réunions du CMV.

Le Comité directeur des contrôles internes, qui était chargé d'examiner les mises au point périodiques sur les activités liées au contrôle interne, comme l'indiquait la stratégie de surveillance du CIGF de l'organisme, a été dissous en 2021. Selon le plan de travail annuel de 2021-2022 de la stratégie de surveillance du CIGF, on devait faire le point, tous les six mois, sur le contrôle interne auprès du Comité de gestion stratégique (CGS). Le DPF, le SC et les SCA sont tous membres du CGS. Grâce à cette participation inclusive, on s'assure que tous les intervenants clés sont constamment informés de l'état du système de CIGF, et on facilite la communication rapide des mesures requises. Cependant, le CGS n'a pas eu accès à ces mises à jour.

La charte du CMV décrit le rôle de ce comité quand vient le temps d'examiner le système de contrôles internes et d'informer le SC. Cependant, le mandat du CGS ne mentionne aucunement ses responsabilités au chapitre du CIGF. Au cours du cycle de mise à jour à venir, il faudrait envisager d'intégrer à la stratégie de surveillance du CIGF de l'organisme le changement relatif à la déclaration des activités de contrôle interne à la haute direction, et d'inclure les responsabilités relatives au CIGF au mandat du CGS, afin d'aller de pair avec le cadre du CIGF de l'organisme et la politique du CT.

La surveillance adéquate, y compris des rôles et responsabilités clairs pour tous les intervenants et organes de gouvernance clés, constitue une composante essentielle du système de CIGF à l'appui des responsabilités du SC à titre d'agent comptable de l'organisme, comme le décrit la Loi sur la gestion des finances publiques et la Politique sur la gestion financière. En raison des avantages que procure la participation du CGS, la direction devrait envisager de mettre à jour le mandat du CGS pour assurer sa participation constante au sein de la structure de surveillance du CIGF.

Recommandation

Voir la recommandation 2 sous « Établissement de rapports internes et externes ».

Évaluation des risques et plan de surveillance constante

Un plan de surveillance constante adéquat a été consigné et mis en œuvre. Un processus d'évaluation des risques annuel l'appuie. Ainsi, l'organisme dispose d'une surveillance suffisante, proportionnelle aux risques des principaux processus opérationnels en matière de CIGF.

Un plan de surveillance constante adéquat est en place. Un processus d'évaluation des risques annuel l'appuie. Ainsi, l'organisme dispose d'une surveillance suffisante, proportionnelle aux risques des principaux processus opérationnels en matière de CIGF.

Conformément au Guide de surveillance continue du contrôle interne en matière de gestion financière du CT, les ministères et organismes devraient utiliser une approche fondée sur le risque pour déterminer à quelle fréquence les processus et contrôles doivent être surveillés pour assurer l'efficacité du système de CIGF. Une évaluation exhaustive des risques du CIGF est requise tous les trois à cinq ans (Statistique Canada a choisi un cycle de quatre ans). Des analyses environnementales devraient être réalisées au cours des autres années, afin de déterminer si le plan de surveillance constante doit être adapté en fonction de changements considérables apportés au personnel, au processus ou aux systèmes.

Le plan de surveillance constante est le fondement des plans de travail de l'évaluation du CIGF futurs détaillés. Le DPF doit approuver le plan avant qu'il soit présenté au SC, aux SCA et au CMV. Le SC et le DPF ont approuvé, en janvier 2020, la stratégie de surveillance du CIGF de l'organisme pour la période allant de 2020-2021 à 2023-2024. Au cours du cycle de quatre ans, le plan comprenait la mise à l'essai de 12 processus opérationnels clés, de CGTI pour 13 systèmes et de CE (voir l'annexe C). Le plan de surveillance constante de 2020-2021 à 2023-2024 de l'organisme a été mis en œuvre de manière efficace pendant la période. Tous les processus opérationnels clés ont été mis à l'essai pendant le cycle (y compris les processus planifiés et en cours en 2023-2024, au moment de l'audit). On a noté uniquement des écarts mineurs et de légers retards par rapport au plan de mise à l'essai original.

L'équipe chargée de l'audit a examiné l'évaluation complète des risques du CIGF de 2019-2020, ainsi que les analyses environnementales pour chaque année, allant jusqu'à 2022-2023. Elle a déterminé que le processus est approprié et exhaustif. L'équipe chargée des contrôles internes a préparé une méthodologie générale pour réaliser les évaluations des risques du CIGF et les analyses environnementales dans son plan de surveillance. Pour assurer une amélioration continue, l'organisme pourrait documenter son approche et son processus détaillés. Tout particulièrement, on pourrait améliorer la méthodologie actuelle en précisant les principaux documents de l'organisme à examiner pour recueillir des données (comme les rapports annuels, le Cadre de responsabilisation de gestion, le profil de risque organisationnel, les changements aux politiques du CT et les rapports pertinents produits par le Bureau du vérificateur général du Canada), en plus de déterminer comment les principaux intervenants, comme les RPO et la haute direction, seront consultés dans le cadre du processus d'évaluation des risques. Ces deux éléments permettraient d'informer le processus de CIGF des changements organisationnels, des considérations stratégiques, des nouvelles priorités, des nouveaux programmes et des nouveaux risques.

En outre, l'audit a déterminé quelques possibilités d'amélioration dans les domaines du CGTI et du CE que la direction pourrait envisager à l'avenir.

• CGTI : Dans le cadre de l'évaluation exhaustive des risques du CIGF de 2019-2020, on a réalisé une évaluation des risques propre au CGTI. Cependant, il n'y a pas eu de mise au point annuelle des cotes de risques du CGTI pendant l'analyse environnementale. Même si le fait d'interroger chaque année les RPO financiers (c.-à-d. les utilisateurs du système) constitue une méthode indirecte quand vient le temps de saisir les changements apportés au système, le fait d'assurer la participation des responsables du système de CGTI au processus d'analyse environnementale annuel peut permettre de déceler de nouveaux changements et risques associés aux principaux systèmes, en plus de renforcer les relations avec les intervenants et d'accroître la sensibilisation au programme de CIGF hors du Secteur du DPF.
• CE : On n'a pas réalisé d'évaluation des risques des CE pendant le cycle de quatre ans visé par l'audit. Même si l'on a jugé que le CE affiche un risque faible aux fins du CIGF, l'équipe des contrôles internes devrait examiner, de manière périodique, cette composante de l'évaluation des risques avec les principaux intervenants, afin de veiller à ce que le « ton aux échelons supérieurs » de l'organisme continue de soutenir les principaux contrôles financiers.

On disposerait d'un plan de surveillance plus efficace si l'on s'assurait que le processus d'évaluation des risques est exhaustif et uniforme d'une année à l'autre. Cela permettrait de déceler et d'atténuer rapidement les risques additionnels au chapitre de la gestion financière et les nouveaux risques non financiers.

Essais de contrôle

Les méthodologies et activités d'essais pour l'évaluation du contrôle étaient efficaces et ont été suivies de manière constante pendant la période visée. Une stratégie d'essais du CIGF consignée qui va de pair avec les lignes directrices du CT et les pratiques exemplaires de l'industrie est en place.

L'organisme pourrait trouver utile d'établir une correspondance entre tous les contrôles surveillés et les risques connexes. Cela permettrait de déterminer les domaines dans lesquels les contrôles sont trop présents et les risques ne sont pas suffisamment pris en compte par les contrôles existants, indiquant les domaines dans lesquels il faudrait peut-être mettre en œuvre de nouveaux contrôles.

Les méthodologies et activités d'essais pour le système de CIGF de l'organisme sont efficaces et constamment suivies. Cependant, une mise en correspondance additionnelle des contrôles et des risques connexes renforcerait le programme de CIGF.

Parmi les aspects essentiels du maintien d'un système judicieux de CIGF, il y a la surveillance constante de la conception et de l'efficacité opérationnelle des contrôles internes. Les essais de l'efficacité de la conception ont pour objectif de déterminer si le contrôle continue d'atténuer, de manière adéquate, le risque. Ces essais devraient être réalisés avant les essais de l'efficacité opérationnelle, afin de confirmer que le contrôle fonctionne comme prévu. Les essais de l'efficacité opérationnelle comprennent l'évaluation du contrôle pendant une certaine période, habituellement d'un an. Ils évaluent si les contrôles fonctionnent conformément aux principes de conception. On s'attend à ce que les ministères et organismes créent des méthodologies efficaces et uniformes pour mettre à l'essai le système de CIGF pour des processus opérationnels, des processus de CGTI et des CE clés.

L'équipe chargée de l'audit a examiné les résultats détaillés des essais de contrôle et la documentation pour un échantillon discrétionnaire de huit évaluations de contrôle réalisées de 2020-2021 à 2022-2023. Elle a déterminé que les méthodologies et activités d'essais pour le système de CIGF de l'organisme sont efficaces et constamment suivies. La documentation requise pour chaque processus, y compris les matrices et textes sur le contrôle, est actualisée et validée avec les RPO avant la réalisation des évaluations. En outre, lorsqu'elle réalise des essais de l'efficacité opérationnelle, l'équipe des contrôles internes utilise une stratégie d'échantillonnage qui va de pair avec les pratiques exemplaires de l'industrie. Des données probantes documentées appuient les conclusions que formule l'équipe des contrôles internes au chapitre des essais.

L'efficacité de la conception vise l'évaluation des risques associés à un processus opérationnel particulier et le fait de veiller à ce que les contrôles soient conçus pour tenir compte des risques. L'équipe chargée de l'audit a jugé que les activités de contrôle des processus opérationnels du CIRF correspondent aux affirmations financières, ce qui comprend la déclaration de risques, comme la validité, l'exactitude et l'exhaustivité. Même si l'on a vérifié l'efficacité de la conception des contrôles de tous les processus figurant dans l'échantillon, aucune mise en correspondance des risques connexes n'a été documentée pour les processus opérationnels du CIGF (c.-à-d. les processus de gestion financière qui ne sont pas directement liés aux états financiers), le CGTI et le CE. L'exercice de mise en correspondance permettrait de déterminer les domaines dans lesquels les risques ne sont pas suffisamment pris en compte par les contrôles existants, indiquant les domaines dans lesquels il faudrait peut-être mettre en œuvre de nouveaux contrôles. Cela pourrait également aider à déterminer les domaines où les contrôles sont trop présents, afin de visualiser le contexte des risques et la manière dont on en tient compte.

Alors que la surveillance des processus de CIGF de l'organisme continue d'évoluer, il faudrait tenir compte de facteurs de risque additionnels, comme le fait de dépasser le montant des autorisations de dépenser, le fait de laisser des fonds inutilisés ou le fait de prendre de mauvaises décisions en matière d'affectation des ressources, afin de veiller à ce que les activités de contrôle appropriées soient en place. Lorsqu'il n'y a pas de correspondance entre les contrôles et les risques, le système de CIGF peut ne pas être en mesure de déterminer les lacunes au chapitre de la conception des contrôles internes de l'organisme. De plus, certains risques pourraient ne pas être suffisamment pris en compte par les contrôles existants.

Recommandation 1

On recommande que le SCA du Secteur des stratégies et de la gestion intégrées veille à ce qu'un processus visant à déterminer les risques au niveau du contrôle et à mettre en correspondance toutes les activités de contrôle surveillées par rapport aux risques connexes dans les matrices de contrôle soit mis en place. Il faudrait examiner, de manière périodique, les risques, pour assurer leur exhaustivité et leur pertinence continue.

Réponse de la direction

La direction accepte la recommandation formulée.

Le plan de contrôle interne annuel de Statistique Canada est adapté chaque année, afin d'y ajouter les nouveaux risques décelés lors de l'analyse environnementale annuelle (évaluation des risques). À l'avenir, on ajoutera au plan de CIGF annuel une section réservée à la mise en correspondance des risques et aux liens avec les processus de CIGF.

Produits livrables et échéancier

Le directeur de la Division de l'approvisionnement, des systèmes financiers et des contrôles internes s'assurera que le prochain plan de CIGF annuel comprendra les liens appropriés et une mise en correspondance des risques établis et le plan pour en tenir compte d'ici le 1er juin 2024.

Communication des résultats

On documente et communique aux RPO les résultats des principaux essais de contrôle de manière rapide et efficace. On obtient les plans d'action de la direction (PAD) rapidement. On a constaté que le système de suivi et de surveillance des PAD est exact et exhaustif.

Les résultats des évaluations de contrôle interne sont saisis de manière efficace et sont communiqués aux intervenants internes appropriés. Des plans d'action sont créés, surveillés et mis en œuvre de manière opportune.

À la suite des évaluations du contrôle interne de chaque processus opérationnel, on s'attend à ce que l'équipe des contrôles internes partage les résultats avec les RPO et qu'elle leur demande de préparer un PAD pour tenir compte des lacunes ou faiblesses décelées au chapitre des contrôles internes. Le plan d'action correctif devrait comprendre des jalons et les dates d'achèvement prévues pour les mesures de suivi. L'équipe chargée des contrôles internes devrait collaborer avec les RPO pour examiner, de manière périodique, les progrès faits au chapitre de la mise en œuvre et l'état des correctifs. On laisse à l'organisme la possibilité de déterminer la fréquence de l'examen. Statistique Canada réalise cet examen trois fois par année pour présenter des rapports au CMV. Il faudrait communiquer rapidement les observations faites lors des essais du CIRF et les PAD préparés, afin de veiller à ce qu'ils soient pertinents et que toute faiblesse au chapitre du contrôle soit corrigée dès que possible.

L'audit a conclu que les résultats des principaux essais de contrôle sont documentés et communiqués aux RPO de manière rapide et efficace. En outre, on obtient les PAD auprès des RPO. Ces PAD font l'objet d'une surveillance de la part de l'équipe des contrôles internes avec un délai minime. On a constaté que le système de suivi des PAD est exact et exhaustif. Le processus de suivi de la mise en œuvre des plans d'action se déroule plusieurs fois par année. Habituellement, les RPO mettent en œuvre les mesures correctives rapidement. Lors des interviews avec les RPO, on a constaté que les conclusions et recommandations étaient claires et appropriées, et que l'équipe des contrôles internes fournissait des lignes directrices et une rétroaction pour préparer le PAD s'il y a lieu. Selon l'audit, le format de déclaration actuel renferme principalement des recommandations et des domaines dans lesquels des lacunes ont été décelées. Pour favoriser la participation continue, on pourrait envisager l'adoption d'une approche de déclaration équilibrée aux RPO, y compris un résumé des contrôles jugés efficaces, afin de fournir une vue d'ensemble du domaine évalué.

Même si l'on a jugé que le processus de communication des résultats était efficace, le rapport du CMV de mars 2023 relevait certains cas de lacunes répétitives. Le rapport a mis en évidence cinq cas de lacunes au chapitre du contrôle des processus opérationnels « Paie et avantages sociaux » et « Clôture et rapports financiers » pour lesquels les évaluations de 2018-2019 et de 2019-2020, respectivement, avaient relevé des lacunes. Au cours du cycle de suivi précédent, l'audit a permis de constater que, dans quatre des cinq cas, on avait indiqué que les mesures correctives étaient « achevées ». Dans l'un des cinq cas, la recommandation initiale avait été classée parmi les recommandations pour lesquelles aucune mesure n'était requise en raison du faible risque. L'équipe des contrôles internes ne fait état que du suivi relatif aux recommandations associées à un risque élevé ou à un risque moyen. Certaines recommandations associées à un risque faible peuvent ne pas être mises en œuvre. Certains RPO ont indiqué être préoccupés par le fait que ces PAD d'une évaluation du contrôle interne réalisée dans le passé n'avaient pas été entièrement mis à exécution et qu'ils ne le savaient pas jusqu'à ce qu'ils reçoivent les résultats de l'évaluation la plus récente.

Lorsque les mesures correctives ne sont pas mises en œuvre de manière durable, afin de corriger les lacunes observées, les principaux risques relatifs aux rapports financiers et à la gestion financière peuvent ne pas être atténués pendant la période entre les évaluations de contrôle. Les RPO sont chargés de mettre en œuvre les mesures correctives, et veiller à ce que ces mesures soient durables, en cas de roulement du personnel ou de changement apporté au processus opérationnel.

Établissement de rapports internes et externes

L'annexe à la déclaration de responsabilité de la direction va de pair avec le format prescrit par le CT. On a jugé que les renseignements figurant dans l'annexe, ainsi que dans les rapports au CMV, sont exacts. Cependant, les rapports réguliers à l'intention du CGS n'ont pas été fournis comme prévu.

Les renseignements figurant dans les rapports internes et externes sur le CIGF sont exacts et exhaustifs.

Conformément à la politique du CT, les ministères et organismes doivent faire un compte rendu de leur évaluation annuelle du CIRF dans l'annexe à la déclaration de responsabilité de la direction. Cette annexe fournit aux utilisateurs des états financiers un résumé qui fait état de la gestion du système organisationnel de CIRF au moyen d'évaluations annuelles, de plans d'action connexes et de plans d'évaluation futurs. Les ministères et organismes devraient également faire un compte rendu, à leur CMV, du système de CIGF au moins une fois par année, et comprendre les risques clés qui ont une incidence sur le système de CIGF, le plan de surveillance constante et les résultats des évaluations.

L'audit a conclu que l'équipe des contrôles internes fait état des résultats du CIGF au CMV trois fois par année, ce qui est supérieur à l'exigence minimale selon laquelle il faut les fournir une fois par an. On a jugé que les rapports au CMV étaient exacts, exhaustifs et complets. Comme mentionné dans la section « Gouvernance et surveillance » ci-dessus, on prévoyait faire une mise au point, tous les six mois, sur les contrôles internes à l'intention du CGS. Le DPF et le SC participent à toutes les réunions du CMV. En compagnie des SCA, ils sont membres du CGS. Ainsi, tous les intervenants clés sont tenus au courant de l'état du système de CIGF, ainsi que des mesures requises. Cependant, les mises au point régulières à l'intention du CGS n'ont pas eu lieu comme prévu.

On a jugé que l'information contenue dans l'annexe était exacte. À l'avenir, si la direction prévoit augmenter le degré de transparence des rapports externes, l'annexe pourrait comprendre des renseignements plus exhaustifs, comme les évaluations achevées des principaux contrôles, les écarts par rapport au plan de l'année précédente et la manière dont on tient compte des nouveaux risques dans le plan. Selon une étude comparative de l'annexe de trois ministères et organismes comparables, les trois ont fourni sensiblement plus de détails sur leur programme de CIRF et de CIGF que Statistique Canada au chapitre des constatations sur les lacunes en matière de contrôle, des mesures prises et des résultats de l'évaluation des risques.

La déclaration de responsabilité de la direction est un document clé sur les responsabilités de l'organisme. Elle donne l'occasion aux ministères et aux organismes de mettre en évidence l'efficacité de leur gestion du CIRF et du CIGF. Si l'on fournissait des renseignements détaillés additionnels, on augmenterait la transparence de l'assurance qu'un système efficace de CIRF et de CIGF est en place au sein de l'organisme.

Recommandation 2

On recommande que le SCA du Secteur des stratégies et de la gestion intégrées veille à ce que la haute direction reçoive des rapports réguliers planifiés, afin d'assurer une gouvernance efficace.

Réponse de la direction

La direction accepte la recommandation formulée.

Pour améliorer la surveillance et la communication efficaces des mesures nécessaires, les rapports d'étape du CIGF seront transmis à la haute direction en temps opportun.

Produits livrables et échéancier

Le directeur de la Division de l'approvisionnement, des systèmes financiers et des contrôles internes veillera à ce que la présentation du rapport d'étape du CIGF soit transmise aux membres du CGS à des fins de commentaires, avant les réunions du CMV, d'ici le 22 novembre 2023.

Annexes

Annexe A : Critères d'audit

Critères d'audit

Objectifs de contrôle	Contrôles de base/critères	Instruments de politique/sources
1. Procurer une assurance raisonnable au chapitre du caractère adéquat et de l'efficacité du cadre et des processus en place à l'appui du respect de la politique et des lignes directrices du CT en matière de CIGF.	1.1 L'organisme dispose d'une structure de gouvernance appropriée pour le système de CIGF. Les rôles et responsabilités des intervenants sont clairement établis et communiqués. 1.2 Un plan d'évaluation des risques et de surveillance constante adéquat, qui a été mis en œuvre comme prévu, appuie le système de CIGF de l'organisme. 1.3 Les méthodologies et activités d'essais pour le système de CIGF de l'organisme sont efficaces et constamment suivies. 1.4 Les résultats des évaluations de contrôle interne sont saisis de manière efficace et sont communiqués aux intervenants internes appropriés. Des plans d'action sont créés, surveillés et mis en œuvre de manière opportune. 1.5 On communique efficacement aux intervenants appropriés l'état du système de CIGF de l'organisme et les mesures requises pour tenir compte des lacunes ou des faiblesses, au moyen de rapports internes et externes.	Politique sur la gestion financière du CT, Guide sur le contrôle interne en matière de gestion financière et Guide de surveillance continue du contrôle interne en matière de gestion financière. Mandat, procès-verbaux des réunions, compte rendu des décisions et rapports pour les comités pertinents, s'il y a lieu. Documents du programme de CIGF, y compris des évaluations des risques, des analyses environnementales, des plans de surveillance constante, des renseignements sur les processus opérationnels, des fiches d'essai de contrôle interne, des rapports et plans d'action et autres. Autres documents internes de Statistique Canada, le cas échéant.

Annexe B : Acronymes

CE

Contrôle au niveau de l'entité

CGS

Comité de gestion stratégique

CGTI

Contrôle général des technologies de l'information

CIGF

Contrôle interne en matière de gestion financière

CIRF

Contrôle interne en matière de rapports financiers

CMV

Conseil ministériel de vérification

COSO

Committee of Sponsoring Organizations

CT

Conseil du trésor du Canada

DPF

Dirigeant principal des finances

PAD

Plan d'action de la direction

RPO

Responsable du processus opérationnel

SC

Statisticien en chef

SCA

Statisticien en chef adjoint

Annexe C : Plan de travail relatif au contrôle interne en matière de gestion financière de 2020-2021 à 2023-2024

Plan de travail relatif au contrôle interne en matière de gestion financière de 2020-2021 à 2023-2024

Processus ou système	Cote de risque	Dernier essai	2020-2021	2021-2022	2022-2023	2023-2024
Processus opérationnels au chapitre du contrôle interne en matière de gestion financière
Prévisions	Élevé	S.O.	Oui	Oui	Oui	Oui
Budgétisation	Moyen	S.O.	Oui	Oui		Oui
Planification des investissements	Moyen	S.O.	Oui	Oui
Établissement des coûts	Moyen	S.O.		Oui	Oui
Attestation du dirigeant principal des finances	Faible	S.O.		Oui	Oui
Processus opérationnels au chapitre du contrôle interne en matière de rapports financiers (CIRF)
Clôture et rapports financiers	Élevé	2019-2020	Oui		Oui
Paie et avantages sociaux (CIGF/CIRF)	Élevé	2019-2020	Oui		Oui
Paie des intervieweurs	Moyen	2019-2020			Oui
Recettes	Moyen	2019-2020		Oui
Paie du recensement	Moyen	2019-2020	Au besoin
Dépenses de fonctionnement	Faible	2018-2019				Oui
Immobilisations	Faible	2019-2020				Oui
Contrôles généraux des technologies de l'information
Système financier ministériel commun	Élevé	2019-2020		Oui		Oui
Portail de gestion de la collecte	Élevé	2019-2020	Selon les besoins et allant de pair avec la paie du recensement
Galaxie RH	Élevé	2019-2020		Oui		Oui
Système de gestion du temps	Élevé	2019-2020		Oui		Oui
Système de gestion du temps (Web)	Élevé	S.O.		Oui		Oui
Système de gestion du budget et des recettes	Moyen	2018-2019			Oui
Approbation électronique des demandes	Moyen	2018-2019			Oui
Système de paie des opérations sur le terrain	Moyen	2019-2020	Selon les besoins et allant de pair avec la paie du recensement
Système de gestion des informations non salariales	Moyen	2019-2020			Oui
Système de gestion des informations salariales	Moyen	2018-2019			Oui
Délégation des pouvoirs de signature en matière de finances	Faible	2018-2019				Oui
Système de rapports financiers	Faible	2018-2019				Oui
Système de gestion de tables de référence	Faible	2019-2020				Oui
Contrôles au niveau de l'entité
Contrôles au niveau de l'entité	Faible	2017-2018	Oui
Source : Adapté de la Stratégie de surveillance axée sur les risques du contrôle interne en matière de gestion financière de 2020-2021 à 2023-2024 de Statistique Canada.

Novembre 2023
Numéro du projet : 80590-127

Table des matières

• Sommaire
• Conformité aux normes professionnelles
• Introduction
  • Contexte
  • Objectif de l'audit
  • Portée
  • Approche et méthodologie
  • Autorité
• Constatations, recommandations et réponse de la direction
  • Points de vue des gestionnaires d'embauche sur la dotation
  • Points de vue des conseillers en dotation et des ressources humaines sur la dotation
  • Surveillance de l'efficacité et de l'efficience du processus de dotation
  • Recommandations
• Annexes
  • Annexe A : Critères d'audit
  • Annexe B : Sigles et acronymes

Sommaire

Le personnel constitue la ressource la plus précieuse de Statistique Canada. Ensemble, les membres du personnel assurent le respect du mandat et des priorités de l'organisme qui vise à produire des statistiques permettant à la population canadienne de mieux comprendre son pays. Les processus de dotation doivent être efficaces et efficients, afin de veiller à ce que Statistique Canada recrute, au moment opportun, les bonnes personnes ayant les compétences adéquates.

Les processus de dotation sont une responsabilité partagée entre le gestionnaire d'embauche et le conseiller en dotation. Le gestionnaire d'embauche est responsable de prendre des décisions de sélection dans le respect des valeurs et de l'éthique de la fonction publique tout en agissant conformément aux objectifs organisationnels. Le conseiller en dotation est responsable de fournir des options, des conseils stratégiques et une orientation quant aux mécanismes de dotation en place ainsi qu'aux risques et aux considérations connexes. L'adjoint aux ressources humaines (RH) travaille avec le conseiller en dotation qui lui a été désigné et est responsable des composantes administratives du processus de dotation, comme la création et la tenue à jour du dossier de mesures de dotation dans GCdocs. Enfin, Dotation ministérielle est responsable de la conception du processus de dotation, du contrôle et de la surveillance de nombreuses composantes fondamentales soutenant les conseillers en dotation et les adjoints aux RH dans l'exécution des mesures de dotation, comme la création d'outils et de modèles, l'élaboration de formations et de documents d'orientation et la représentation de l'organisme en cas de plainte.

L'organisme a connu un environnement de dotation extraordinaire depuis le début de la pandémie de COVID-19. Les mesures de dotation annuelles prises par l'organisme sont passées de 6 473 en 2019-2020 à 13 947 en 2021-2022, avant de diminuer pour s'établir à 8 643 en 2022-2023. Dans un contexte où le recrutement s'est intensifié pour répondre aux demandes de nouveaux projets et programmes, les processus de dotation ont été mis à rude épreuve, entraînant un arriéré de mesures de dotation. Cette hausse soudaine s'est produite à une période où la direction et les équipes de RH devaient s'efforcer d'assurer la transition de l'organisme vers un environnement de télétravail à temps plein (suivie d'une transition vers un modèle de travail hybride), de nombreuses mises en place de procédures de déclaration de vaccination, l'embauche de milliers d'agents de recherche des contacts ainsi que la mise en œuvre d'un programme de dépistage rapide auprès du personnel du recensement. Toutefois, grâce à un travail et à des efforts importants, et sans ressources supplémentaires, l'organisme a réussi à recruter tous les employés nécessaires aux nouveaux projets et programmes. On ne devrait pas revoir un nombre de dotations aussi élevé dans un avenir proche.

Pourquoi est-ce important?

Les mesures de dotation ont plus que doublé au cours des dernières années, menant à un arriéré persistent et à une augmentation du délai d'embauche. Un processus de dotation efficace et efficient est essentiel pour veiller à ce que Statistique Canada ait les ressources humaines nécessaires pour réaliser son mandat et respecter ses priorités.

De plus, selon le cadre de nomination de la Commission de la fonction publique, Statistique Canada doit mener une évaluation cyclique au moins une fois tous les cinq ans. Cette évaluation permet d'examiner globalement la santé du système organisationnel de dotation et de relever les domaines à renforcer, ainsi que les mesures potentielles qui permettraient de remédier aux lacunes. Le présent audit de la dotation contribue à remplir cette exigence.

Conclusion générale

Les processus de dotation de l'organisme ont été soumis à une augmentation soudaine du nombre de transactions de dotation, combinée au départ de conseillers en dotation expérimentés. Pour optimiser l'efficacité et l'efficience du processus de dotation, alors que l'organisme retrouve des niveaux de dotation plus réguliers, des possibilités d'amélioration ont été relevées dans les domaines de soutien et de perfectionnement des conseillers en dotation, de conception et de documentation des processus, de systèmes intégrés de dotation ainsi que de surveillance de processus et de production de rapports en la matière.

Principales constatations

Points de vue des gestionnaires d'embauche sur la dotation

Même si l'organisme a réussi à recruter des employés afin de répondre à la hausse de la demande ces dernières années, le fardeau administratif des processus de dotation sur les gestionnaires d'embauche a généré de la frustration parmi ces derniers. Ils les trouvent fastidieux, trop axés sur la conformité, compliqués et parfois inefficaces pour trouver les meilleurs candidats. Même s'ils reconnaissent les défis auxquels les conseillers en dotation sont confrontés, les gestionnaires d'embauche aimeraient mieux tirer parti de l'expertise des RH tout au long du processus de dotation.

Points de vue des conseillers en dotation et des ressources humaines sur la dotation

Le roulement de l'équipe de dotation a été important ces dernières années. La plupart des conseillers en dotation sont nouveaux dans leurs fonctions, sans se sentir toutefois correctement soutenus. Les processus de dotation ne sont pas bien définis, ne sont pas optimisés à l'échelle de l'organisme, sont inadéquatement soutenus par des systèmes d'information intégrés et font l'objet de changements fréquents. Ensemble, ces facteurs accroissent le fardeau administratif pour les conseillers en dotation et les empêchent de répondre pleinement aux attentes des gestionnaires d'embauche.

Surveillance de l'efficacité et de l'efficience du processus de dotation

La production de rapports sur les mesures de l'efficience et de l'efficacité des processus de dotation est généralement limitée. Ce type de surveillance soutiendrait la prise de décisions fondée sur des données ainsi que l'amélioration continue de l'efficacité et de l'efficience du processus de dotation.

Conformité aux normes professionnelles

L'audit a été réalisé conformément aux procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors.

Des procédures d'audit adéquates et appropriées ont été menées et des éléments de preuve ont été recueillis pour appuyer l'exactitude des constatations et des conclusions du présent rapport, et fournir une déclaration de fiabilité de niveau audit. Les constatations et les conclusions reposent sur une comparaison des conditions, comme elles existaient à l'époque, au regard de critères d'audit préétablis. Les constatations et les conclusions s'appliquent à l'entité examinée pour la portée et la période de référence de l'audit.

Steven McRoberts
Dirigeant principal de la vérification et de l'évaluation

Introduction

Contexte

Le personnel constitue la ressource la plus précieuse de Statistique Canada. Ensemble, les membres du personnel assurent le respect du mandat et des priorités de l'organisme qui vise à produire des statistiques permettant à la population canadienne de mieux comprendre son pays. Les processus de dotation doivent être efficaces et efficients, afin de veiller à ce que Statistique Canada recrute, au moment opportun, les bonnes personnes ayant les compétences adéquates.

L'organisme a défini trois objectifs particuliers en ce qui concerne le processus de dotation, qui pourraient se résumer comme suit :

• Atteinte des objectifs opérationnels : l'organisme doit se doter d'une main-d'œuvre flexible et compétente au moyen d'activités efficaces de planification des ressources humaines et de stratégies de dotation et de recrutement adaptées à son contexte organisationnel et à ses besoins opérationnels.
• Conformité : l'organisme doit assurer sa conformité à la Loi sur l'emploi dans la fonction publique (LEFP), au Code de valeurs et d'éthique du secteur public et aux exigences des politiques internes et des politiques des organismes centraux.
• Équité, diversité et inclusion : les gestionnaires d'embauche devraient toujours rechercher la personne la plus qualifiée pour un poste. Ils doivent également mettre en place des stratégies pour attirer des talents de divers horizons qui apporteront une grande variété d'idées et d'habiletés qui, ensemble, mènent à des résultats innovants.

Les processus de dotation sont une responsabilité partagée entre le gestionnaire d'embauche et le conseiller en dotation. Le gestionnaire d'embauche est responsable de la planification de ses effectifs, de la détermination des besoins, du maintien d'une collaboration efficace avec les RH tout au long du processus, de la fourniture de renseignements en fonction des besoins et, finalement, de la prise de décisions dans le respect des valeurs et de l'éthique de la fonction publique, de la législation et des politiques, tout en agissant conformément aux objectifs organisationnels. Le conseiller en dotation est responsable de fournir des options, des conseils stratégiques et une orientation quant aux mécanismes de dotation en place ainsi qu'aux risques et aux considérations connexes. L'adjoint aux RH travaille avec son conseiller en dotation désigné et est responsable des composantes administratives du processus de dotation, comme la création et la tenue à jour du dossier de mesures de dotation dans GCdocs. Enfin, Dotation ministérielle est responsable de la conception du processus de dotation, du contrôle et de la surveillance de nombreuses composantes fondamentales soutenant les conseillers en dotation et les adjoints aux RH dans l'exécution des mesures de dotation, comme la création d'outils et de modèles, l'élaboration de formations et de documents d'orientation et la représentation de l'organisme en cas de plainte.

Les mécanismes de dotation au sein de la fonction publique fédérale sont soumis à la Loi sur l'emploi dans la fonction publique (LEFP), à la Politique sur la gestion des personnes du Conseil du Trésor et au cadre de nomination de la Commission de la fonction publique (CFP). Il convient de noter que le cadre de nomination de la CFP a été lancé en 2016 avec l'intention de simplifier les exigences, de réduire le fardeau administratif, de permettre une flexibilité et une imputabilité accrues, de favoriser des approches souples et personnalisées en matière de dotation et de politiques, et d'accorder une plus grande importance aux résultats. Au sein de Statistique Canada, le recrutement s'inscrit également dans le cadre de gouvernance en dotation de l'organisme, entré en vigueur le 15 mai 2022.

En 2020-2021, comme toutes les organisations, Statistique Canada a réagi rapidement lors de la pandémie de COVID-19, redirigeant ses activités pour se concentrer sur les programmes essentiels à la mission et, du fait d'un besoin sans précédent de données, fournir des renseignements axés sur des données à la population canadienne à un moment où elle en avait le plus besoin. Tout au long de cette période, l'organisme a connu un environnement de dotation extraordinaire; les mesures de dotation annuelles traitées par l'organisme passant de 6 473 en 2019-2020 à 13 947 en 2021-2022, avant de diminuer pour s'établir à 8 643 en 2022-2023. Cette soudaine hausse a eu lieu alors que la direction et les équipes de RH devaient s'efforcer d'assurer la transition de l'organisme vers un environnement de télétravail complet (quelque 7 500 employés sont passés au télétravail, constituant un grand pas en avant), suivie d'une transition vers un modèle hybride (notamment l'utilisation de personnages, de sondages éclair et d'un sondage sur le mieux-être des employés visant à soutenir la transition du personnel vers un environnement de travail hybride), de multiples mises en œuvre de rapport sur la vaccination, l'embauche de milliers d'agents de recherche des contacts (plus de 2 000 employés des Opérations des enquêtes statistiques supplémentaires embauchés en moins de quatre mois) ainsi que la mise en œuvre d'un programme de dépistage rapide pour les employés du recensement. Alors que l'embauche s'est intensifiée pour répondre aux demandes de nouveaux projets et programmes, l'organisme a éprouvé des difficultés à suivre le rythme, entraînant un retard constant dans les mesures de dotation. Toutefois, grâce à un travail et à des efforts importants, et sans ressources supplémentaires, l'organisme a réussi à recruter tous les employés nécessaires pour travailler sur les nouveaux projets et programmes. Ce niveau extraordinaire de dotation ne devrait pas se reproduire dans un avenir proche.

Objectif de l'audit

L'objectif de cet audit est de fournir une assurance raisonnable de l'efficacité et de l'efficience des processus et des outils de dotation, afin de favoriser une dotation en personnel appropriée et en temps opportun.

Portée

La portée de cet engagement comprenait un examen de certaines composantes du cadre de contrôle de gestion de l'organisme en matière de dotation, notamment les processus visant à :

• assurer que la direction et la Direction de l'effectif et du milieu de travail collaborent pour répondre aux besoins et priorités en matière de dotation;
• permettre à toutes les parties de comprendre et de respecter leurs responsabilités respectives en matière de dotation;
• permettre une dotation efficace et en temps opportun conformément aux besoins de la direction.

La conformité au cadre de nomination de la CFP a été exclue de la portée de l'engagement, puisque la Direction de l'effectif et du milieu de travail effectue des auto-évaluations annuelles des dossiers de dotation afin d'évaluer la conformité et de cerner les domaines à améliorer.

Dans le cadre de cet engagement, il est présumé que le processus de dotation commence lorsque le gestionnaire d'embauche détermine qu'un poste vacant doit être pourvu et se termine une fois que la lettre d'offre a été remise au candidat retenu.

La période de la portée couvrait les processus en place pour les exercices financiers 2021-2022 à 2022-2023.

La dotation de postes de direction a été exclue de la portée de l'engagement, puisqu'elle fait l'objet d'exigences et de processus différents provenant d'autres mesures de dotation.

Enfin, les éléments suivants ont également été exclus de la portée de l'engagement, car ils seraient mieux évalués dans le cadre d'autres engagements ciblés distincts : les éléments du processus d'embauche ayant lieu après la sélection du candidat retenu (notamment le processus de cote de sécurité et ceux liés à la paye), les initiatives d'équité, de diversité et d'inclusion, les mesures relatives aux langues officielles et les mesures de contrôle de la gestion financière.

Approche et méthodologie

Cet audit a été réalisé conformément aux procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA).

Les travaux d'audit comprenaient ce qui suit :

• un examen et une analyse des documents internes pertinents;
• des questionnaires pour les gestionnaires d'embauche et les conseillers en dotation;
• des entrevues et des revues générales avec les gestionnaires d'embauche de l'ensemble de l'organisme, les chefs d'équipe des opérations de dotation, les conseillers en dotation, les adjoints et chefs d'équipe en RH ainsi que les représentants de Dotation ministérielle et de la gestion des RH.

Autorité

L'audit a été mené en vertu des pouvoirs prévus dans le Plan intégré d'audit et d'évaluation fondé sur les risques (2023-2024 à 2027-2028) approuvé par Statistique Canada.

Constatations, recommandations et réponse de la direction

Points de vue des gestionnaires d'embauche sur la dotation

Même si l'organisme a réussi à recruter des employés afin de répondre à la hausse de la demande ces dernières années, le fardeau administratif des processus de dotation sur les gestionnaires d'embauche a généré de la frustration parmi ces derniers. Ils trouvent ces processus fastidieux, trop axés sur la conformité, compliqués et parfois inefficaces pour trouver les meilleurs candidats. Même s'ils reconnaissent les défis auxquels les conseillers en dotation sont confrontés, les gestionnaires d'embauche aimeraient mieux tirer parti de l'expertise des RH tout au long du processus de dotation.

La dotation est une responsabilité partagée entre les gestionnaires d'embauche, les conseillers en dotation et les adjoints aux RH. Les conseillers en dotation et les adjoints aux RH assurent l'administration du processus, alors que les gestionnaires d'embauche sont responsables de planifier leurs besoins en dotation, de prendre les décisions de sélection et d'assurer la conformité à la législation et aux politiques relatives à la dotation.

Les processus de dotation sont fastidieux et trop axés sur la conformité

Alors que les objectifs de l'organisme en matière de dotation ne comprennent pas explicitement le concept d'efficience, atteindre les trois objectifs dans les moindres délais et au coût le plus bas pour l'organisme demeure un objectif important, même s'il n'est pas précisé. De plus, ces objectifs sont parfois en contradictions, nécessitant un équilibre minutieux pour optimiser les résultats. En particulier, atteindre les objectifs opérationnels et assurer la conformité sont souvent contradictoire, car le respect de la conformité alourdit le fardeau du processus et peut retarder les mesures de dotation, au détriment de l'atteinte des objectifs opérationnels.

Les gestionnaires d'embauche ont souligné que les modèles de dotation, établis pour démontrer la conformité, sont contraignants et longs à remplir. Ils se demandent si l'organisme atteint le bon équilibre entre les objectifs opérationnels et de conformité, en soulignant que la rétroaction qu'ils reçoivent en remplissant les formulaires n'ajoute souvent qu'une valeur opérationnelle marginale. Des gestionnaires d'embauche ont également déclaré que les conseillers en dotation avaient tous leur propre interprétation de ce qui était nécessaire ainsi que du stade où les exigences en matière de conformité étaient satisfaites.

Remplir le formulaire de l'évaluation du candidat par validation (ECV) a été reconnu comme étant un défi commun à cet égard. Ce formulaire vise à remplir les objectifs de conformité et les exigences de la LEFP en matière de documentation de la décision d'embauche pour les nominations non annoncées. Tant les conseillers en dotation que les gestionnaires d'embauche ont signalé que les gestionnaires d'embauche consacraient beaucoup de temps à remplir ce document et que cela comprenait souvent plusieurs échanges entre le gestionnaire d'embauche et le conseilleur en dotation. Le formulaire ECV ne fournissait pas d'orientation détaillée sur ce qui pourrait constituer une documentation suffisante de la décision d'embauche, laissant la place à diverses interprétations du stade auquel la documentation était jugée acceptable.

S'efforcer d'atteindre la perfection en matière de conformité peut mener à un manque d'efficacité et à des complications inutiles. Même s'il est essentiel de respecter les exigences définies par la CFP, viser la perfection au-delà du seuil établi peut entraîner des processus de dotation prolongés, alourdir le fardeau administratif ainsi que les coûts et retarder la dotation de postes essentiels. Accorder trop d'importance à la perfection peut également détourner les ressources et l'attention de questions plus urgentes, entraînant un déséquilibre dans les priorités.

Certains processus de dotation sont lents et peuvent ne pas permettre de trouver de bons candidats

Les deux tiers des gestionnaires d'embauche ont mentionné que les processus et les évaluations de dotation habituels n'étaient pas toujours efficaces pour trouver les candidats souhaités. Même si les candidats semblaient souvent adéquats sur papier et répondaient correctement aux questions à l'étape de l'entrevue, leur rendement au travail ne reflétait pas toujours les résultats de leur évaluation. Certains types de mesures de dotation nécessitent beaucoup de travail de la part des gestionnaires d'embauche, et donnent des résultats variables pour trouver des candidats présentant les compétences particulières qu'ils recherchent. D'autres défis comprenaient notamment les processus générant trop peu de candidats et prenant trop de temps (les candidats ayant souvent accepté des postes ailleurs lorsque les processus prennent trop de temps).

Les gestionnaires d'embauche ont également déclaré utiliser plusieurs mesures de dotation pour accélérer la date d'embauche des employés au sein de l'organisme. Dans de tels scénarios, une fois les candidats choisis, ils se voient offrir une nomination intérimaire pour permettre le traitement d'une nomination à durée indéterminée. Même si cette pratique accélère effectivement l'embauche, elle accroît également la charge de travail des conseillers en dotation et des gestionnaires d'embauche, car elle engendre deux mesures de dotation au lieu d'une.

Le cloisonnement des fonctions de ressources humaines ajoute des étapes au processus pour les gestionnaires d'embauche

Plusieurs fonctions des RH sont mises à contribution dans le processus d'embauche, notamment la dotation et la classification, de même que d'autres fonctions au sein du Secteur des stratégies et de la gestion intégrées (p. ex. sécurité, langues officielles, finances). Les gestionnaires d'embauche ont déclaré avoir joué le rôle de facilitateur entre les diverses fonctions de RH, jugées cloisonnées. Plusieurs gestionnaires d'embauche ont souligné leur incertitude quant au groupe auquel s'adresser pour diverses questions de RH et que cela pouvait accroître la complexité et les délais dans le processus de dotation. Des personnes occupant des fonctions relatives à la dotation ont également exprimé des préoccupations similaires.

Les gestionnaires d'embauche souhaitent mieux tirer parti du soutien stratégique qu'ils reçoivent de leurs conseillers en dotation

Même s'ils reconnaissent les défis auxquels les conseillers en dotation sont confrontés, les gestionnaires d'embauche ont mentionné qu'ils souhaiteraient que les conseillers en dotation prennent davantage de responsabilités tout au long du processus de dotation. Cela permettrait à l'organisme de tirer avantage de l'expertise de ces conseillers et refléterait l'évolution souhaitée de la fonction de dotation. Ce changement comprendrait du soutien, comme la fourniture de conseils stratégiques, de l'assistance lors de la présélection parmi un grand nombre de candidats et de l'aide pour remplir la documentation obligatoire relative à la conformité. Puisque la fonction de dotation ne dispose pas actuellement des ressources ni de l'équipement permettant de fournir ce niveau de soutien, certains secteurs et certaines divisions ont créé des « guichets fantômes » pour effectuer ces tâches. Grâce à leur connaissance des besoins opérationnels des gestionnaires d'embauche et de connaissances antérieures du processus de dotation, ces équipes de soutien agissent en tant que liaison entre les gestionnaires d'embauche et les conseillers en dotation.

Toutefois, ces guichets fantômes génèrent des défis pour les conseillers en dotation. Ils éloignent les conseillers en dotation des activités, et ces derniers se concentrent alors principalement sur les aspects administratifs. De plus, les conseils fournis par ces guichets fantômes peuvent ne pas refléter ceux des conseillers en dotation. Malgré le démantèlement ou la réduction de certains de ces guichets, la demande relative à leurs services n'a pas diminué. De nombreux conseillers en dotation reconnaissent le besoin des services que fournissent ces guichets fantômes. L'équipe des conseillers en dotation souhaite mieux soutenir les clients et reconnaît les défis de l'environnement actuel, qui comprend un nombre élevé de mesures de dotation, le nombre et la diversité des besoins des gestionnaires d'embauche avec qui ils travaillent et les fardeaux administratifs qu'entraîne le processus manuel et inefficace de dotation (abordés plus en détail dans la section Surveillance de l'efficacité et de l'efficience du processus de dotation ci-après).

Le processus de dotation n'est pas conçu pour optimiser l'efficience et l'efficacité

Bon nombre des enjeux soulignés ont décrit un processus de dotation conçu en fonction des imputabilités, plutôt que de l'efficience et de l'efficacité. Ainsi, le coût total du processus de dotation n'est pas connu ni surveillé. Même si le coût de la fonction de dotation en soi est connu, le temps considérable que consacrent les gestionnaires d'embauche à la dotation ne fait pas l'objet d'un suivi. Le temps des gestionnaires d'embauche est donc devenu une ressource non mesurée, lors de la conception du processus de dotation et, au fil du temps, le processus peut dériver vers une optimisation au niveau de la fonction de dotation plutôt qu'à l'échelle de l'organisme. Cela se traduit par l'attribution de tâches aux gestionnaires d'embauche, car ils en sont responsables, et non parce qu'ils sont les personnes les plus efficaces pour les effectuer. Dans de nombreux cas, les tâches imputées aux gestionnaires d'embauche peuvent être mieux effectuées ou de manière plus efficace par une ressource centralisée ayant les connaissances et effectuant le nombre de transactions requis pour se perfectionner à ces tâches.

Les gestionnaires d'embauche sont notamment responsables de la décision en matière de sélection. Par conséquent, on s'attend à ce qu'ils définissent les compétences requises pour un poste, qu'ils élaborent des outils d'évaluation pour chaque compétence et qu'ils évaluent les outils d'évaluation afin qu'ils soient exempts de biais, tout cela avec très peu d'aide ou une formation limitée pour ces activités. Chacune de ces activités peut tirer profit de la connaissance et de l'expérience approfondies et peut être effectuée, ou encadrée, de manière plus efficace et efficiente, par une ressource centralisée ayant une expertise en matière de compétences et d'évaluation des compétences. Dans une perspective à l'échelle de l'organisme, un processus plus efficient et efficace peut faire appel à une ressource centralisée tenant à jour une banque de compétences, comprenant des définitions et des outils d'évaluation dépourvus de biais. Les gestionnaires d'embauche pourraient tirer avantage de ces ressources en fonction de leurs besoins, plutôt que de devoir mener des recherches par eux-mêmes sur ces compétences et d'élaborer des outils d'évaluation pour leur propre usage. Alors que l'organisme tient à jour une banque d'outils pour des processus collectifs plus vastes qui se répètent à intervalles réguliers, un soutien similaire n'est pas disponible pour les processus individuels.

Points de vue des conseillers en dotation et des ressources humaines sur la dotation

Le roulement de l'équipe de dotation a été important ces dernières années. La plupart des conseillers en dotation sont nouveaux dans leurs fonctions, sans se sentir toutefois suffisamment soutenus. Les processus de dotation ne sont pas bien définis, ne sont pas optimisés à l'échelle de l'organisme, ne sont pas suffisamment soutenus par les systèmes d'information intégrés et font l'objet de changements fréquents. Ensemble, ces facteurs ajoutent un fardeau administratif aux conseillers en dotation et les empêchent de répondre pleinement aux attentes des gestionnaires d'embauche.

Les conseillers en dotation, agissant conformément aux processus manuels existants, sont confrontés à de nombreux défis tout en appuyant les gestionnaires d'embauche. De nombreux conseillers en dotation sont nouvellement arrivés et souhaiteraient un plus grand soutien et aimeraient avoir l'occasion d'apprendre auprès de conseillers plus expérimentés. Un propos qui revient souvent était que les conseillers en dotation tenaient compte des intérêts de l'organisme et de ceux des gestionnaires d'embauche et qu'ils étaient soucieux d'offrir un bon service.

La plupart des conseillers en dotation sont nouvellement arrivés

Les conseillers en dotation jouent un rôle clé au sein du processus de dotation. Ils sont spécialistes des processus, responsables d'orienter les gestionnaires d'embauche, depuis la détermination des besoins jusqu'à la nomination du candidat retenu. Ils fournissent des conseils stratégiques sur les mécanismes de dotation, et sur les risques et les exigences en matière de conformité. Ces conseils exigent une solide compréhension des besoins opérationnels et de dotation de leurs clients, de la façon de trouver, d'attirer et d'évaluer des candidats hautement qualités ainsi que la façon de s'y retrouver dans le réseau complexe de règlements, politiques et lignes directrices qui encadrent le recrutement au sein du gouvernement fédéral.

Dans l'ensemble du gouvernement fédéral, il y a pénurie de conseillers en dotation et ces derniers sont en forte demande, ce qui fait en sorte que les déplacements entre ministères constituent un défi courant.

Comme nous l'avons mentionné, l'organisme a enregistré une forte hausse du nombre de mesures de dotation au cours des dernières années. Simultanément, les taux de roulement au sein de la catégorie Gestion du personnel (PE) de l'organisme ont également augmenté. Au cours de cette période, l'organisme a enregistré des taux de roulement de 25 % à 33 % pour les postes PE par rapport à un taux de 7 % à 12 % pour l'ensemble de la fonction publique fédérale. En 2022-2023, la fonction de dotation a enregistré un taux de roulement de 36 %, par rapport à un taux de roulement de 23 % au sein de l'organisme.

La direction a mentionné avoir eu de la difficulté à remplacer les conseillers en dotation expérimentés qui ont quitté leur poste par des conseillers ayant un niveau d'expérience similaire. Par conséquent, des conseillers en dotation moins expérimentés (de niveau PE-01 ou PE-02) ont été embauchés à leur place. En date de septembre 2023, l'organisme comptait 14 conseillers en dotation au total : douze conseillers subalternes en dotation de niveau PE-01 ou PE-02 et deux conseillers principaux en dotation de niveau PE-03.

Les conseillers en dotation nécessitent davantage de soutien, ce qui met à l'épreuve les chefs d'équipe qui s'efforcent de combler le manque

Le perfectionnement d'un conseiller en dotation nécessite du temps, de la formation et de l'encadrement. Ils commencent au niveau PE-01 comme conseillers en RH en perfectionnement, généralement pendant un an ou plus, avant de progresser au niveau PE-02 comme conseillers en RH, période à partir de laquelle ils peuvent fournir des services opérationnels d'une portée limitée. Les conseillers subalternes en dotation sont soutenus tout au long de ce processus par un conseiller en dotation plus expérimenté de niveau PE-03 (spécialiste en RH) ou PE-04 (chef d'équipe). Ce conseiller joue alors le rôle de mentor, ce qui permet au conseiller subalterne de l'observer au travail. Le mentor passe en revue le travail du conseiller subalterne avant qu'il ne soit transmis au gestionnaire d'embauche et fournit de la rétroaction lorsque le conseiller subalterne rencontre une situation difficile. Ce n'est que lorsque les conseillers en dotation ont atteint le niveau PE-03 (spécialistes en RH) qu'ils peuvent travailler de façon autonome et sont jugés aptes à fournir des conseils d'experts en dotation.

En raison du taux de roulement élevé parmi les conseillers principaux en dotation, les conseillers subalternes en dotation ont été désignés comme conseillers principaux pour travailler directement avec les gestionnaires d'embauche sans mentor (mais sous la supervision de leur chef d'équipe). D'une certaine manière, ils se voient confier les responsabilités d'un conseiller principal en dotation sans avoir les connaissances, l'expérience, ni le soutien pour agir à ce niveau. Les conseillers subalternes en dotation ont déclaré assumer des rôles pour lesquels ils ne se sentent pas suffisamment équipés ni soutenus. Bon nombre ont déclaré ne pas se sentir à l'aise de fournir des conseils à des cadres supérieurs et à la direction sans avoir acquis l'expérience nécessaire pour tous les types de mesures de dotation (en particulier les processus annoncés) ni bien comprendre les processus de dotation.

Du fait de la pénurie de conseillers en dotation expérimentés, les chefs d'équipe peinent à combler le manque. L'équipe de dotation comprend actuellement deux chefs d'équipe, chacun d'eux se voyant attribuer sept à huit conseillers en dotation. La direction de la dotation a déclaré que des équipes composées de 4 à 5 personnes étaient plus typiques, combinant des conseillers subalternes et expérimentés. Les chefs d'équipe ont indiqué se sentir dépassés par leur charge de travail et devoir faire des heures supplémentaires pour tenir le coup, tout en fournissant de l'encadrement, en révisant le travail des conseillers subalternes en dotation et en leur offrant du soutien continu. Les conseillers en dotation ont également mentionné que les chefs d'équipe semblaient surchargés, et qu'ainsi, ils hésitaient à s'adresser à eux lorsqu'ils avaient besoin d'aide. Ils ont déclaré que cela avait entraîné des retards dans les réponses aux gestionnaires d'embauche et avait ralenti le processus de dotation.

La rotation fréquente des conseillers en dotation entre les groupes clients génère de la frustration chez les gestionnaires d'embauche et les conseillers en dotation

À ces défis s'ajoutent le roulement élevé et le nombre de mesures de dotation, qui ont entraîné une rotation fréquente des groupes clients parmi les conseillers en dotation. Les gestionnaires d'embauche et les conseillers en dotation ont exprimé leur frustration relativement à ce changement constant et ont mentionné qu'une plus grande stabilité était nécessaire. Pour les conseillers en dotation, une rotation fréquente rend difficile l'établissement de relations de travail solides avec leurs clients, tout comme la compréhension de leurs activités et de leurs besoins. Selon les gestionnaires d'embauche, un nouveau conseiller en dotation a besoin de consacrer du temps pour les mettre à jour à propos des mesures de dotation en cours, leurs besoins opérationnels et leurs divers besoins en matière de dotation. Cela signifie également de s'ajuster à différentes façons de faire les choses, ce qui peut entraîner des défis, puisque les conseillers peuvent avoir des interprétations différentes de ce qui est nécessaire et de la façon dont le processus de dotation devrait se dérouler.

La pénurie de conseillers en dotation expérimentés capables de fournir des conseils d'experts, associée à la rotation fréquente des conseillers en dotation parmi les groupes clients, a eu une incidence sur la qualité du service que peuvent fournir les conseillers en dotation et sur la cohésion entre les gestionnaires d'embauche et les conseillers en dotation. Ces facteurs aggravent en outre les autres défis exposés tout au long du présent rapport.

Les gestionnaires d'embauche ne mobilisent pas les conseillers en dotation tôt dans le processus

La direction des RH a mentionné que les conseillers en dotation n'étaient pas informés des besoins et des activités de dotation suffisamment tôt au cours du processus et que cela représentait un défi commun. Les demandes de dernière minute entraînent des transactions rétroactives et un nombre élevé de mesures de dotation urgentes. Ces difficultés empêchent les conseillers en dotation de planifier leur travail, compliquent les processus de paye et créent des problèmes pour les employés, qui risquent de ne pas être payés correctement, d'être payés en retard ou pas du tout ou encore de voir leurs avantages sociaux retardés ou refusés. Ces enjeux influent également sur la relation entre les gestionnaires d'embauche et les conseillers en dotation. Les gestionnaires d'embauche ont exprimé le souhait d'avoir davantage de soutien de la part de leurs conseillers en dotation. De la même façon, les conseillers en dotation ont exprimé le souhait de fournir davantage de conseils et de soutien stratégiques aux gestionnaires d'embauche et d'être considérés comme des partenaires de confiance dans le cadre des activités de dotation de leurs clients. Toutefois, ne pas faire intervenir les conseillers en dotation tôt dans le processus les relègue simplement au traitement de dossiers, souvent sous de fortes contraintes de temps. Cela peut, à son tour, mener à considérer les conseillers en dotation comme un obstacle pour les gestionnaires d'embauche, alors que le conseiller en dotation doit s'efforcer tant bien que mal de respecter toutes les exigences administratives nécessaires au traitement des mesures de dotation.

L'organisme a lancé une initiative relative à la rapidité d'exécution en mai 2023, afin d'établir un échéancier clair que les gestionnaires d'embauche doivent respecter pour que les mesures de RH puissent être traitées à temps. Comme cette initiative a été mise en œuvre pendant l'audit, il n'a pas été possible d'en évaluer l'efficacité. Cela dit, la direction espère qu'elle permettra d'accroître la rigueur et la discipline au sein des processus de dotation et fera en sorte que les gestionnaires d'embauche intégreront les conseillers en dotation plus tôt dans leurs mesures de dotation.

Les processus de dotation ne sont pas clairement définis, ce qui rend l'optimisation des processus difficile

Des processus et des procédures bien conçus et correctement mis en œuvre contribuent à l'efficacité de la fonction de dotation. Cela permet d'assurer des approches communes et normalisées en matière de gestion des mesures de dotation, d'établir des attentes claires pour le niveau de service que fournissent les conseillers en dotation et d'informer tous les participants des exigences et des échéanciers d'une mesure de dotation typique. Cela peut également permettre d'adopter l'approche la plus efficace pour chaque mesure de dotation en assurant l'ordre adéquat des mesures et en veillant à ce qu'aucune étape ne soit omise.

Les conseillers en dotation et les gestionnaires d'embauche ont souligné que le processus n'était pas entièrement défini. En effet, des procédures claires, complètes et documentées décrivant les étapes particulières nécessaires pour chaque type de processus de dotation n'ont pas été élaborées par la fonction des RH. Cela dit, un organigramme complet a été élaboré pour le processus de dotation non annoncé en collaboration avec la Division des opérations et de l'intégration du secteur 7, mais n'a pas été transmis aux conseillers en dotation ni aux gestionnaires d'embauche, car ce projet a pris fin en raison de restrictions budgétaires. Ce travail est un bon départ et pourrait servir à documenter d'autres types de mesures de dotation. Diverses listes de contrôle ont également été créées pour définir les documents clés nécessaires pour chaque type de mesures de dotation, mais les gestionnaires d'embauche et les conseillers subalternes en dotation ont déclaré qu'elles n'étaient pas suffisamment détaillées pour répondre à leurs besoins, puisqu'elles ne comprennent pas toutes les étapes du processus, les échéances attendues pour chaque étape ni l'objectif sous-tendant chaque étape.

Le manque de procédures claires normalisées a donné lieu à un processus qui varie selon le conseiller en dotation et le gestionnaire d'embauche concernés.

Par exemple, une étape clé au début d'une mesure de dotation est l'élaboration de l'énoncé des critères de mérite (ECM). Ce document décrit l'expérience, les aptitudes et les compétences^{Note de bas de page 1} requises pour le poste et constitue la base de l'évaluation du candidat. Remplir l'ECM est la responsabilité du gestionnaire d'embauche, avec l'aide du conseiller en dotation. Il n'existait pas d'approche commune dans la détermination du niveau de soutien à fournir. De plus, les conseillers en dotation ayant déclaré avoir transmis l'ECM d'autres services les prenaient dans leur collection personnelle plutôt qu'à partir d'une liste préparée et tenue à jour par l'organisme et mise à la disposition de tous les autres conseillers en dotation.

Les systèmes d'information non intégrés créent un fardeau administratif pour les conseillers en dotation

Des systèmes de gestion de l'information et de technologie de l'information (TI) sont nécessaires pour favoriser des processus de dotation efficients et efficaces. Ces systèmes devraient soutenir le déroulement des processus, la gestion des documents ainsi que la surveillance et la production de rapports.

Statistique Canada utilise plusieurs systèmes pour soutenir le processus de dotation. Ces systèmes comprennent Orbit, le Système de gestion des activités de dotation, un chiffrier des travaux en cours commun à tous les conseillers en dotation, SharePoint pour les approbations financières, GCdocs pour les documents principaux, les boîtes aux lettres des conseillers en dotation et des adjoints aux RH pour la correspondance et les documents en cours, ainsi que divers chiffriers et autres outils uniques créés et utilisés par les conseillers en dotation et les adjoints aux RH pour effectuer le suivi de leurs dossiers. Il convient de mentionner que ces systèmes ne sont pas intégrés, ce qui influe sur la disponibilité et l'exactitude des données liées au processus de dotation. De nombreux points de données se retrouvent en même temps dans de multiples systèmes, donnant lieu à des renseignements contradictoires qui doivent faire l'objet d'un rapprochement lors de la compilation des renseignements à des fins de production de rapports.

Ces systèmes disparates ajoutent un fardeau important aux conseillers en dotation, compliquent le processus et engendre de la frustration pour les gestionnaires d'embauche, entraînent des retards dans les processus de dotation et empêchent les conseillers en dotation de se consacrer à fournir un soutien stratégique à leurs clients. Il existe également de multiples points d'entrée pour les nouvelles mesures de dotation, ce qui signifie que les conseillers en dotation doivent surveiller leurs courriels, SharePoint et les travaux en cours pour savoir où ils en sont dans leurs travaux. Les rapports à fournir à la haute direction exigent des conseillers en dotation qu'ils compilent ou rapprochent manuellement des données de multiples systèmes. Les gestionnaires d'embauche ne peuvent pas consulter l'état de leurs mesures de dotation, ce qui fait que de nombreux courriels sont envoyés aux conseillers en dotation leur demandant des mises à jour qui exigent également des vérifications manuelles de leur part. De plus, les systèmes ne prennent pas en charge le processus qui vise à remplir les formulaires requis, ce qui signifie que ces derniers doivent être transmis par courriel entre les gestionnaires d'embauche, leur délégué et le conseiller en dotation au cours de leur élaboration, entraînant la perte de documents et des problèmes de contrôle de version. Ces enjeux engendrent de la frustration et minent la confiance des gestionnaires d'embauche envers les conseillers en dotation de plusieurs façons. Tout d'abord, le manque de soutien au niveau du système pour le processus de dotation ne permet pas aux conseillers en dotation de trouver facilement les fichiers des mesures de dotation précédentes, ce qui donne une impression de désorganisation aux gestionnaires d'embauche. Deuxièmement, les conseillers en dotation demandent parfois aux gestionnaires d'embauche de fournir les documents une deuxième ou troisième fois pour un processus donné, engendrant de la frustration et une perte de confiance parmi les gestionnaires d'embauche qui avaient compris que les conseillers en dotation étaient responsables de conserver la documentation pour la mesure de dotation.

De plus, il n'existe pas de documentation formelle indiquant quel système est utilisé pour effectuer le suivi de quels renseignements, pour savoir qui doit entrer les renseignements et à quel moment cela doit être effectué. Les conseillers en dotation et leurs adjoints aux RH se répartissent les rôles et les responsabilités entre eux. Par conséquent, certains adjoints aux RH peuvent en faire plus pour soutenir leur conseiller en dotation, pendant que d'autres en font moins. Ce manque d'uniformité est perceptible dans les renseignements contenus dans les systèmes.

L'équipe des RH a entrepris un projet de mise en œuvre d'un système intégré pour automatiser la surveillance et améliorer l'efficacité du processus de dotation. Toutefois, il ne s'agit pas de la première tentative en la matière. Des tentatives antérieures ont été mises de côté en faveur de priorités nouvelles ou plus urgentes ou ont vu leur portée modifiée en cours de réalisation, les empêchant de fournir le système intégré prévu. Plusieurs préoccupations à prendre en considération ont été soulevées concernant la mise en œuvre en cours :

• La haute direction des RH a déclaré s'attendre à une mise en œuvre à l'automne à coût minimal (le logiciel sélectionné étant à la disposition de l'organisme sans frais supplémentaires). Toutefois, selon le personnel des TI, la mise en œuvre d'un projet de cette ampleur prendra des mois (au minimum), rendant irréaliste la mise en œuvre à l'automne. Le personnel des TI a également souligné que les coûts de développement seraient importants.
• Deux options de logiciels concurrents ont été envisagées. Ces options ont été choisies pour leur faible coût (l'organisme possède déjà les licences) et du soutien préexistant à l'interne. Cependant, le choix du système a lieu alors que Dotation ministérielle travaille toujours à définir les besoins des utilisateurs et que les processus de dotation n'ont pas encore été documentés.
• Les ressources nécessaires des TI et de l'équipe des renseignements organisationnels en RH (RORH) n'ont pas été officiellement affectées au projet. Ce projet est réalisé « sur le coin de la table » et l'équipe des RORH a exprimé des inquiétudes quant aux priorités et aux échéances conflictuelles pouvant avoir une incidence sur la mise en œuvre du système. La disponibilité de l'équipe des TI pour travailler sur ce projet dépend également d'autres priorités et des contraintes en matière de ressources.

Les changements fréquents de processus accompagnés d'un manque de communication ont des répercussions sur la sensibilisation et l'adhésion

Les conseillers en dotation, Dotation ministérielle et les gestionnaires d'embauche ont observé un rythme élevé de changements de priorités et de processus en matière de dotation. On demande aux conseillers en dotation de mentionner ces changements aux gestionnaires d'embauche et de les imposer lorsque les gestionnaires d'embauche y résistent. Toutefois, les conseillers en dotation ont indiqué que souvent, ils n'étaient pas consultés quant à ces changements ou à leur mise en œuvre ni tenus au courant de la raison de ces changements. Par conséquent, on ne saisit pas les occasions de consulter les conseillers en dotation pour qu'ils exposent leur point de vue et pour les préparer à répondre aux questions des gestionnaires d'embauche et ainsi assurer l'adhésion et la sensibilisation relativement à ces changements.

Surveillance de l'efficacité et de l'efficience du processus de dotation

La production de rapports sur les mesures de l'efficience et de l'efficacité des processus de dotation est généralement limitée. Ce type de surveillance soutiendrait la prise de décisions fondée sur des données ainsi que l'amélioration continue de l'efficacité et de l'efficience du processus de dotation.

Il est important d'établir des cibles de rendement claires et d'effectuer le suivi du rendement du processus de dotation, car cela peut fournir des données précieuses afin de soutenir l'amélioration de l'efficience et de l'efficacité du processus.

L'organisme a établi des normes de service en matière de rapidité de traitement pour chaque type de mesure de dotation, mais ces normes ne sont pas suffisantes pour évaluer l'efficacité du processus global. Ces normes portent uniquement sur le délai suivant le remplissage satisfaisant de la documentation par le gestionnaire d'embauche. Elles excluent donc le temps passé à planifier la mesure de dotation et à rechercher, à sélectionner, à rencontrer et à évaluer les candidats, ainsi que le temps passé par le gestionnaire d'embauche à documenter la décision de sélection. Elles excluent également tout le temps passé aux échanges avec le conseiller en dotation pour fournir une documentation satisfaisante.

Sans cibles claires et une surveillance plus complète du délai d'embauche (de la détermination du besoin à la date de début de l'emploi), du coût de l'embauche (y compris le temps du gestionnaire d'embauche) et du temps passé aux diverses étapes du processus, il est difficile de savoir si le processus de dotation est conçu de façon adéquate pour répondre aux besoins de l'organisme ou de comprendre où se trouvent les lacunes. Inclure le temps des gestionnaires d'embauche (en effectuant le suivi grâce au Système de gestion du temps ou autre) au coût du processus sera essentiel pour comprendre si ce serait mieux d'attribuer des parties du processus à des ressources moins coûteuses ou à des ressources centralisées ayant une expertise spécialisée. Ces cibles (en particulier le délai d'embauche et le coût pour embaucher) devraient être négociées avec la haute direction, pour s'assurer que le processus de dotation soit conçu pour équilibrer le coût de manière appropriée, les objectifs de conformité et les besoins opérationnels.

L'efficacité du processus n'est également pas surveillée à l'heure actuelle. Cela peut comprendre la surveillance de l'efficacité d'aspects particuliers du processus de dotation (comme la qualité des conseils et de l'orientation fournis par les conseillers en dotation), mais cela devrait également comprendre la surveillance de la qualité des embauches. Cela pourrait aider à déterminer les types de processus de dotation les plus réussis, ainsi que les domaines où davantage de travail est requis pour améliorer l'efficacité, comme mieux déterminer les aptitudes et les compétences requises pour un emploi ou concevoir de nouveaux outils d'évaluation qui permettent de prédire le rendement au travail avec plus de précision.

Recommandations

Recommandation 1

Il est recommandé que la statisticienne en chef adjointe du Secteur des stratégies et de la gestion intégrées s'assure :

1. que chaque type de mesure de dotation fasse l'objet d'une approche cohérente en matière de documentation, de communication et de mise en œuvre.

Réponse de la direction

La direction accepte la recommandation formulée.

Un examen et une analyse approfondis des processus de dotation seront entrepris, en accordant la priorité aux mesures de dotation qui touchent le plus grand nombre de dotation, et comprendront :

• la collaboration avec des partenaires des secteurs 6 et 7, afin de définir et de documenter chaque type de processus de dotation, notamment les étapes du processus, les échéances associées à chaque étape ainsi que les rôles et responsabilités de chaque personne concernée;
• la production de la documentation et des outils à l'appui d'une approche normalisée des processus de dotation, indiquant clairement les rôles et responsabilités de chaque personne concernée et les échéances associées;
• l'actualisation de la page relative à la dotation sur le Réseau de communications internes (RCI), afin de décrire les processus de dotation, les étapes et les exigences, ainsi que les rôles et responsabilités de chaque personne concernée par le processus.

Produits livrables et échéancier

La directrice générale, Direction de l'effectif et du milieu de travail doit :

1. documenter des schémas de processus pour chaque type de mesure de dotation (environ 20 au total), dont 10 représentent 96 % des mesures constituant la quantité d'opérations de dotation; les 10 premiers processus seront effectués en 2024 et les autres processus de moindre priorité seront effectués en 2025, selon le calendrier suivant : 5 processus documentés d'ici la fin de juin 2024, 5 processus documentés d'ici la fin de décembre 2024, 5 processus documentés d'ici la fin de juin 2025 et le reste des processus documentés d'ici décembre 2025;
2. lancer des outils comme des guides, des infographies et du matériel de formation d'ici le début de juin 2024, et faire le lancement des outils propres aux processus selon les échéanciers pour les produits livrables précisés ci-dessus;
3. actualiser et mettre à jour la page relative à la dotation sur le RCI d'ici le début de juin 2024.

Recommandation 2

Il est recommandé que la statisticienne en chef adjointe du Secteur des stratégies et de la gestion intégrées s'assure :

2. qu'un plan soit élaboré et mis en œuvre pour combler les lacunes en matière de perfectionnement, de soutien quotidien et de maintien en poste des conseillers en dotation.

Réponse de la direction

La direction accepte la recommandation formulée.

Un examen approfondi sera effectué, afin de comprendre et de mettre en œuvre les mesures nécessaires pour mieux soutenir le perfectionnement et le maintien en poste des conseillers en dotation.

Pour donner suite aux conclusions de l'examen, les éléments suivants seront élaborés : procédures normalisées, outils de soutien et programme de perfectionnement pour les conseillers en dotation comprenant une combinaison de formation officielle, de formation non officielle, de coaching et d'exposition à un éventail de dossiers et mesures de dotation afin de soutenir le perfectionnement et l'uniformité dans la prestation de service. Cela comprend l'examen et la mise à jour du Programme de recrutement et de perfectionnement des PE, des mesures de soutien ainsi que des feuilles de route de formation et des parcours de carrière des conseillers en dotation.

Produits livrables et échéancier

La directrice générale, Direction de l'effectif et du milieu de travail doit :

1. documenter un examen des mesures prévues pour soutenir le perfectionnement et le maintien en poste des conseillers en dotation, d'ici septembre 2024.

Recommandation 3

Il est recommandé que la statisticienne en chef adjointe du Secteur des stratégies et de la gestion intégrées s'assure :

3. qu'une analyse de rentabilité soit élaborée et mise en œuvre pour la mise en place d'un système intégré qui permet à la fonction de dotation d'assumer ses responsabilités de manière efficace, de réduire le fardeau administratif et de favoriser la surveillance.

Réponse de la direction

La direction accepte partiellement la recommandation formulée.

En raison de l'austérité actuelle, il n'est pas prévu qu'un investissement dans un système intégré soit soutenu par les organismes centraux au cours des prochaines années. La direction :

• effectuera une analyse interne pour déterminer les besoins, les lacunes et les options immédiates en matière de système intégré;
• effectuera une analyse externe avec le Bureau du dirigeant principal des ressources humaines en vue de déterminer les dates de mise en œuvre prévue de l'initiative Ressources humaines et paye de la prochaine génération (ProGen RH et paye), afin de déterminer une mise en œuvre éventuelle au sein de Statistique Canada;
• mettra en œuvre, à titre de mesure intérimaire, l'utilitaire pour améliorer le suivi des mesures et la surveillance des processus.

Produits livrables et échéancier

La directrice générale, Direction de l'effectif et du milieu de travail doit :

1. présenter une analyse interne et externe documentée pour définir les besoins et les lacunes et proposer des solutions à court terme et à long terme en matière de système intégré (y compris ProGen RH et paye) aux fins d'approbation par la statisticienne en chef adjointe du Secteur des stratégies et de la gestion intégrées, d'ici mars 2024;
2. terminer les modifications au système de l'utilitaire pour améliorer le suivi des mesures et la surveillance des processus d'ici juin 2024.

Recommandation 4

Il est recommandé que la statisticienne en chef adjointe du Secteur des stratégies et de la gestion intégrées s'assure :

4. que des indicateurs de rendement clés et des cibles en matière d'efficience et d'efficacité du processus de dotation soient élaborés et mis en œuvre, qu'un suivi soit fait et qu'un rapport en la matière soit préparé pour la haute direction.

Réponse de la direction

La direction accepte la recommandation formulée.

La direction établira une approche systématique de mesure du rendement et de la santé de l'activité de dotation. Cela comprendra l'élaboration d'indicateurs de rendement clés (IRC) quantitatifs et de cibles pour évaluer l'efficience des processus de dotation (notamment les délais et les efforts attendus relativement aux mesures de dotation) et l'efficacité du processus de dotation (notamment des mesures de la satisfaction des gestionnaires d'embauche).

Produits livrables et échéancier

La directrice générale, Direction de l'effectif et du milieu de travail doit :

1. présenter au Comité des opérations aux fins d'examen et d'approbation, un plan de surveillance et de production de rapports des résultats de l'activité de dotation, notamment le cycle de surveillance proposé, d'ici juin 2024;
2. présenter au Comité des opérations aux fins d'examen et d'approbation, des IRC et des cibles précises à surveiller, d'ici décembre 2024 (pour les 10 premiers processus de dotation documentés, comme précisé pour le premier produit livrable);
3. présenter le rapport des résultats au Comité des opérations d'ici décembre 2025 (et par la suite).

Recommandation 5

Il est recommandé que la statisticienne en chef adjointe du Secteur des stratégies et de la gestion intégrées s'assure :

5. qu'un plan au niveau de l'organisme soit élaboré pour permettre d'évaluer et d'améliorer l'efficience et l'efficacité du processus de dotation, à la suite de la mise en œuvre des mesures liées aux recommandations 1 à 4, afin d'équilibrer les objectifs opérationnels et les exigences en matière de conformité. La haute direction devrait être consultée en cours d'élaboration et doit approuver ce plan, et l'avancement de sa mise en œuvre devrait faire régulièrement l'objet de rapports à un comité de gouvernance de niveau 1.

Réponse de la direction

La direction accepte la recommandation formulée.

À la suite de la mise en œuvre des mesures liées aux recommandations 1 à 4, la direction effectuera un examen annuel du système de dotation pour continuer à relever des gains d'efficacité possibles, à examiner les exigences en matière de conformité et à mesurer l'efficacité de la fonction, avec la participation de la haute direction.

Produits livrables et échéancier

La directrice générale, Direction de l'effectif et du milieu de travail doit :

• présenter au Comité des opérations aux fins d'approbation un examen de l'efficience et de l'efficacité de la fonction de dotation et le plan d'action proposé pour traiter les enjeux susceptibles d'amélioration. La première partie de l'examen commencera en juin 2026, après l'achèvement des examens du processus et de l'efficience de tous les processus de dotation, avec une date cible de décembre 2026 pour la présentation.

Annexes

Annexe A : Critères d'audit

Critères d'audit

Objectifs de contrôle	Contrôles et critères fondamentaux	Instruments de politique et sources
1. La planification des processus de dotation est efficiente et efficace et les gestionnaires d'embauche, les conseillers en dotation et les adjoints aux ressources humaines (RH) sont adéquatement soutenus.	1.1 La planification des processus de dotation est efficiente. 1.2 La planification des processus de dotation est efficace pour définir le besoin en dotation et établir une stratégie de dotation répondant au besoin cerné. 1.3 Les gestionnaires d'embauche, les conseillers en dotation et les adjoints aux RH sont adéquatement soutenus tout au long du processus de planification.	Cadre de gouvernance en dotation de Statistique Canada Critères d'audit liés au Cadre de responsabilisation de gestion : outil à l'intention des vérificateurs internes La planification des ressources humaines s'harmonise à la planification stratégique et organisationnelle. (PPL-1) L'organisation fournit aux employés la formation, les outils, les ressources et les renseignements nécessaires pour les aider à s'acquitter de leurs responsabilités. (PPL-4) Des politiques et des procédures adaptées pour soutenir le perfectionnement et la gestion des ressources humaines sont établies, tenues à jour et communiquées. (PPL-7)
2. L'évaluation des candidats est efficiente et efficace et les gestionnaires d'embauche, les conseillers en dotation et les adjoints aux RH sont adéquatement soutenus.	2.1 L'évaluation des candidats est efficiente. 2.2 Le processus d'évaluation est efficace pour déterminer qu'un candidat est approprié. 2.3 Les gestionnaires d'embauche, les conseillers en dotation et les adjoints aux RH sont adéquatement soutenus tout au long du processus d'évaluation.	Cadre de gouvernance en dotation de Statistique Canada Critères d'audit liés au Cadre de responsabilisation de gestion : outil à l'intention des vérificateurs internes La planification des ressources humaines s'harmonise à la planification stratégique et organisationnelle. (PPL-1) L'organisation fournit aux employés la formation, les outils, les ressources et les renseignements nécessaires pour les aider à s'acquitter de leurs responsabilités. (PPL-4) Des politiques et des procédures adaptées pour soutenir le perfectionnement et la gestion des ressources humaines sont établies, tenues à jour et communiquées. (PPL-7)
3. La sélection des candidats est efficiente et efficace et les gestionnaires d'embauche, les conseillers en dotation et les adjoints aux RH sont adéquatement soutenus.	3.1 Le processus de sélection est efficient. 3.2 Le processus de sélection est efficace pour faciliter la décision de sélection d'un candidat par le gestionnaire d'embauche. 3.3 Les gestionnaires d'embauche, les conseillers en dotation et les adjoints aux RH sont adéquatement soutenus tout au long du processus de sélection.	Cadre de gouvernance en dotation de Statistique Canada Critères d'audit liés au Cadre de responsabilisation de gestion : outil à l'intention des vérificateurs internes La planification des ressources humaines s'harmonise à la planification stratégique et organisationnelle. (PPL-1) L'organisation fournit aux employés la formation, les outils, les ressources et les renseignements nécessaires pour les aider à s'acquitter de leurs responsabilités. (PPL-4) Des politiques et des procédures adaptées pour soutenir le perfectionnement et la gestion des ressources humaines sont établies, tenues à jour et communiquées. (PPL-7)
4. Le processus de dotation fait l'objet d'un suivi pour en assurer l'amélioration continue et veiller à répondre aux besoins opérationnels.	4.1 Des cibles permettant de surveiller l'efficience et l'efficacité du processus de dotation sont établies, reflètent les besoins opérationnels et font l'objet d'un suivi. 4.2 Les résultats de la surveillance du processus servent à cerner et traiter les lacunes.	Cadre de gouvernance en dotation de Statistique Canada Critères d'audit liés au Cadre de responsabilisation de gestion : outil à l'intention des vérificateurs internes Les organismes de surveillance demandent et reçoivent des renseignements suffisants, complets, exacts et en temps opportun. (G-6) La direction a relevé les résultats planifiés relatifs aux objectifs organisationnels. (RP-1) La direction a relevé des mesures de rendement appropriées relatives aux résultats planifiés. (RP-2) La direction compare le rendement réel aux résultats planifiés et rectifie la situation s'il y a lieu. (RP-3)

Annexe B : Sigles et acronymes

CFP

Commission de la fonction publique

ECM

Énoncé des critères de mérite

ECV

Évaluation du candidat par validation

IRC

Indicateurs de rendement clés

LEFP

Loi sur l'emploi dans la fonction publique

PE

Gestion du personnel

ProGen RH et paye

Ressources humaines et paye de la prochaine génération

RCI

Réseau de communications internes

RH

Ressources humaines

RORH

Renseignements organisationnels en ressources humaines

TEC

Travaux en cours

TI

Technologies de l'information