Résumé

Statistique Canada a pour mandat de répondre aux besoins en information des gouvernements, des entreprises et des particuliers en matière de données fiables de sorte à améliorer le bien-être de la population canadienne. Statistique Canada (l'organisme) s'acquitte de son mandat grâce à son programme principal et en répondant aux besoins particuliers d'information au moyen de services statistiques facultatifs à frais recouvrables.

Statistique Canada est considéré comme un organisme de services communs qui fournit des services facultatifs conformément à la Politique sur les services communs du Conseil du Trésor du Canada (CT). L'organisme est autorisé à fournir des services statistiques facultatifs aux autres ministères et organismes fédéraux et à offrir ces mêmes services aux sociétés d'État ou aux organismes non fédéraux. Ces services facultatifs doivent être offerts sur une base contractuelle à recouvrement des coûts, et les frais exigés servent à recouvrer le coût total des services offerts, sans toutefois les dépasser.

Au cours de l'exercice 2017-2018, l'organisme a mené environ 300 enquêtes statistiques et projets de services connexes, en plus de traiter un nombre important de demandes personnalisées et d'offrir des ateliers. Statistique Canada a assumé des coûts totaux d'environ 120 millions de dollars pour la prestation de ces activités à recouvrement des coûts, lesquels ont été recouvrés par l'intermédiaire d'ententes contractuelles conclues avec les bénéficiaires des services (c.-à-d. les « clients »).

Les clients de Statistique Canada exercent leur droit de regard sur les activités de l'organisme, notamment en ce qui a trait au coût des services statistiques. Par conséquent, la justesse de la méthode d'établissement des coûts de l'organisme et de son approche à l'égard de l'estimation des coûts de projet pour des services statistiques est régulièrement remise en question.

De manière stratégique et pour assurer sa durabilité, Statistique Canada continue de mettre ses services statistiques à recouvrement des coûts de l'avant et de fournir des produits et des services de grande qualité et à valeur ajoutée. Cependant, l'efficacité opérationnelle du recouvrement des coûts requiert un cadre de gouvernance qui favorise les services adaptés aux besoins des clients et la collecte et l'analyse de renseignements pertinents. Ainsi, les prix proposés aux clients doivent être fondés sur des estimations de coûts qui reflètent fidèlement l'ensemble des coûts pour la prestation des services statistiques de l'organisme. À cette fin, des protocoles, des procédures et des processus efficaces doivent être en place.

Pourquoi est-ce important?

Statistique Canada exécute un volume élevé d'activités à recouvrement des coûts. La visibilité de ce programme destiné au public est élevée et la demande augmente à la lumière de l'engagement du gouvernement envers des politiques et des programmes fondés sur des données probantes. Compte tenu de l'importance, de la portée et de la nature publique des activités à frais recouvrables de l'organisme, jumelé à un examen des coûts de plus en plus minutieux de la part de ses clients, il est essentiel pour l'organisme d'assurer une gestion efficace de ce programme très visible et grandement utilisé. Le présent audit appuie cet objectif et contribue au programme de modernisation de l'organisme en fournissant des idées importantes en vue d'améliorer les contrôles et les processus opérationnels, financiers et administratifs associés à ce programme.

Principales constatations

Les clients ont une opinion très favorable à l'égard de nombreux aspects des processus de recouvrement des coûts de l'organisme, et la plupart d'entre eux ont l'intention de continuer d'utiliser les services statistiques de Statistique Canada. Les clients choisissent habituellement Statistique Canada comme fournisseur de services en raison de la qualité de ses données et de sa réputation.

Deux domaines ont été relevés relativement à l'amélioration de la satisfaction de la clientèle : 1) la clarté et la transparence des coûts; 2) l'accès aux données avant leur diffusion.

Les rôles et les responsabilités ont été clairement définis et communiqués. Les responsabilités associées à l'exécution des projets à recouvrement des coûts et à la supervision de leur gestion financière sont partagées et elles font l'objet d'une gestion conjointe à différents échelons de l'organisme.

Le processus d'examen financier trimestriel des programmes est le principal instrument de contrôle pour valider la qualité des estimations de coût des projets. Ce processus permet à Statistique Canada de surveiller les coûts des projets à frais recouvrables par rapport au budget et de savoir si un excédent ou un déficit est prévu pour un projet particulier.

Des processus officiels de gestion des risques sont en place à l'échelle de l'organisme, mais il n'existe aucun mécanisme à la grandeur de l'organisme pour regrouper, conserver et analyser les renseignements sur les tendances et les changements dans les activités à recouvrement des coûts au cours d'un exercice donné, pour garantir que Statistique Canada demeure pertinent dans sa capacité à répondre aux besoins changeants des clients.

Statistique Canada a mis au point des taux normalisés d'établissement des coûts à l'échelle de l'organisme et ceux ci sont examinés régulièrement et approuvés par le Comité de la planification intégrée sur une base annuelle. Les taux normalisés d'établissement des coûts reflètent correctement les coûts de l'organisme.

Des outils et modèles communs sont systématiquement utilisés pour élaborer les estimations de coût des projets et conclure des marchés avec des clients. L'organisme travaille collectivement pour livrer des résultats de projet aux clients au prix convenu, et les excédents ou déficits importants au niveau du projet sont rares.

Les pratiques de codage du temps actuelles pourraient avoir une incidence négative sur l'efficacité des examens financiers trimestriels de programmes.

Conclusion générale

Statistique Canada s'est doté d'un cadre de gouvernance efficace pour gérer ses activités à recouvrement des coûts, et a mis en place des processus et des contrôles efficaces. La méthode d'établissement des coûts de l'organisme est bien consignée dans les Lignes directrices sur l'établissement des coûts de Statistique Canada, et des outils et des modèles d'établissement des coûts et de passation de marchés communs sont systématiquement utilisés. En outre, les clients ont une opinion très favorable à l'égard de nombreux aspects des processus de recouvrement des coûts de l'organisme, bien que les processus et la satisfaction de la clientèle soient des domaines qui peuvent être améliorés.

Statistique Canada peut mieux faciliter la gestion des risques et la prise de décisions en améliorant les processus utilisés pour saisir les renseignements économiques et commerciaux, et en rendre compte. L'apport de modifications aux pratiques de codage du temps pourrait également aider l'organisme à mieux déterminer les risques, les pratiques exemplaires et les domaines pouvant être améliorés. En somme, l'organisme peut améliorer la clarté et la transparence de sa méthode d'établissement des coûts et accroître la satisfaction de la clientèle en se penchant sur de nouvelles façons de répondre aux préoccupations relatives à l'accès aux données avant leur diffusion.

Conformité aux normes professionnelles

L'audit a été réalisé conformément aux Procédures obligatoires régissant l'audit interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA).

L'application de procédures d'audit suffisantes et appropriées et la collecte des éléments de preuve contribuent à l'exactitude des constatations et des conclusions du présent rapport et donnent une assurance de niveau audit. Les constatations et les conclusions sont fondées sur une comparaison des conditions, telles qu'elles existaient à l'époque, au regard de critères d'audit préétablis. Les constatations et les conclusions s'appliquent à l'entité examinée pour la portée et la période de référence de l'audit.

Steven McRoberts
Dirigeant principal de la vérification et de l'évaluation

Introduction

Contexte

Statistique Canada a pour mandat de répondre aux besoins en information des gouvernements, des entreprises et des particuliers en matière de données fiables de sorte à améliorer le bien-être de la population canadienne. Statistique Canada (l'organisme) s'acquitte de son mandat grâce à son programme principal et en répondant aux besoins particuliers d'information au moyen de services statistiques facultatifs à frais recouvrables.

Les services statistiques à frais recouvrables font partie du programme des Services statistiques à frais recouvrables de Statistique Canada. Le programme permet à l'organisme d'assurer sa pertinence et de répondre aux besoins des clients qui ne peuvent être satisfaits par le programme statistique de base. Le programme est en mesure de fournir des services statistiques à frais recouvrables sur demande et de grande qualité, y compris des enquêtes statistiques et des services connexes, ainsi que des projets autres que des enquêtes.

Statistique Canada est considéré comme un organisme de services communs qui fournit des services facultatifs conformément à la Politique sur les services communs du Conseil du Trésor du Canada (CT). Un service facultatif est une activité qui fournit des biens ou des services que d'autres ministères ou organismes fédéraux peuvent utiliser lorsqu'il est logique de le faire. L'organisme est autorisé à fournir des services statistiques facultatifs aux autres ministères et organismes fédéraux et à offrir les mêmes services aux sociétés d'État ou aux organismes non fédéraux. Cela comprend la mise au point de l'information statistique au moyen d'enquêtes ou l'utilisation de dossiers administratifs, y compris la conception, l'organisation, l'évaluation statistique, l'interprétation et l'analyse, et la diffusion. L'organisme doit offrir des conseils ou une aide, ou entreprendre des projets, au besoin. Ces services facultatifs doivent être offerts sur une base contractuelle à recouvrement des coûts, et les frais exigés servent à recouvrer le coût total des services offerts, sans toutefois les dépasser. De plus, ces services facultatifs doivent être conformes au mandat de l'organisme.

Au cours de l'exercice 2017-2018, l'organisme a mené environ 300 enquêtes statistiques et projets de services connexes, en plus de traiter un grand nombre de demandes personnalisées et d'offrir des ateliers. Statistique Canada a assumé des coûts totaux d'environ 120 millions de dollars pour la prestation d'activités à recouvrement des coûts, lesquels ont été recouvrés par l'intermédiaire d'ententes contractuelles conclues avec les bénéficiaires des services (c.-à-d. les « clients »).

L'organisme a recours à l'approche du coût intégral pour estimer et négocier le prix des services statistiques fournis. Le coût intégral s'entend de la somme de tous les coûts, directs ou indirects, engagée par l'organisme dans la fourniture d'un service. L'organisme a élaboré des lignes directrices sur l'établissement des coûts pour guider l'élaboration des renseignements sur l'établissement des coûts utilisés dans les estimations des projets à recouvrement des coûts. Les Lignes directrices sur l'établissement des coûts de Statistique Canada sont fondées sur les Lignes directrices sur l'établissement des coûts du CT.

Les clients de Statistique Canada exercent leur droit de regard sur les activités de l'organisme, notamment en ce qui a trait au coût des services statistiques. Par conséquent, la justesse de la méthode d'établissement des coûts de l'organisme et de son approche à l'égard de l'estimation des coûts de projet pour des services statistiques est régulièrement remise en question.

De manière stratégique et pour assurer sa durabilité, Statistique Canada continue de mettre ses services statistiques à recouvrement des coûts de l'avant et de fournir des produits et des services de grande qualité et à valeur ajoutée. Cependant, l'efficacité opérationnelle du recouvrement des coûts requiert le soutien d'un cadre de gouvernance qui favorise les services adaptés aux besoins des clients et la collecte et l'analyse de renseignements pertinents. Ainsi, les prix proposés aux clients doivent être fondés sur des estimations de coûts qui reflètent fidèlement l'ensemble des coûts pour la prestation des services statistiques de l'organisme. À cette fin, des protocoles, des procédures et des processus efficaces doivent être en place.

Objectifs de l'audit

Les objectifs de l'audit consistaient à fournir au statisticien en chef et au Comité ministériel de vérification de Statistique Canada l'assurance raisonnable que :

• Statistique Canada a établi un cadre de gouvernance adéquat et efficace qui est appliqué uniformément pour gérer les projets et les activités à recouvrement des coûts;
• des processus et des contrôles efficaces sont en place et sont appliqués uniformément pour gérer les projets et activités à recouvrement des coûts, conformément aux lois, politiques, directives et lignes directrices applicables.

Objectif de l'évaluation

Avec l'aide de la Division de l'évaluation, l'audit a également évalué les processus de recouvrement des coûts du point de vue des clients. L'objectif de ce volet était de fournir au statisticien en chef et au Comité de la mesure du rendement et de l'évaluation de Statistique Canada un aperçu de l'efficacité et de l'efficience des processus de recouvrement des coûts, du point de vue des clients.

Portée

La portée de l'audit englobait l'orientation fonctionnelle fournie par les Services intégrés à l'égard du recouvrement des coûts, et l'application de cette orientation par les secteurs au cours de l'exercice 2017-2018.

Approche et méthodologie

L'audit comprenait une évaluation et une analyse des documents pertinents, et des interviews menées auprès de cadres supérieurs, de gestionnaires et de membres du personnel de la Direction des finances et de différentes divisions des secteurs 5, 6, 7 et 8. Des échantillons de projets à recouvrement des coûts de neuf divisions des secteurs 5 et 8 ont été prélevés et ont fait l'objet d'une vérification détaillée pour garantir qu'ils sont gérés de manière à produire les résultats escomptés et conformément aux obligations contractuelles de Statistique Canada, et en conformité avec les lois et les politiques applicables. L'échantillon de projets a été sélectionné au moyen d'une approche d'échantillonnage au jugé qui tenait compte de la taille et de la complexité du projet. L'échantillon comprenait uniquement des projets appartenant à la catégorie des enquêtes statistiques et services connexes (voir l'annexe C, Méthodologie d'échantillonnage).

Au moyen de questionnaires et d'interviews, la Division de l'évaluation a évalué les niveaux actuels de la satisfaction de la clientèle à l'égard des processus de recouvrement des coûts. Pour les cas où les clients ont choisi de ne pas recourir aux enquêtes ou services statistiques de Statistique Canada, la Division de l'évaluation a déterminé les raisons principales de cette décision.

Autorité

L'audit a été mené en vertu du Plan intégré d'audit et d'évaluation fondé sur les risques approuvé par Statistique Canada pour la période allant de l'exercice 2018-2019 à l'exercice 2022-2023.

Constatations, recommandations et réponse de la direction

Le point de vue du client

Les clients ont répondu très favorablement à l'égard de nombreux processus de recouvrement des coûts de l'organisme, mais deux domaines d'amélioration ont été relevés.

Statistique Canada exerce un volume élevé d'activités à recouvrement des coûts, et la visibilité de ce programme public est élevée. Au fur et à mesure que l'organisme prend des mesures pour faire preuve d'une plus grande ouverture sur l'expérience et se placer en position stratégique relativement à ses clients, le point de vue du client peut présenter un aperçu important. À cette fin, l'audit comprenait un volet sur la clientèle, dirigé par la Division de l'évaluation.

Le principal objectif du volet sur la clientèle était de donner un aperçu, fondé sur des données probantes, de l'opinion des clients externes quant à l'efficacité et à l'efficience des processus de recouvrement des coûts. En collaboration avec neuf divisions des secteurs 5 et 8, la Division de l'évaluation a sélectionné un échantillon de 26 clients à recouvrement des coûts (anciens et actuels) aux fins d'interview. Les clients étaient désireux de participer et d'exprimer leurs opinions, comme en témoigne le taux de réponse de 92,3 %. Des interviews ont également été menées auprès de trois clients qui avaient choisi de ne pas recourir aux services de Statistique Canada.

Une des principales préoccupations de la haute direction est que les bénéficiaires des services choisissent de ne plus utiliser les services statistiques de Statistique Canada. Une raison souvent citée est le coût de projet facturé par Statistique Canada à ses clients externes. Notamment, on a mentionné un exemple où un grand projet à recouvrement des coûts est maintenant réalisé par un fournisseur de services du secteur privé. Dans ce cas, on a estimé que le prix inférieur demandé par ce fournisseur de services était un facteur déterminant de la décision du client de changer de fournisseur. La haute direction a exprimé des inquiétudes relativement au fait que les clients de projets à recouvrement des coûts qui ont recours aux services du secteur privé ne tenaient pas compte de la qualité moindre des services statistiques fournis par ces entreprises privées.

Dans l'ensemble, les clients actuels ont répondu de façon très favorable (c.-à-d. qu'ils étaient satisfaits ou très satisfaits) en ce qui concerne de nombreux processus de recouvrement des coûts de l'organisme (voir l'annexe D, Satisfaction de la clientèle) et la plupart des clients n'envisageaient pas de faire appel à d'autres fournisseurs de service. Notamment, 100 % des clients étaient satisfaits ou très satisfaits de l'utilité des produits livrables et des résultats finaux reçus. D'autres secteurs où la satisfaction de la clientèle était vive comprenaient le respect et la courtoisie du personnel de Statistique Canada (96 %), et la clarté des communications écrites et des communications de personne à personne (91,7 %). Les résultats des interviews ont également montré que les clients choisissent généralement Statistique Canada comme fournisseur pour des raisons autres que les coûts, la qualité des données et la réputation étant les raisons le plus souvent mentionnées. Même si le coût élevé a été cité comme une considération chez ceux qui ont choisi de ne pas retenir les services de Statistique Canada, d'autres facteurs ont également été pris en compte (p. ex. l'accès aux données et la rapidité d'exécution).

Bien que, essentiellement, les réponses des clients étaient très positives, deux secteurs communs à améliorer ont néanmoins été cernés : 1) la clarté et la transparence des coûts; 2) l'accès aux données avant la diffusion.

Clarté et transparence des coûts

Seulement 40 % des clients (10 répondants sur 25) se sont dits satisfaits ou très satisfaits de la clarté et de la transparence de l'organisme par rapport aux coûts. Cela représentait la question ayant obtenu le score le plus faible dans l'ensemble du questionnaire. L'audit n'a relevé aucune norme à l'échelle de l'organisme concernant le moment et la façon de présenter les coûts aux clients. Un examen des ententes contractuelles a permis de conclure qu'une variété d'approches étaient utilisées pour présenter les coûts aux clients, selon l'entente particulière. La plupart des ententes examinées ne présentaient pas les coûts d'une façon qui aurait permis aux clients de comprendre facilement le calcul des coûts pour les éléments individuels d'un projet. Par exemple, certaines ententes comprenaient l'estimation du coût total pour les activités individuelles du projet (p. ex. la préparation de l'échantillon, l'élaboration du système et la collecte), alors que d'autres comprenaient uniquement le paiement forfaitaire par jalon, sans fournir une ventilation des coûts.

Accès aux données avant la diffusion

Seulement 53,3 % des clients (8 répondants sur 15) se sont dits satisfaits ou très satisfaits du niveau d'accès aux données avant la diffusion. Cela représentait la question ayant obtenu le score le plus faible à l'étape du questionnaire concernant l'exécution du projet et le suivi, ainsi que de la question ayant obtenu le pourcentage le plus élevé de réponses négatives dans l'ensemble du questionnaire (40 % des clients étaient insatisfaits ou très insatisfaits). Un examen des ententes contractuelles pertinentes a révélé que les conditions générales de l'organisme incluent des clauses de haut niveau portant sur l'accès aux données avant la diffusion. Par exemple, l'article 20 précise qu'une demande de diffusion anticipée doit être établie lorsqu'un client a accès aux données avant la diffusion. Cependant, de nombreuses ententes contractuelles par ailleurs ne traitent pas de l'accès aux données avant la diffusion relativement au projet. En règle générale, les clients ont dit qu'un meilleur accès aux données avant la diffusion leur donnerait plus de renseignements à propos des réponses reçues et leur permettrait de participer au processus de validation des données.

Conformément à son approche à l'égard de la prestation de services axés sur les clients, Statistique Canada peut améliorer la clarté et la transparence de sa méthodologie d'établissement des coûts. En outre, l'organisme peut améliorer davantage la satisfaction de la clientèle en se penchant sur des façons de répondre aux préoccupations concernant l'accès aux données avant la diffusion.

Recommandations

Il est recommandé que la statisticienne en chef adjointe des Services intégrés et dirigeante principale des finances, en collaboration avec l'ensemble des statisticiens en chef adjoints, s'assure de ce qui suit :

• Une approche standard est adoptée pour transmettre la communication des coûts aux clients et fournir suffisamment de détails dans les ententes contractuelles pour permettre aux clients de déterminer la façon dont le coût total de chaque projet est calculé.

Il est recommandé que la statisticienne en chef adjointe des Services intégrés et dirigeante principale des finances s'assure de ce qui suit :

• La direction étudie des façons d'accroître l'accès aux données avant la diffusion, dans la mesure du possible. En outre, une plus grande clarté est offerte à l'avance, comme des modalités spécifiques, de sorte que les clients puissent savoir à quoi ils ont accès, à quelle étape, et pourquoi.

Réponse de la direction

La direction appuie les recommandations.

Des consultations seront menées auprès d'un échantillon de clients externes de projets à recouvrement des coûts, ainsi que de divisions clientes et fournisseuses au sein de l'organisme en vue d'établir un niveau de détail approprié pour les coûts à présenter dans les lettres d'entente. Le processus que doivent suivre les gestionnaires au moment de communiquer les coûts à des clients externes sera également clarifié, tout comme les pratiques à suivre pour analyser les options d'établissement des coûts et les communiquer aux clients pour optimiser les ressources. Toutes les mesures seront menées sous la supervision du Comité des opérations.

La Politique sur la diffusion officielle de Statistique Canada comprend des dispositions pour permettre aux clients à recouvrement des coûts d'avoir accès à des données agrégées et anonymisées avant leur diffusion. Cependant, l'accès accru aux données avant leur diffusion officielle entraîne le risque de la divulgation par inadvertance des renseignements en question. L'organisme doit accomplir un effort supplémentaire pour mieux faire connaître la flexibilité accordée par la politique, tout en atténuant les risques inhérents à une augmentation du partage. Toutes les mesures seront menées sous la supervision du Comité des opérations.

Gouvernance et gestion des risques

Les rôles et responsabilités associées à l'exécution des projets à recouvrement des coûts et à la supervision de leur gestion financière ont été clairement définis et communiqués.

Statistique Canada emploie une structure organisationnelle matricielle, qui relie les responsabilités de programme et les responsabilités fonctionnelles. Les responsabilités associées aux projets à recouvrement des coûts sont partagées et gérées conjointement par une division « cliente » et par plusieurs divisions « fournisseuses ». La division cliente est la spécialiste du domaine et la gestionnaire de projet (p. ex. Division de l'agriculture, Division de la statistique de la santé, Division des enquêtes spéciales). Les divisions fournisseuses sont les groupes fonctionnels chargés de la prestation de services spécialisés nécessaires à l'exécution d'un projet (p. ex. Division des systèmes d'information statistique, Division des méthodes d'enquête auprès des ménages, Division de la planification et de la recherche en matière de collecte). La Direction des finances joue également un rôle important, en définissant la méthodologie d'établissement des coûts de l'organisme et en assurant la supervision financière. En outre, le Comité de la planification intégrée est chargé de fournir de l'orientation stratégique pour l'opérationnalisation des activités de programme et de planification intégrée à l'échelle de l'organisme, en plus d'assumer la responsabilité ultime pour la supervision de la gestion financière.

L'équipe d'audit a sélectionné un échantillon de projets à recouvrement des coûts qui ont fait l'objet d'une vérification détaillée. L'audit a permis de constater que toutes les estimations de coût et les ententes contractuelles de projets avaient été examinées par l'agent financier de la division cliente, et avaient été approuvées par le directeur de la division. En outre, pour l'ensemble des projets vérifiés, les personnes qui avaient signé l'entente contractuelle avaient le pouvoir délégué pour ce faire (pouvoir d'engagement [directeur de la division cliente] et pouvoir d'exécution d'opérations [équipe de gestion des revenus]).

De manière générale, l'audit a déterminé que les rôles et les responsabilités des personnes clés participant aux activités à recouvrement des coûts étaient clairement définis et communiqués. La compréhension des rôles et des responsabilités a été confirmée au moyen d'interviews, et les résultats des vérifications des projets en témoignent.

Le processus d'examen financier trimestriel des programmes permet à Statistique Canada de surveiller les écarts entre les coûts réels d'un projet à recouvrement des coûts et son budget estimatif.

Des examens doivent être menés à des intervalles réguliers pour permettre à la direction de comparer les résultats des projets par rapport aux attentes. En ayant accès à des renseignements financiers et à des renseignements fiables sur le rendement, les risques et les enjeux des projets, les décideurs des divisions seront en mesure non seulement de prendre des décisions éclairées, mais aussi de s'assurer que des stratégies appropriées sont élaborées et que les domaines d'amélioration sont cernés.

L'audit a révélé que la surveillance des coûts réels d'un projet par rapport au budget relève de la responsabilité conjointe de la division cliente, des divisions fournisseuses et de la Direction des finances. La surveillance est principalement réalisée dans le cadre du processus d'examen financier trimestriel de programme, qui comporte deux étapes pertinentes : l'examen du fournisseur et l'examen du client. Des agents financiers sont affectés à des divisions particulières et travaillent en collaboration aux étapes d'examen du fournisseur ou du client.

Le processus d'examen financier trimestriel des programmes est donc le principal instrument de contrôle pour la validation de la qualité des estimations de coût. Grâce à ce processus, Statistique Canada est en mesure de savoir si un projet donné prévoit un excédent ou un déficit. Par ailleurs, la combinaison des différentes fonctions de production de rapports (exercice annuel d'analyse des coûts effectifs, Rapport sur les résultats ministériels, examen financier trimestriel des programmes) permet de s'assurer que les revenus de programme ne dépassent pas le coût total pour l'organisme.

L'organisme peut mieux faciliter la gestion des risques et la prise de décisions en améliorant les processus permettant de saisir les renseignements économiques et commerciaux, et de produire des rapports sur ceux-ci.

Comme il a été mentionné précédemment, au début la section « Le point de vue du client » à la page 9, la haute direction a soulevé à l'intention de l'équipe d'audit les risques que les bénéficiaires des services existants choisissent de ne plus utiliser les services statistiques de l'organisme. Grâce aux réunions et aux suivis auprès des neuf divisions clientes, l'audit n'a relevé que quatre cas (parmi environ 300) de perte de clients ou de projets durant l'exercice 2017-2018. D'après les interviews menées auprès des clients, ce risque ne se concrétise pas d'une façon importante. Cependant, il est important pour l'organisme de disposer de suffisamment de renseignements économiques et commerciaux pour pouvoir analyser ses propres forces et faiblesses de sorte à prendre des décisions éclairées à l'égard de ses activités à recouvrement des coûts. La direction doit déterminer et évaluer les risques qui peuvent empêcher l'exécution d'activités à recouvrement des coûts de qualité. En outre, des stratégies de gestion des risques doivent être élaborées et communiquées aux principaux intervenants.

L'audit a permis de constater que des processus officiels de gestion des risques sont en place à l'échelle de l'organisme. Les secteurs préparent des registres des risques individuels, qui sont utilisés pour l'élaboration du Profil de risque organisationnel (PRO) de l'organisme. Le PRO de 2018-2019 souligne quatre risques principaux pour l'organisme. L'un de ces risques est la possibilité que l'organisme ne soit plus pertinent, s'il ne parvient pas à répondre à l'ensemble des besoins de ses utilisateurs. En réponse à ce risque, Statistique Canada a lancé l'initiative de modernisation, qui comprend la prestation de services axés sur les utilisateurs. Les registres de risque des secteurs comprennent également des risques qui sont liés au risque principal de l'organisme en ce qui a trait à la pertinence.

Un suivi effectué auprès de neuf divisions clientes a toutefois permis de confirmer qu'il n'existe aucun mécanisme à l'échelle de l'organisme pour regrouper, conserver et analyser les renseignements sur les tendances et les changements dans les activités à recouvrement des coûts au cours d'un exercice donné. L'organisme se fie donc à la mémoire de ses employés (à savoir des souvenirs anecdotiques) pour comprendre où surviennent les augmentations et les diminutions dans les activités à recouvrement des coûts. Cela limite la capacité de l'organisme à appuyer l'élaboration de plans et de stratégies pour assurer sa pertinence continue et sa capacité à répondre aux besoins changeants des clients.

Recommandation

Il est recommandé que la statisticienne en chef adjointe des Services intégrés et dirigeante principale des finances s'assure de ce qui suit :

• L'organisme élabore des processus afin de communiquer à la direction des renseignements stratégiques sur ses activités à recouvrement des coûts en vue d'appuyer la prise de décisions.

Réponse de la direction

La direction appuie la recommandation.

Une nouvelle exigence à l'échelle de l'organisme sera ajoutée au cadre de gestion financière actuel pour obtenir et analyser des renseignements stratégiques concernant les changements dans les activités à recouvrement des coûts, comme les nouveaux marchés, le renouvellement de marchés, la perte de projets à recouvrement des coûts et autres tendances. Des renseignements stratégiques seront saisis pendant l'examen des programmes et une analyse sera incluse dans le cadre du processus de planification pluriannuelle. Toutes les mesures seront mises en œuvre sous la supervision du Comité des opérations.

Processus et contrôles

Statistique Canada a mis au point des taux normalisés d'établissement des coûts qui reflètent correctement les coûts de l'organisme.

La mise au point de taux normalisés d'établissement des coûts est un exercice complexe qui repose sur des principes comptables, des hypothèses et des estimations en matière de gestion. Il est important pour Statistique Canada d'utiliser des méthodes robustes d'établissement des coûts pour s'assurer que les sommes recouvrées auprès des clients externes reflètent correctement le coût réel, pour l'organisme, de la prestation de ses services. Des méthodes normalisées d'établissement des coûts et des hypothèses appropriées et uniformes doivent être utilisées pour établir des coûts de base conformes aux politiques, directives et lignes directrices applicables.

L'audit a permis de constater que le coût total d'un projet à recouvrement des coûts consiste à la fois en des coûts directs et en des coûts indirects. Les coûts directs comprennent les salaires des employés qui travailleront sur le projet ainsi que tous les coûts non salariaux directs (p. ex. le déplacement et les services de traduction). Les coûts indirects sont des coûts engagés pour appuyer plus d'un programme ou d'une activité (p. ex. les coûts des services internes, comme la gestion des ressources humaines et la gestion financière). Le coût total calculé d'un projet correspond au montant facturé à un client et recouvré par Statistique Canada auprès de celui-ci.

La méthodologie d'établissement des coûts de l'organisme est bien consignée dans les Lignes directrices sur l'établissement des coûts de Statistique Canada. Pour calculer le coût total d'un projet à recouvrement des coûts, Statistique Canada a mis au point des taux normalisés d'établissement des coûts à l'échelle de l'organisme. Les taux d'établissement des coûts normalisés de l'organisme se répartissent en trois catégories : le taux de salaire moyen, le taux des unités de ressources (TUR) et le taux de contribution au titre des coûts indirects (CCI). Le taux de CCI est utilisé pour recouvrer les coûts indirects de l'organisme associé à ses activités de recouvrement des coûts. Au cours de l'exercice 2017-2018, on a calculé que le total des coûts indirects s'élevait à environ 17,4 millions de dollars, excluant les coûts associés au Régime d'avantages sociaux des employés. En élaborant le taux de CCI, Statistique Canada a suivi une approche en sept étapes, conforme à la recommandation des Lignes directrices sur l'établissement des coûts du Conseil du Trésor. Tous les taux normalisés d'établissement des coûts sont approuvés annuellement par le Comité de la planification intégrée.

L'équipe d'audit a examiné le taux de salaire moyen, le taux des unités de ressources et le taux de CCI durant l'exercice 2017-2018 et a conclu que la méthodologie utilisée était solide et conforme aux Lignes directrices sur l'établissement des coûts de l'organisme. Un examen de l'exercice d'analyse annuelle de la comptabilité de caisse par rapport aux coûts établis a également démontré que ces taux normalisés reflètent correctement les coûts de l'organisme.

Des outils communs sont systématiquement utilisés pour élaborer les estimations de coût des projets et pour conclure des marchés avec des clients. L'organisme travaille collectivement en vue de livrer les résultats des projets aux clients au prix convenu.

Il est important que Statistique Canada ait des processus en place pour veiller à ce que chaque estimation de coût de projet reflète adéquatement le niveau d'effort et de risque lié à la complexité du projet, afin d'éviter les situations d'excédent ou de déficit qui pourraient nuire à la crédibilité ou à la réputation de l'organisme. Les estimations doivent être élaborées conformément aux pratiques d'établissement des coûts de l'organisme et comprendre le niveau de détail approprié pour chaque projet. Des processus doivent également être en place pour veiller à ce que les dispositions des ententes contractuelles soient conformes aux pratiques d'établissement des coûts de l'organisme.

Selon les résultats de l'audit, aux fins de l'estimation des coûts d'un projet, la division cliente doit estimer le niveau d'effort (c.-à-d. le nombre de jours par groupe et niveau d'employés) de son propre personnel et obtenir des propositions de prix quant au niveau d'effort requis des divisions fournisseuses. Ces renseignements sont entrés dans le fichier corporatif d'établissement des coûts (FCC), un outil commun dans lequel les taux d'établissement des coûts de l'organisme sont intégrés et le coût total du projet est calculé. L'organisme prépare ensuite une lettre d'entente, qui représente un contrat officiel entre Statistique Canada et le client.

L'équipe d'audit a sélectionné un échantillon de projets à recouvrement des coûts pour en faire une vérification détaillée. Selon les résultats de cette vérification, pour l'ensemble des projets vérifiés, les taux d'établissement des coûts utilisés dans le FCC concordaient avec les taux normalisés approuvés à l'échelle de l'organisme. L'exactitude mathématique du calcul des coûts dans le FCC a également été démontrée. De plus, les lettres d'entente étaient toujours préparées au moyen de modèles communs, qui comprenaient des conditions générales standards. L'audit a par ailleurs permis de constater que l'estimation du coût total des projets, selon le FCC, était conforme aux montants précisés dans les modalités de paiement de la lettre d'entente.

En ce qui concerne la façon dont chaque division détermine le niveau d'effort nécessaire pour un projet à recouvrement des coûts, les méthodes variaient généralement entre les divisions et au sein de celles-ci, tout comme les documents à l'appui. De nombreuses divisions clientes déterminent le niveau d'effort nécessaire en se fondant sur leur propre expérience vécue, le FCC d'une année précédente (pour les projets récurrents et cycliques) ou le niveau d'effort requis pour des projets similaires. Certaines divisions fournisseuses des services ont élaboré des outils normalisés pour aider à produire des estimations de leur niveau d'effort (c.-à-d. des propositions de prix), mais les approches peuvent varier d'un projet à l'autre ou d'un chef à l'autre.

Parallèlement, l'audit a constaté que les situations où une somme excédentaire est remboursée à un client ou où une somme supplémentaire est demandée à un client sont plutôt rares. Des écarts entre divisions ont été souvent observés pour les projets individuels vérifiés, mais des écarts importants ont seulement été constatés pour 6 des 21 projets échantillonnés. Les déficits de certaines divisions sont donc compensés par les excédents d'autres divisions, et, dans l'ensemble, l'organisme travaille collectivement pour exécuter les projets au prix convenu.

Certaines pratiques actuelles de codage du temps pourraient avoir une incidence négative sur l'efficacité des processus d'examen financier trimestriel des programmes, qui constitue le contrôle principal pour valider la qualité des estimations de coût.

De manière générale, les estimations de coût d'un projet consistent principalement en des coûts salariaux directs pour la division cliente et les divisions fournisseuses concernées. L'exactitude du codage du temps est essentielle pour évaluer le rendement du projet par rapport aux attentes initiales (c.-à-d. pour déterminer et expliquer tout écart entre les coûts réels et le budget). La Direction des finances attribue à chaque projet à recouvrement des coûts un code d'élément de programme unique. Les employés des divisions clientes et des divisions fournisseuses au sein de l'organisme consignent, dans le Système de gestion du temps, le temps consacré à chaque projet à recouvrement des coûts (au moyen des codes d'élément de programme). Les coûts sont attribués à la division de l'employé ainsi qu'au projet.

L'équipe d'audit a mené des interviews auprès de neuf divisions clientes et fournisseuses. Ces interviews comprenaient une discussion sur les pratiques de codage du temps au sein de chaque division. L'audit a révélé que quatre divisions s'appuyaient sur le montant budgétisé comme la limite supérieure des coûts réels de la main-d'œuvre à consigner relativement à un projet. C'est donc dire que les membres du personnel enregistrent le temps qu'ils ont consacré au projet jusqu'à concurrence du montant budgétisé du projet à recouvrement des coûts, et non en fonction de l'effort réel requis pour accomplir le travail. Pour certains des projets, cette pratique pourrait donner lieu à une sous-estimation des coûts réels. Ces pratiques de codage du temps empêchent Statistique Canada d'obtenir les renseignements requis pour évaluer le rendement du projet à recouvrement des coûts par rapport aux estimations initiales d'une façon précise et uniforme.

Il est important que les employés des divisions clientes et fournisseuses consignent le nombre d'heures réel consacré aux projets à recouvrement des coûts individuels le plus précisément possible pour que l'effort réel puisse faire l'objet d'un suivi et d'une comparaison par rapport aux estimations initiales. Un codage du temps uniforme et précis permettrait d'améliorer les examens financiers trimestriels des programmes, et d'aider l'organisme à déterminer les risques, les pratiques exemplaires et les domaines d'amélioration.

Recommandation

Il est recommandé que la statisticienne en chef adjointe des Services intégrés et dirigeante principale des finances, en collaboration avec l'ensemble des statisticiens en chef adjoints, s'assure de ce qui suit :

• Des pratiques uniformes de codage du temps des projets à recouvrement des coûts, y compris les coûts réels de la main-d'œuvre du projet, sont adoptées à l'échelle de l'organisme.

Réponse de la direction

La direction appuie la recommandation.

Des améliorations aux pratiques de codage du temps seront étudiées pour assurer l'uniformité à l'échelle de l'organisme et pour rendre efficacement compte de l'effort réel requis pour exécuter les activités à recouvrement des coûts. Le temps codé doit refléter l'effort réel requis pour accomplir le travail, peu importe le montant prévu. Les pratiques à suivre seront formulées clairement et les gestionnaires de projets à recouvrement des coûts seront mieux renseignés à leur sujet. De plus, une analyse sera effectuée à des intervalles réguliers pour déterminer les projets à recouvrement des coûts qui effectuent le rapprochement des dépenses au budget. Toutes les mesures seront mises en œuvre sous la supervision du Comité des opérations.

Annexes

Annexe A : Critères d'audit

Annexe B : Sigles

Annexe C : Méthodologie d'échantillonnage

Annexe D : Satisfaction de la clientèle à l'égard des processus de recouvrement des coûts (aspects sélectionnés)

Sommaire

La Loi sur la statistique confère à Statistique Canada le mandat de recueillir, de compiler, d'analyser et de publier des renseignements statistiques sur la situation économique, sociale et générale du pays et de sa population. Le Programme du recensement constitue la plus importante activité de collecte de données menée par Statistique Canada pour s'acquitter de ses obligations prévues par la Loi.

Le Programme du recensement dresse un portrait statistique du pays et de sa population tous les cinq ans. Compte tenu de l'importance du programme, la gestion de la qualité des données du programme est essentielle afin de s'assurer que les produits sont de qualité suffisante pour leurs utilisations prévues. Divers audits et évaluations menés au fil du temps ont confirmé que l'organisme dispose de façon générale de processus et de systèmes solides pour assurer la qualité des données de recensement qu'il produit.

Pour le Recensement de 2016, des mises à niveau et des modifications importantes ont été apportées aux principaux systèmes, sous-systèmes et applications du programme, tels que le rétablissement du questionnaire détaillé du recensement et l'introduction du Système intégré de collecte et des opérations (SICO) pour recueillir les données du recensement. Les modifications et les améliorations apportées ont été mises à l'essai selon un plan établi avant leur mise en œuvre.

En plus de mettre à l'essai les changements apportés aux systèmes, Statistique Canada utilise un processus de certification qui lui permet de vérifier la validité de ses données afin de s'assurer qu'elles sont fiables, solides et fondées. Ce processus, qui est régi par la Directive sur la validation des produits statistiques de Statistique Canada, permet à l'organisme de déceler et de corriger les incohérences dans les données à l'aide d'outils de diagnostic et d'une expertise spécialisée.

Pourquoi est-ce important?

Le Programme du recensement est le plus important programme de Statistique Canada. Les données du recensement sont utilisées par tous les ordres de gouvernement aux fins de planification et d'analyse de programmes et de prise de décisions connexes, y compris les paiements de transfert fédéraux aux provinces et aux territoires. De plus, les données sont utilisées par d'autres grands utilisateurs, comme les entreprises privées, les organisations non gouvernementales et les chercheurs universitaires. Par ailleurs, Statistique Canada utilise aussi ces données dans d'autres enquêtes pour les activités d'échantillonnage et d'étalonnage.

L'organisme reconnaît la nécessité de s'assurer que les données du recensement sont de qualité suffisante et qu'elles ont été produites conformément au Cadre d'assurance de la qualité de Statistique Canada. L'audit a été inclus dans le plan de vérification axé sur les risques afin d'assurer de manière raisonnable l'efficacité de la conception et de la mise en œuvre du cadre d'assurance de la qualité du Programme du recensement. Étant donné la multitude de processus et de systèmes en place pour le recensement, nous avons restreint la portée de l'audit afin de confirmer que les processus suivants étaient en place :

• un processus de mise à l'essai efficacement conçu pour les changements qui ont une incidence sur les activités de traitement, de vérification et d'imputation;
• un processus de certification pour la revue des produits du recensement.

Principales constatations

Dans le cadre du Programme du recensement, Statistique Canada a élaboré et approuvé des stratégies de mise à l'essai des changements aux systèmes afin de s'assurer que les systèmes fonctionnent comme prévu.

Les chefs de tâche pour le recensement, en collaboration avec les spécialistes du domaine, ont créé des plans pour la mise à l'essai des activités de traitement, et les groupes de travail ont formulé des commentaires au sujet des approches de mise à l'essai. Il n'y a aucune activité documentée d'examen ou d'approbation des plans de mise à l'essai avant leur mise en œuvre.

Il existe peu de données probantes supportant les activités de surveillance et d'imputabilité des parties prenantes démontrant que tous les essais ont été menés et que tous les problèmes relevés ont été réglés.

Statistique Canada a élaboré et approuvé des stratégies de certification des données du recensement afin de valider les données avant leur diffusion au public.

Des mécanismes sont en place pour assurer la documentation des résultats des processus de certification. Cela dit, les problèmes relevés et résolus pendant le processus de certification ne sont pas toujours documentés.

Les rôles et les responsabilités ne sont pas toujours séparés entre les responsables du traitement des données et les responsables de la certification, conformément aux lignes directrices sur la qualité des données.

Conclusion générale

L'efficacité des processus de mise à l'essai et de certification du cadre de contrôle de la qualité du Programme du recensement doit être améliorée.

Bien que des stratégies de mise à l'essai soient élaborées et examinées, la documentation ne suffit pas à confirmer que tous les essais ont été effectués comme prévu et que tous les problèmes connus ont été réglés.

Les processus de certification sont assortis de stratégies bien établies, mais ils pourraient être davantage améliorés si l'organisme mettait à profit l'expertise externe, répartissait les rôles et les responsabilités et documentait les problèmes relevés.

Conformité aux normes professionnelles

L'audit a été réalisé conformément aux Normes relatives à la vérification interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA).

L'application de procédures d'audit suffisantes et appropriées et la collecte des données probantes appuient l'exactitude des constatations et des conclusions du présent rapport et donnent une assurance de niveau audit. Les constatations et les conclusions sont fondées sur une comparaison des conditions, tel qu'elles existaient au moment de l'audit, au regard des critères d'audit préétablis. Les constatations et conclusions s'appliquent à l'entité examinée pour la portée et la période de référence de l'audit.

Steven McRoberts
Dirigeant principal de la vérification et de l'évaluation

Introduction

Contexte

La Loi sur la statistique confère à Statistique Canada le mandat de recueillir, de compiler, d'analyser et de publier des renseignements statistiques sur la situation économique, sociale et générale du pays et de sa population. Le Programme du recensement constitue la plus importante activité de collecte de données menée par Statistique Canada pour s'acquitter de ses obligations prévues par la Loi.

Par l'entremise du Programme du recensement, Statistique Canada dresse un portrait statistique du pays et de sa population tous les cinq ans. Compte tenu de l'importance du programme, l'organisme doit assurer une gestion de la qualité des données du programme de sorte à s'assurer que ses produits sont de qualité suffisante pour leurs utilisations prévues.

Les systèmes et les pratiques d'assurance de la qualité du Programme du recensement ont été conçus en fonction des six dimensions du Cadre d'assurance de la qualité de Statistique Canada, soit la pertinence; l'exactitude; l'actualité; l'accessibilité; l'intelligibilité et la cohérence des données.

La qualité des données est appuyée par une structure de comités de gouvernance, notamment :

• des comités composés de cadres supérieurs;
• le Comité de direction du recensement;
• l'Équipe de projet du recensement (EPR);
• la Commission de l'examen de la qualité des données;
• le Groupe de travail sur la gestion du seuil de tolérance;
• le Projet de la mesure et de l'amélioration de la couverture.

Pour le Recensement de 2016, des mises à niveau et des modifications importantes ont été apportées aux principaux systèmes, sous-systèmes et applications du programme, tels que le rétablissement du questionnaire détaillé du recensement et l'introduction du Système intégré de collecte et des opérations (SICO) pour recueillir les données du recensement. Les changements et les améliorations apportés ont été mis à l'essai selon un plan établi avant leur mise en œuvre.

En plus de mettre à l'essai les changements apportés aux systèmes, Statistique Canada utilise un processus de certification qui lui permet de vérifier la validité de ses données afin de s'assurer qu'elles sont fiables, solides et fondées. Ce processus, qui est régi par la Directive sur la validation des produits statistiques de Statistique Canada, permet à l'organisme de déceler et de corriger les incohérences dans les données à l'aide d'outils de diagnostic et d'une expertise en la matière.

Objectif de l'audit

L'objectif de l'audit était de fournir au statisticien en chef et au Comité de vérification de Statistique Canada l'assurance raisonnable que :

• Statistique Canada a en place un cadre de contrôle de gestion efficace pour gérer la qualité des données du recensement conformément aux Lignes directrices concernant la qualité de Statistique Canada.

Portée

La portée de l'audit comprenait un examen du Cadre d'assurance de la qualité du Programme du Recensement de 2016. L'audit visait strictement à fournir l'assurance que Statistique Canada a en place un processus de mise à l'essai efficacement conçu pour les changements qui ont une incidence sur les activités de traitement et de vérification et d'imputation, ainsi qu'un processus de certification pour l'examen des produits du recensement.

Approche et méthodologie

L'approche de l'audit comprenait une évaluation et une analyse de la documentation pertinente, ainsi que des entrevues avec des membres clés de la direction et du personnel du Programme du recensement et des divisions spécialisées.

L'équipe d'audit a examiné les processus de gouvernance, de gestion des risques et de contrôle en place pour les activités de mise à l'essai relatives aux systèmes de traitement et de vérification et d'imputation des données du recensement, ainsi que pour les activités de certification.

L'audit a été réalisé conformément aux Normes relatives à la vérification interne au sein du gouvernement du Canada, qui comprennent les Normes internationales pour la pratique professionnelle de l'audit interne de l'Institute of Internal Auditors (IIA).

Dans le cadre des activités de traitement, de vérification et d'imputation et de certification, des échantillons de secteurs de contrôle clés ont été sélectionnés pour l'exécution de différents essais visant à démontrer :

• la façon dont les plans et les stratégies de mise à l'essai sont élaborés;
• la fonction de surveillance et de remise en question établie pour superviser l'élaboration des stratégies et des plans de mise à l'essai;
• l'exécution des essais décrits;
• la surveillance et le suivi des résultats des essais;
• la production de rapports et l'approbation des résultats des essais.

Autorité

L'audit a été mené en vertu des pouvoirs prévus dans le Plan intégré d'audit et d'évaluation fondé sur les risques approuvé par Statistique Canada pour 2017-2018 à 2019-2020.

Constatations, recommandations et réponse de la direction

Élaboration et mise en œuvre de stratégies et de plans de mise à l'essai pour la phase de traitement des données du recensement

Des mises à niveau et des changements sont apportés aux systèmes de technologie de l'information du recensement à chaque à cycle de recensement. Ces changements devraient être mis à l'essai pour s'assurer qu'ils ont été mis en œuvre efficacement et que les systèmes fonctionnent comme prévu.

Un cadre de contrôle de gestion efficace devrait être en place pour la mise à l'essai. Le cadre devrait comprendre les éléments suivants :

• une stratégie de mise à l'essai approuvée;
• un plan qui décrit les principaux essais qui seront effectués;
• un processus clair en matière d'imputabilité des parties prenantes pour s'assurer que les essais ont été effectués;
• un processus visant à s'assurer que les erreurs relevées lors des essais ont été traitées adéquatement.

La phase de traitement des données du recensement

Les données du recensement sont traitées en plusieurs étapes, à savoir la réception et l'enregistrement, l'imagerie et la saisie des données, les contrôles, le codage ainsi que la vérification et l'imputation.

Une fois que l'information est recueillie auprès des répondants au recensement au moyen d'un questionnaire papier ou électronique, elle est enregistrée afin de s'assurer qu'elle est appariée à un logement précis. L'information est ensuite numérisée (dans le cas des questionnaires papier), ou téléchargée automatiquement (dans le cas des questionnaires électroniques), et les données sont saisies dans le système.

On examine ensuite les questionnaires qui ont été saisis dans le système à la première étape du contrôle afin de traiter les questionnaires qui contiennent des incohérences possibles. Cela comprend les questionnaires pour lesquels des questions ont été laissées en blanc; ceux pour lesquels les réponses ne concordent pas avec le nombre de membres du ménage déclarés, et ceux qui nécessitent un suivi supplémentaire du contenu ou de la couverture.

On attribue ensuite un code à toutes les réponses en fonction d'une structure de classification normalisée. Les réponses codées sont ensuite soumises à la phase de vérification et d'imputation, de sorte que les omissions et les incohérences dans les formules qui n'ont pas été repérées à la première phase de contrôle soient traitées. Ce processus de contrôle final permet de déceler les erreurs et d'imputer (ou d'attribuer) des réponses aux questions visées pour corriger ces erreurs ou incohérences.

Mise à l'essai de la phase de traitement des données du recensement

Pendant la phase de traitement des données du recensement, l'organisme a effectué un certain nombre d'essais afin de s'assurer que les systèmes d'information fonctionnent correctement et produisent les résultats souhaités.

L'équipe d'audit a examiné les approches de mise à l'essai utilisées pour trois volets :

1. Essais d'acceptation des systèmes (EAS) – Les EAS désignent le niveau d'essai auquel les systèmes sont mis à l'essai pour en vérifier l'acceptabilité. Ces essais visent à vérifier si les systèmes sont conformes aux exigences opérationnelles (c.-à-d. les résultats attendus selon la conception des systèmes). Ces essais fonctionnels permettent de vérifier le comportement des systèmes à l'aide de données représentatives. Comme il est indiqué dans le Plan intégré de mise à l'essai du Système de traitement du recensement (STR), les EAS constituent l'un des volets de mise à l'essai les plus complets menés dans le STR.
2. Essais d'intégration des systèmes (EIS) – Il s'agit d'essais à petite échelle des points d'intégration entre deux systèmes d'information ou plus. Conformément au Plan intégré de mise à l'essai du STR, les EIS servent à veiller à l'adéquation du traitement au moyen d'une évaluation des données transférées entre les systèmes afin d'assurer la conformité aux exigences opérationnelles (c.-à-d. les résultats attendus selon la conception des systèmes).
3. Essais de vérification et d'imputation (VI) – Le processus de VI comprend deux types d'essais :
   • Essais de préproduction – Chaque division spécialisée (DS) a la responsabilité de mettre à l'essai un nombre précis de variables du recensement (p. ex., la langue et le sexe) en procédant à l'analyse des tableaux d'observation produits à l'aide des données de production et des tables logiques de décision du recensement précédent.
   • Essais globaux (essais opérationnels) – La Division des opérations du recensement (DOR) vérifie si les processus de première ligne qui interviennent dans la production des chiffres de population et des logements fonctionnent conformément aux attentes.

Pour les trois volets de mise à l'essai, l'équipe d'audit a examiné les approches de mise à l'essai utilisées pour s'assurer qu'un cadre de contrôle efficace était en place.

Un cadre de contrôle efficace doit inclure les composantes suivantes : une stratégie de mise à l'essai, qui permet de cerner les risques à prendre en considération au moyen d'essais; un plan de mise à l'essai approuvé, qui permet d'opérationnaliser la stratégie de mise à l'essai, et un processus permettant à l'organisme de s'assurer que tous les essais sont effectués et que tous les problèmes sont réglés.

Des stratégies de mise à l'essai ont été élaborées et approuvées pour les EAS, les EIS et les essais de VI.

L'examen des documents a révélé que la DOR a élaboré le Plan intégré de mise à l'essai du STR (qui couvre tous les secteurs de traitement des données du recensement autres que la VI) afin de gérer la planification et le contrôle de tous les efforts de mise à l'essai pour le traitement de toutes les données du recensement. Le document décrit la stratégie globale de mise à l'essai, y compris les divers types d'essais entrepris pour vérifier le bon fonctionnement du STR de 2016. Le document définit également l'ordre dans lequel les essais devaient être effectués et l'attribution des rôles et responsabilités clés. Ce document a été approuvé par l'EPR.

Une stratégie de mise à l'essai a également été élaborée pour les plans de mise à l'essai relatifs aux essais de préproduction et aux essais opérationnels du processus de vérification et d'imputation. La stratégie a été examinée et approuvée par l'EPR.

Les chefs de tâche pour le recensement, en collaboration avec les spécialistes du domaine, ont créé des plans pour la mise à l'essai des activités de traitement, et les groupes de travail ont formulé des commentaires au sujet des approches de mise à l'essai. Les preuves de la tenue d'activités d'examen ou d'approbation des plans de mise à l'essai avant leur mise en œuvre sont limitées.

Essais d'acceptation des systèmes

Les chefs de tâche du recensement étaient chargés de concevoir les plans d'EAS et les scénarios d'essai visant à vérifier si les changements apportés aux systèmes avaient été correctement mis en œuvre. Les entrevues ont révélé que les plans de mise à l'essai et les scénarios d'essai ont bien été examinés et remis en question avant la mise en œuvre des systèmes, mais ce processus n'a pas été documenté.

Selon les entrevues menées avec la direction du recensement, un groupe de travail a été créé. Celui-ci était formé d'un certain nombre de représentants des secteurs fonctionnels, de spécialistes du domaine et du chef de tâche des Services de traitement. Ce groupe avait pour mandat de cerner les problèmes ou les erreurs qui pourraient survenir à la suite des changements apportés aux systèmes et d'en discuter, mais ces activités d'assurance de la qualité n'ont pas été documentées.

Essais d'intégration des systèmes

Les EIS permettent à l'organisme de s'assurer que les données transférées entre les systèmes sont exactes et complètes. Les rôles et les responsabilités relatives aux EIS sont décrits dans le Plan intégré de mise à l'essai du STR, lequel précise que les EIS sont contrôlés par le chef de l'équipe d'intégration des systèmes et coordonnés par le coordonnateur de l'équipe d'intégration des systèmes.

L'équipe d'intégration des systèmes, qui est responsable de l'exécution des EIS, a documenté les points d'intégration entre les systèmes dans un fichier d'intégration principal, lequel est utilisé pour cerner les composantes qui nécessitent un EIS. Un examen du fichier d'intégration a permis de confirmer qu'il a été utilisé pour documenter l'état de la mise à l'essai.

Dans la plupart des cas, la description de l'EIS précis à effectuer n'y a pas été documentée. De plus, le fichier d'intégration n'indiquait pas les erreurs ou les problèmes potentiels que l'on cherchait à atténuer au moyen de l'EIS, ni l'approche d'essai proposée ou la nature des scénarios d'essai à effectuer.

Les entrevues menées ainsi qu'un examen des procès-verbaux des réunions ont révélé que le Comité d'examen technique a examiné la méthodologie de mise à l'essai et y a contribué. Le Comité a donc supervisé en partie l'élaboration des essais, mais il ne les a pas approuvés formellement.

Essais de vérification et d'imputation

Les DS ont documenté leur approche globale de mise à l'essai sous forme de description narrative. Cette approche a été utilisée pour les essais de préproduction et décrit l'analyse proposée. La DOR a élaboré des plans de mise à l'essai décrivant les objectifs et les résultats attendus de ses essais opérationnels. Les entrevues menées et un examen de la documentation ont révélé que, dans les deux cas, les éléments de preuve étaient insuffisant afin de confirmer que l'on avait examiné ou remis en question les plans de mise à l'essai afin de s'assurer qu'ils étaient suffisamment exhaustifs pour que tous les risques cernés soient pris en considération.

En 2011, le même problème a été signalé dans le rapport de l'examen de l'assurance de la qualité des activités de vérification et d'imputation du recensement (2011). Ce rapport indique que ni les stratégies ni les plans de mise à l'essai des essais de VI ne décrivaient les critères ou les règles utilisés pour juger de la suffisance des essais ou des analyses effectués et la personne chargée de remettre en question cette décision.

Les trois volets de mise à l'essai n'étaient pas assortis de plans de mise à l'essai ou de scénarios d'essais officiels permettant à l'organisme de s'assurer qu'un nombre suffisant d'essais avaient été conçus pour tenir compte de tous les risques associés aux systèmes. Sans examen ni approbation, les problèmes découlant de changements liés aux systèmes risquent de ne pas être réglés.

Il existe peu de données probantes supportant les activités de surveillance et d'imputabilité des parties prenantes démontrant que les essais ont été menés et que tous les problèmes relevés ont été réglés.

Essais d'acceptation des systèmes

Des rapports sur les essais ont été préparés pour mettre en évidence les résultats des EAS. Ces rapports présentent les risques et les enjeux cernés au cours de la mise à l'essai, ainsi que toute recommandation pertinente. L'équipe d'audit a choisi aléatoirement trois plans de mise à l'essai et a confirmé que des rapports sur les essais avaient été préparés et que les résultats étaient étayés par des scénarios d'essais échantillonnés.

L'audit a également révélé qu'un processus d'approbation a été mené pour chaque essai afin de confirmer qu'un rapport avait été produit. En examinant ces rapports, l'équipe d'audit a constaté que les essais avaient bien été effectués, mais qu'aucune des cases de signature confirmant qu'ils avaient fait l'objet d'un examen n'avait été remplie. La direction du recensement n'a pas pu confirmer que tous les résultats des essais avaient bel et bien été examinés.

Les entrevues menées avec la direction du recensement ont indiqué qu'en raison de la quantité d'essais effectués, il n'était peut-être pas possible d'examiner et d'approuver tous les essais menés pour chacun des scénarios d'essai.

Un examen du processus a révélé que lorsqu'une erreur ou un problème potentiel relatif aux systèmes était décelé au cours de la mise à l'essai, un billet était créé dans l'outil de suivi de l'organisme, JIRA, de sorte que l'erreur ou le problème relevé fasse l'objet d'une enquête et soit résolu. Une fois le problème résolu, le billet était désigné comme étant fermé dans le système et l'essai était repris. Le système JIRA conserve une preuve de la reprise de l'essai.

Essais d'intégration des systèmes

Le fichier d'intégration principal, tenu à jour par l'équipe d'intégration des systèmes, a été utilisé pour documenter l'état de la mise à l'essai et ses résultats. Les renseignements documentés dans le fichier d'intégration principal indiquent que le processus d'EIS a été partiellement effectué par l'équipe d'intégration des systèmes, ainsi que par d'autres équipes responsables des sous-systèmes. Ce document ne décrivait pas les stratégies à suivre pour mettre à l'essai les points d'intégration; il ne contenait qu'une liste des points d'intégration et des renseignements limités sur les mesures entreprises. Les entrevues menées avec le coordonnateur des EIS ont également confirmé que les résultats des essais n'ont pas été documentés dans le fichier d'intégration en raison des difficultés éprouvées pour obtenir de l'information auprès des équipes responsables des sous-systèmes.

Essais de vérification et d'imputation

L'équipe d'audit n'a pas été en mesure de confirmer que les essais prévus ont été effectués et que les résultats de ces essais ont été examinés. Certaines des DS échantillonnées n'ont pas tenu à jour de document confirmant que les essais de préproduction du processus de VI ont été examinés et approuvés. De plus, des incohérences ont été relevées en ce qui concerne les activités d'analyse sous-jacentes utilisées pour dégager les résultats des essais.

Les entrevues ont permis de confirmer qu'en raison de la nature décentralisée des essais de VI, aucun mécanisme ne permettait à l'organisme de s'assurer que tous les essais prévus avaient été effectués conformément aux attentes. De plus, les DS ne sont pas tenues de déclarer à la DOR les résultats de leurs essais en vue du regroupement des résultats des essais de VI.

La plupart des DS n'ont pas documenté les problèmes et les risques cernés durant les essais de VI, ni assuré un suivi de ces problèmes et risques. Les entrevues menées dans le cadre de l'audit ont permis d'établir que l'une des DS échantillonnées tenait son propre registre de problèmes. Cela dit, une autre DS a indiqué qu'elle ne documentait pas les problèmes potentiels relevés lors des essais.

Pour tous les processus de mise à l'essai, les responsables n'avaient pas de processus d'approbation officiel en place pour s'assurer que tous les essais avaient été effectués comme prévu. Un nombre limité de problèmes relevés au cours des essais ont été documentés ou ont fait l'objet d'un suivi. En l'absence de processus efficaces de surveillance de l'exécution des essais, les essais concernés risquent de ne pas être menés sur les systèmes avant la mise en œuvre des modifications ou améliorations correspondantes.

Recommandations

Il est recommandé que le statisticien en chef adjoint du Recensement, des Opérations et de l'Informatique s'assure de ce qui suit :

1. l'organisme a en place un processus pour documenter l'approbation de la conception et de l'élaboration des plans de mise à l'essai et des scénarios d'essai afin de s'assurer que ceux-ci sont harmonisés avec les risques cernés pour les systèmes;

2. l'imputabilité des parties prenantes en ce qui concerne les EIS et les essais de VI a été déterminée pour confirmer que tous les essais ont été effectués comme prévu, et pour assurer le suivi et la résolution des problèmes cernés lors des essais.

Réponse de la direction

La direction est d'accord avec les recommandations formulées.

• 1. La documentation des renseignements relatifs à la conception et à l'élaboration des plans de mise à l'essai et des scénarios d'essai sera améliorée de sorte que les mesures prises pour assurer l'harmonisation des plans de mise à l'essai avec les risques cernés relativement aux systèmes soient clairement documentées.
  
  Le processus d'examen et d'approbation des plans de mise à l'essai et des scénarios d'essai sera modifié pour faire en sorte que l'approbation des plans d'essai soit documentée

Produits livrables et échéancier

Le directeur général du Bureau de gestion du recensement devra :

• fournir des lignes directrices à jour à tous les gestionnaires responsables des plans de mise à l'essai d'ici septembre 2018.

• 2. La mise à l'essai sera déléguée aux chefs de sous-projets, de tâches et de sous-tâches du Programme du recensement :
  • les chefs de l'échelon approprié établiront des calendriers afin d'assurer une vérification officielle de l'état d'exécution de tous les scénarios d'essai dans les inventaires de scénarios d'essai, comme il est indiqué dans les plans de mise à l'essai;
  • la documentation de l'exécution des scénarios d'essai sera améliorée afin d'assurer la documentation de l'exécution des essais et le suivi et la résolution des problèmes cernés;
  • une approche modifiée sera appliquée à tous les systèmes utilisés dans le Programme du recensement à titre de pratique exemplaire.

Produits livrables et échéancier

Le chef des Sous-projets de dépouillement et le chef des Sous-projets d'intégration des systèmes devront :

• établir le calendrier des examens des résultats des essais de VI et des EIS d'ici septembre 2018;
• produire des rapports sur la mise en œuvre du plan de mise à l'essai tout au long du projet, y compris une confirmation de l'exécution des essais et de la résolution des problèmes;
• publier les premiers rapports d'étape sur les EIS d'ici octobre 2018.

Élaboration, approbation et mise en œuvre de stratégies de certification

Des stratégies de certification clairement définies, qui tiennent compte des sources de données internes et externes, sont essentielles si l'on veut s'assurer que les données sont validées de façon efficace et efficiente. La certification est une importante mesure de contrôle qui permet à l'organisme de s'assurer que les systèmes de recensement fonctionnent correctement et que les données sont fiables préalablement à leur utilisation par le public.

Le processus de certification des données du recensement

Avant la diffusion des résultats du recensement, les données du recensement font l'objet d'un processus rigoureux de contrôle de la qualité. L'une des principales étapes de ce processus est la certification des résultats du recensement.

La certification a pour objet d'évaluer rigoureusement la qualité des données du recensement à des niveaux géographiques précis afin de veiller au respect des normes de qualité pour la diffusion au grand public. Les spécialistes du domaine examineront un certain nombre de facteurs pour évaluer la qualité des données du recensement. Cela comprend les taux de réponse et d'erreur et la comparaison des données avec celles du recensement précédent ainsi qu'avec celles d'autres enquêtes et sources administratives. Toutes ces sources permettent à Statistique Canada de valider les résultats du recensement et de décider s'ils sont fiables et peuvent être diffusés.

Des stratégies de certification ont été élaborées et approuvées, et les divisions spécialisées ont tiré parti des sources de données externes lorsqu'elles étaient disponibles.

Un examen des documents a permis de confirmer que deux stratégies globales de certification ont été élaborées pour orienter les activités de certification dans l'ensemble des DS, à savoir la Stratégie de certification des chiffres de population et des logements et la Certification des caractéristiques de la population du recensement. En s'appuyant sur ces stratégies, chaque DS a élaboré son propre plan de certification par rapport à ses variables de recensement respectives (p. ex., l'âge et le sexe). Ce processus est coordonné par le Secrétariat des domaines spécialisés du recensement (SDSR).

L'équipe d'audit a échantillonné et examiné les stratégies de certification élaborées par deux DS pour le Recensement de 2016. Ces documents décrivent les objectifs de la certification, les activités de certification proposées et les échéances connexes, ainsi que les principaux changements apportés depuis le dernier recensement. Les stratégies ont été examinées par les directeurs de chaque DS et envoyées au SDSR pour commentaires.

Les Lignes directrices sur la validation des produits statistiques indiquent que les activités de validation des données devraient inclure la comparaison avec d'autres sources de données similaires, qu'il s'agisse de données publiées par Statistique Canada ou externes à l'organisme, et la consultation d'intervenants externes.

L'examen des stratégies de certification échantillonnées a permis à l'équipe d'audit de confirmer que les DS tirent parti de sources de données internes et externes pour valider le caractère raisonnable des données du recensement. Par conséquent, les variables sont examinées ou validées en fonction des données d'autres ministères, lorsque celles-ci sont disponibles. Une autre pratique exemplaire possible serait de miser sur l'expertise externe pour valider les données du recensement.

Des mécanismes sont en place pour assurer la documentation des résultats des processus de certification. Cela dit, les problèmes relevés et résolus pendant le processus de certification ne sont pas toujours documentés.

Une fois le processus de certification terminé, chaque DS est responsable de produire un dossier de présentation sur les résultats du processus de certification à l'intention de :

• son directeur;
• la direction du SDSR;
• le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie;
• le directeur général du Programme du recensement;
• le statisticien en chef adjoint de la Statistique sociale, de la santé et du travail;
• le statisticien en chef.

Ce dossier présente les résultats du processus de certification, y compris les erreurs potentielles relevées durant le processus. De plus, un rapport sommaire des tâches de certification est préparé et approuvé par le directeur adjoint du SDSR, le directeur de la DS, le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie, le directeur général du Programme du recensement et le statisticien en chef adjoint de la Statistique sociale, de la santé et du travail. Ce document présente les indicateurs de la qualité des données, les problèmes rencontrés et un résumé des recommandations.

Enfin, pendant le processus de certification, les problèmes potentiels au chapitre des données sont cernés et examinés en détails. Cependant, les DS échantillonnées n'ont pas toutes documenté les problèmes potentiels cernés et la façon dont ils ont été résolus. La documentation des renseignements à l'appui de la certification des résultats lorsque des problèmes potentiels sont cernés permet à la direction du recensement de s'assurer que toutes les activités de certification ont été effectuées comme prévu. Cela réduit le risque qu'une anomalie soit omise.

Les tâches ne sont pas toujours divisées entre l'équipe de la certification et l'équipe du traitement de la vérification et de l'imputation.

Les Lignes directrices sur la validation des produits statistiques stipulent que « dans la mesure du possible, et lorsque les ressources le permettent, il devrait idéalement exister deux équipes distinctes entre le traitement des données de vérification et d'imputation et les experts spécialisés qui procèdent à la certification. Cette division des tâches permet une évaluation indépendante des estimations statistiques. »

L'audit a révélé que, dans certaines DS, ce sont les mêmes personnes qui ont établi les paramètres de VI et élaboré et exécuté les stratégies de certification. Le processus de certification se veut une fonction de remise en question ayant pour objectif d'examiner les résultats de façon indépendante. Cette indépendance permet d'atténuer tout biais dans l'examen des résultats et augmente la probabilité que les anomalies soient relevées.

Les entrevues ont révélé que les DS pourraient être les personnes les mieux positionnées pour effectuer le processus de certification, puisqu'elles sont des spécialistes dans ce domaine. Par conséquent, comme un nombre limité de spécialistes du domaine sont expressément affectés aux activités de certification, un examen indépendant n'est pas toujours possible.

Toutefois, l'audit a permis de relever au moins une bonne pratique. Dans l'une des DS échantillonnées, le processus de certification est exécuté simultanément par deux spécialistes du domaine, et les résultats sont comparés. Grâce à ce processus d'examen par les pairs, l'atteinte potentielle à l'objectivité du spécialiste du domaine qui intervient dans le processus de VI est atténuée par une évaluation indépendante des résultats de la certification.

Recommandations

Il est recommandé que le statisticien en chef adjoint du Recensement, des Opérations et de l'Informatique, en collaboration avec le statisticienne en chef adjointe de la Statistique sociale, de la santé et du travail, s'assure de ce qui suit :

3. l'imputabilité des parties prenantes en ce qui concerne les activités de certification a été établie afin de s'assurer que les stratégies de certification sont effectuées comme prévu;

4. un mécanisme est en place pour atténuer les risques associés à la division des tâches entre l'équipe de la VI et l'équipe de la certification des résultats.

Réponse de la direction

La direction est d'accord avec les recommandations formulées.

3. Après la troisième diffusion des données du Recensement de 2016 en août 2017, des changements ont été apportés au processus de certification des données en vue des diffusions restantes. Un comité d'examen des résultats du processus de certification a été mis en place. Les principaux objectifs du comité étaient les suivants :

• rencontrer les différents analystes spécialistes du recensement et leur demander de lui communiquer et de lui présenter les résultats de la certification;
• pour tous les éléments énumérés dans chaque stratégie de certification, s'assurer que les analyses ont été entreprises et que les résultats de ces analyses ont été présentés au comité pour examen;
• remettre en question les différences importantes observées dans les résultats des données et suggérer des domaines qui pourraient bénéficier d'une enquête plus poussée.

En plus de ces changements, des consultations ont été menées avec des spécialistes d'autres ministères fédéraux pour chaque diffusion du recensement ultérieure à août 2017. Les analystes spécialistes ont présenté des estimations et des tendances à ces spécialistes provenant d'autres ministères fédéraux et en ont discuté avec ceux-ci.

Pour le Recensement de 2021, la statisticienne en chef adjointe du Secteur de la statistique sociale, de la santé et du travail veillera à ce que la structure de gouvernance soit modifiée pour mettre en œuvre un comité semblable. Le comité sera chargé d'examiner, de valider et de surveiller les activités et les résultats du processus de certification tout au long de la période de certification et de veiller à ce que les activités de certification se déroulent comme prévu.

Produits livrables et échéancier

Le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie devra :

• établir le mandat détaillé du nouveau comité, y compris son objet, ses rôles et responsabilités, sa composition, son calendrier et son plan d'action. Cela inclut des consultations avec des spécialistes d'autres ministères fédéraux. Le mandat sera approuvé par le directeur général des Domaines spécialisés du recensement, de la statistique sociale et de la démographie et par le chef du recensement, et sera présenté au Comité de direction du Recensement de 2021 et approuvé par ce dernier d'ici le 31 mars 2019.

• 4. La statisticienne en chef adjointe du Secteur de la statistique sociale, de la santé et du travail s'assurera que tous les secteurs spécialisés participant aux activités du recensement ont clairement établi les activités de certification et la division des tâches par rapport aux autres activités. De cette façon, la fonction de remise en question des activités de certification sera conservée lors de l'évaluation de la qualité des résultats du recensement, et toutes les différentes étapes précisées dans les stratégies de certification seront menées de façon appropriée.

Produits livrables et échéancier

Le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie devra :

• veiller à ce que les stratégies des directeurs des secteurs spécialisés du recensement soient approuvées par la statisticienne en chef adjointe du Secteur de la statistique sociale, de la santé et du travail, le directeur général de la Direction des domaines spécialisés du recensement, de la statistique sociale et de la démographie et le chef du recensement. Ces stratégies incluent les plans d'atténuation des risques et d'affectation des ressources pour le Recensement de 2021 pour assurer la division des tâches et la mise en place de stratégies d'atténuation des risques. Les plans approuvés seront présentés au Comité directeur du Recensement de 2021 d'ici le 31 mars 2019.

Annexes

Annexe A : Critères de l'audit

Annexe B : Sigles