Évaluation formative de l'accès aux microdonnées : Projet du Laboratoire virtuel de données

Rapport d'évaluation

Décembre 2020

Rapport en bref

La Division de l'accès aux données (DAD) est chargée de fournir l'accès aux microdonnées aux chercheurs de l'extérieur de Statistique Canada et de tenir à jour le répertoire de toutes les personnes réputées être employées de l'organisme. Cela comprend le soutien, l'expertise et les normes en matière de fourniture de données aux secteurs spécialisés au sein de Statistique Canada et l'assurance que la confidentialité de l'information est protégée dans toutes les ententes d'accès aux microdonnées.

À partir des assises des centres de données de recherche (CDR) et du Centre canadien d'élaboration de données et de recherche économique (CDRE), Statistique Canada a créé le projet pilote du Laboratoire virtuel de données (LVD) qui, lorsqu'il sera terminé, permettra d'avoir accès à distance à des microdonnées sociales et à des microdonnées sur les entreprises détaillées et anonymisées en vue de la recherche et de l'analyse par l'entremise d'une interface sécuritaire fondée sur l'infonuagique. Le LVD vise à accroître le nombre de chercheurs qui utilisent les données canadiennes et le nombre de fonds de données auxquels les utilisateurs peuvent accéder, à moderniser l'infrastructure de technologie de l'information existante, à établir des partenariats à risque partagé et à faire passer les opérations existantes à une architecture fondée sur l'infonuagique.

L'évaluation a été menée par la Division de l'évaluation de Statistique Canada, en conformité avec la Politique sur les résultats du Conseil du Trésor (2016) et le Plan d'audit et d'évaluation fondé sur les risques de Statistique Canada (2019-2020 à 2023-2024). Elle visait à déterminer de façon neutre, sur la base de données probantes, si le programme est harmonisé avec les besoins des utilisateurs. Elle visait en outre à déterminer si les évaluations du LVD existantes menées au sein de Statistique Canada sont suffisamment exhaustives et si les constatations et les recommandations découlant de ces évaluations sont intégrées à la conception, à l'exécution, à la planification stratégique et à la mise en œuvre du projet du LVD. De plus, l'évaluation a permis d'analyser la mesure dans laquelle les cadres de mesure du rendement et d'évaluation des risques ont été mis en œuvre.

La méthodologie d'évaluation comprenait un examen des documents, des entrevues avec des informateurs clés auprès des professionnels de Statistique Canada travaillant à la DAD et au Secteur des solutions numériques et à d'autres champs d'enquête, le cas échéant.

Il est à noter que la phase de collecte de l'évaluation, dans laquelle toutes les données ont été recueillies aux fins de ce rapport, s'est déroulée avant la pandémie COVID-19. En conséquence, les constatations et les recommandations ne tiennent pas compte des activités menées ou des décisions prises après mars 2020.

Principales constatations et recommandations

Enjeu 1 : expérience utilisateur

Question 1

Dans quelle mesure les évaluations existantes du Laboratoire de données sont-elles suffisamment complètes pour tenir compte de tous les utilisateurs, déterminer leurs besoins et harmoniser la planification du projet et les résultats souhaités?

Constatations

Les évaluations sont suffisamment complètes pour tenir compte des utilisateurs actuels et déterminer leurs besoins et les tendances en matière de rétroaction qui peuvent être utilisés pour éclairer la planification stratégique, en particulier chez les utilisateurs du gouvernement fédéral et du milieu universitaire.

Collectivement, les évaluations existantes sont suffisamment complètes pour englober toutes les dimensions du projet et correspondre aux résultats souhaités énoncés dans les documents de planification et de cadre du projet.

Enjeu 2 : conception, exécution et mise en œuvre

Question 2

Dans quelle mesure les renseignements tirés des évaluations effectuées ont-ils été intégrés au projet du Laboratoire de données?

Constatations

Les évaluations de l'expérience utilisateur (EU), de la protection des renseignements personnels et de la sécurité ont été mises à profit pour éclairer les stratégies et la planification. Toutefois, les délais d'exécution n'étaient pas toujours clairs.

La DAD a effectué une analyse à l'échelle internationale des organismes nationaux de statistiques (ONS) dotés de capacités et de programmes semblables, afin de déterminer les pratiques exemplaires et d'évaluer les offres de programmes similaires dans le monde.

Question 3

Dans quelle mesure les cadres de mesure du rendement et d'évaluation des risques ont-ils été mis en œuvre?

Constatations

Des indicateurs de rendement ont été formulés et les travaux visant à les améliorer se poursuivent.

Un cadre de gestion des risques existe et une gestion active des risques est assurée. Une planification prévoyant diverses éventualités et une clarification des responsabilités seraient utiles.

Recommandation 1

Le statisticien en chef adjoint du Secteur de l'engagement stratégique (secteur 4) devrait s'assurer qu'en raison du niveau de complexité et de la dépendance à l'égard d'autres parties de l'organisme, des éventualités et des échéanciers plus clairs soient définis pour les activités.

Recommandation 2

Le statisticien en chef adjoint du Secteur de l'engagement stratégique (secteur 4) devrait veiller à ce que des mécanismes de gouvernance soient en place pour gérer efficacement les activités horizontales de façon holistique, y compris l'établissement de manière claire des rôles et des responsabilités et en les comprenant.

Mise à jour

Depuis la fin de la période de référence de l'évaluation (mars 2020), l'équipe du projet LVD a lancé et complété diverses initiatives afin de satisfaire des besoins émergents urgents et, du même coup, accéléré le développement du projet. Ces initiatives incluent : lancement d'une solution d'accès intérimaire pour appuyer la recherche sur la COVID-19; projet pilote d'un environnement infonuagique pour un projet sur les opioïdes avec des partenaires fédéraux; travail étroit avec les organes directeurs afin d'approuver les cadres de travail et les approches; et, création et révision de documents clés tels que les contrats et les ententes afin d'assurer leur harmonisation avec le cadre du LVD et la gouvernance. L'équipe a également mis à jour le plan de projet afin de tenir compte des progrès réalisés dans plusieurs domaines, y compris l'élaboration et la mise en œuvre d'un système de gestion des relations avec les clients, et a mis sur pied des groupes de travail afin de discuter d'enjeux, tels que les rôles et les responsabilités liés à l'intégration.

Contenu

La présente évaluation a été effectuée conformément à la Politique sur les résultats du Conseil du Trésor (2016) et au Plan intégré d'audit et d'évaluation fondé sur les risques de Statistique Canada (2019-2020 à 2023-2024). Le principal objectif était de fournir une évaluation neutre et fondée sur des données probantes du projet pilote du Laboratoire virtuel de données (LVD), à l'appui de la prise de décisions, de la responsabilisation et de l'amélioration. En raison de l'état du projet au moment de l'évaluation, une approche formative a été utiliséeNote de bas de page 1.

Division de l'accès aux données

La Division de l'accès aux données (DAD) est chargée de gérer l'accès aux microdonnées confidentielles aux chercheurs — et aux personnes réputées être employées — à l'extérieur et à l'intérieur de Statistique Canada. Cela comprend le soutien, l'expertise et les normes en matière de fourniture de données aux secteurs spécialisés de l'organisme et la protection de la confidentialité des renseignements dans toutes les ententes d'accès aux microdonnées. La DAD donne accès aux microdonnées par l'entremise de divers programmes, en fonction du type de données demandées, des besoins propres à l'utilisateur, de la raison d'être de l'accès à l'ensemble de données et du niveau de sensibilité du fichier de données demandé. L'accès aux microdonnées est ensuite accordé selon un continuum, conformément aux exigences de sécurité de l'organisation et à la sensibilité des fichiers de données.

Continuum d'accès aux microdonnées de Statistique Canada
Accès libre-service moins sensible Accès restreint le plus sensible
Initiative de démocratisation des données Accès aux fichiers de microdonnées à grande diffusion Accès à distance en temps réel Centres de données de recherche, Centre canadien d'élaboration de données et de recherche économique, Laboratoire virtuel de données
Il s'agit d'un service par abonnement qui offre un accès illimité aux données disponibles, anonymisées et non agrégées dans la collection. Les partenariats entre les établissements postsecondaires et Statistique Canada offrent aux professeurs et aux étudiants un accès illimité à un éventail de données à grande diffusion et de fichiers géographiques. Il s'agit d'un service en ligne qui permet aux utilisateurs d'exécuter des programmes SAS en temps réel à l'aide de données situées dans un endroit sécurisé. Des environnements physiques sécurisés de Statistique Canada sont mis à la disposition de chercheurs accrédités et d'employés du gouvernement fédéral pour qu'ils puissent accéder à des microdonnées anonymisées à des fins de recherche, en veillant à ce que tous les renseignements personnels soient retirés des produits.

Dans le cadre de ses efforts continus pour appuyer son programme de modernisation (voir l'annexe D), Statistique Canada a élaboré l'Outil de classification de la confidentialité (OCC), un outil organisationnel servant à la classification des données confidentielles. L'OCC prend la forme d'un questionnaire court qui génère une classification normalisée de la confidentialité selon un continuum de risques (cotes de 0 à 9). Les cotes de l'OCC servent à déterminer la nature et le degré de protection de la confidentialité que Statistique Canada utilise dans ses fonds de renseignements. Plus particulièrement, cet outil sert à définir les modalités d'accès pour les utilisateurs de données externes de confiance, comme les organismes partenaires et les chercheurs du LVD, grâce à un cadre de gestion de l'accès adapté du cadre des cinq éléments de la sécurité élaboré par le Bureau national de la statistique du Royaume-Uni (il s'agit d'une approche holistique en matière de protection des données, qui va au-delà de la technologie de l'information [TI] et de la protection des emplacements physiques).

Figure 1 - Cadre des cinq éléments de la sécurité
Cadre des cinq éléments de la sécurité
Description de la Figure 1 - Cadre des cinq éléments de la sécurité

La figure illustre les cinq éléments de la sécurité et les quatre facteurs qui les relient. Ces éléments de la sécurité sont chapeautés par la gouvernance. Les cinq éléments de la sécurité sont pris en compte ensemble, selon une échelle mobile, en fonction du type de chercheur, de l'accès et des données.

Les cinq éléments de la sécurité sont :

  • Personnes fiables – Peut-on faire confiance aux utilisateurs pour qu'ils utilisent les données de façon appropriée?
  • Projets sécuritaires – L'utilisation des données est-elle appropriée?
  • Données sécuritaires – Y a-t-il un risque de divulgation des données?
  • Installations sécuritaires – L'installation où l'accès a lieu empêche-t-elle l'utilisation non autorisée des données?
  • Produits sécuritaires – Les résultats statistiques sont-ils impossibles à divulguer?

Les quatre éléments du plan sont les suivants :

  • Exigences de sécurité et de contrôle
  • Accréditation des utilisateurs des données et partage de la responsabilité avec l'organisation d'accueil
  • Traitement des ensembles de données – contrôle des produits
  • Processus d'examen et d'approbation
Cadre des cinq éléments de la sécurité
Personnes fiables Peut-on faire confiance aux utilisateurs pour qu'ils utilisent les données de façon appropriée?
Projets sécuritaires L'utilisation des données est-elle appropriée?
Données sécuritaires Y a-t-il un risque de divulgation des données?
Installations sécuritaires L'installation où l'accès a lieu empêche-t-elle l'utilisation non autorisée des données?
Produits sécuritaires Les résultats statistiques sont-ils impossibles à divulguer?

Projet pilote du Laboratoire virtuel de données

À partir des assises des centres de données de recherche (CDR) et du Centre canadien d'élaboration de données et de recherche économique (CDRE), Statistique Canada a créé le projet pilote du Laboratoire virtuel de données (LVD) qui, lorsqu'il sera terminé, permettra d'avoir accès à distance à des microdonnées sociales et à des microdonnées sur les entreprises détaillées et anonymisées en vue de la recherche et de l'analyse par l'entremise d'une interface sécuritaire fondée sur l'infonuagique. Les analyses de rentabilisation du LVD ont fait ressortir les résultats clés suivants (annexe B) :

  • Améliorer l'EU lors de l'accès aux microdonnées anonymisées;
  • Tirer parti des nouvelles technologies, méthodes et données;
  • Appliquer des pratiques de gestion des risques (pour optimiser l'accessibilité des données avec des mesures de protection);
  • Accroître la collaboration et les partenariats entre les utilisateurs et les fournisseurs de données;
  • Renforcer la capacité d'analyse et de recherche;
  • Appuyer la prise de décisions fondée sur des données probantes.

Le premier prototype du LVD est le Centre fédéral de données de recherche virtuel, qui est situé au bureau national de la Société canadienne d'hypothèques et de logement (SCHL) à Ottawa. Grâce aux nouveaux partenariats établis, ce modèle de partage des risques sera étendu à d'autres organismes partenaires et à leurs utilisateurs. Les installations de la SCHL — où des personnes réputées être employées ont un accès sécurisé à des données anonymisées — sont utilisées pour tester l'EU, l'accès et le protocole de sécurité, qu'il s'agisse d'une salle certifiée désignée semblable à un CDR ou d'un accès réglementé pour les employés autorisés de la SCHL, afin qu'ils puissent utiliser des fichiers de recherche anonymisés dans des espaces de travail autorisés distincts. Le projet pilote du LVD évoluera graduellement vers un accès à distance fondé sur l'infonuagique, lorsque l'infrastructure nécessaire sera disponible à Statistique Canada.

Les données anonymisées utilisées par les chercheurs de la SCHL sont hébergées sur des serveurs sécurisés de Statistique Canada, et les chercheurs autorisés sont tenus d'utiliser des dispositifs cryptés sécurisés de Statistique Canada pour se connecter à ces serveurs centraux au moyen du poste de travail virtuel. Les renseignements de nature moins délicate (c.-à-d. dont la cote de l'OCC est moins élevée) peuvent être consultés dans des espaces de travail autorisés, tandis que les données anonymisées de nature plus délicate (OCC 8) sont accessibles uniquement dans la salle certifiée désignée.

Le projet du LVD sera également élargi pour inclure la Banque du Canada (BdC) et le portefeuille de la Santé (projet exploratoire sur les opioïdes), et d'autres partenariats sont prévus.

Figure 2 - Lieu de l'accès et sensibilité du fichier pour les personnes réputées être employées

Lieu de l'accès et sensibilité du fichier pour les personnes réputées être employées

Description de la Figure 2 - Lieu de l'accès et sensibilité du fichier pour les personnes réputées être employées

La figure illustre les types de lieux d'accès mis en correspondance avec le niveau d'accréditation et le niveau de sensibilité du fichier (cote de l'Outil de classification de la confidentialité [OCC]).

Dans la figure, la sensibilité du fichier (cote OCC) varie de 1 à 9, 1 étant la plus faible et 9, la plus élevée.

Le niveau d'accréditation varie du niveau 0 au niveau 4, le niveau 0 étant le plus bas.

Les lieux de l'accès comprennent les bureaux ouverts (environnement de cubicules), les bureaux fermés (bureaux personnels ou salles de conférence), les enclaves physiques (pièces certifiées désignées, y compris le Centre fédéral de données de recherche virtuel, les centres de données de recherche et le Centre fédéral de données de recherche).

En ce qui a trait à l'accès aux lieux :

  • Un niveau d'accréditation de 0 ne donne aucun accès, quelle que soit la cote de sensibilité du fichier.
  • Pour les cotes de sensibilité des fichiers 9, il n'y a aucun accès à l'extérieur de l'administration centrale de Statistique Canada, peu importe le niveau d'accréditation.
  • L'accréditation de niveau 1 confère l'accès à partir d'une enclave physique pour les cotes de sensibilité des fichiers 1 à 8.
  • L'accréditation de niveau 2 confère l'accès à partir d'un bureau ouvert pour les cotes de sensibilité des fichiers 4 et moins, d'un bureau fermé pour les cotes de sensibilité des fichiers 5 à 7, et d'une enclave physique pour une cote de sensibilité des fichiers 8.
  • L'accréditation de niveau 3 confère l'accès à partir d'un bureau ouvert pour les cotes de sensibilité des fichiers 5 et moins, d'un bureau fermé pour les cotes de sensibilité des fichiers 6 et 7, et d'une enclave physique pour une cote de sensibilité des fichiers 8.
  • L'accréditation de niveau 4 confère l'accès à partir d'un bureau ouvert (recherche expérimentale) pour les cotes de sensibilité des fichiers 5 et moins, d'un bureau fermé pour les cotes de sensibilité des fichiers 6 et 7, et d'une enclave physique pour une cote de sensibilité des fichiers 8.

La cote la plus élevée de l'OCC pour les ensembles de données associés à un projet détermine le mode d'accès et le lieu.

La longueur et la complexité du processus de demande d'accès aux fichiers de microdonnées de Statistique Canada, ainsi que les limites d'utilisation et de production, dépendent du niveau de sensibilité (cote de l'OCC) du fichier de données auquel l'accès a été demandé (et accordé) et, par conséquent, varient selon le programme d'accès. Les programmes des CDR, du CDRE et du LVD donnent accès à des fichiers de données plus sensibles, de sorte que les protocoles de demande, d'accès et d'utilisation sont semblables dans l'ensemble de ces programmes.

Les progrès vers la mise en œuvre d'une plateforme fondée sur l'infonuagique pour les utilisateurs du LVD dépendent des progrès réalisés par d'autres secteurs de Statistique Canada, notamment l'Analyse des données en tant que service (ADS) et les équipes de la TI, de même que les organismes partenaires et les services d'informatique en nuage. Compte tenu des délais relativement courts, les efforts triangulés déployés par toutes les équipes concernées doivent continuer de permettre la mise à l'essai appropriée du produit et de l'expérience utilisateur, de réduire les risques au minimum et de travailler aux principaux échéanciers, produits livrables et seuils de gestion de projet.

En résumé, le LVD tire parti d'outils nouveaux et novateurs et met à l'essai de nouvelles plateformes et de nouveaux formats de diffusion. Le projet est fondé sur une approche progressive en matière d'élaboration de projet et sur les leçons apprises pour permettre une adaptation et une amélioration rapides.

Évaluation

La portée de l'évaluation a été établie en fonction d'un examen des documents et de réunions avec des spécialistes de la DAD. Les points suivants ont été cernés aux fins de l'examen :

Enjeux d'évaluation et questions

Expérience utilisateur

  1. Dans quelles mesures les évaluations existantes du Laboratoire de données sont-elles suffisamment complètes pour tenir compte de tous les utilisateurs, déterminer leurs besoins et harmoniser la planification du projet et les résultats souhaités?

Conception, exécution et mise en œuvre

  1. Dans quelle mesure les renseignements tirés des évaluations effectuées ont-ils été intégrés au projet du Laboratoire de données?
  2. Dans quelle mesure les cadres de mesure du rendement et d'évaluation des risques ont-ils été mis en œuvre?

Sur la base d'une approche d'évaluation formative, deux principales méthodes de collecte ont été utilisées :

  • Entrevues avec des intervenants internes
    Entrevues semi-structurées avec des intervenants de la DAD et des Solutions numériques
  • Examen des documents
    Examen des documents internes de l'organisme

Quatre limites principales ont été cernées et des stratégies d'atténuation ont été utilisées :

Limites et Stratégies d'atténuation
Limites Stratégies d'atténuation
En raison du grand nombre d'utilisateurs (potentiels), les points de vue recueillis dans le cadre des recherches et des évaluations des utilisateurs peuvent ne pas être entièrement représentatifs. Les commentaires des utilisateurs ont été pris en compte à partir de diverses évaluations ayant différents objectifs principaux. Les évaluateurs ont été en mesure de dégager des tendances cohérentes dans l'ensemble de ces rapports, qui étaient représentatives des besoins généraux de tous les groupes d'utilisateurs actuels et futurs.
Les commentaires des utilisateurs peuvent contenir un biais lié à l'autodéclaration, qui se produit lorsque les personnes qui déclarent leurs propres activités se présentent sous un jour plus positif. En examinant l'information provenant de diverses évaluations de portée différente, les évaluateurs ont été en mesure de dégager des tendances et des modèles généraux uniformes qu'ils ont pu exploiter.
Les documents de preuve ne sont pas toujours disponibles. Des documents supplémentaires ont été demandés et fournis au besoin, et des employés clés de la DAD ont été interviewés pour combler les lacunes.
Les responsables du programme n'ont pas encore collaboré avec les services intégrés pour élaborer des indicateurs de rendement clés (IRC) et des profils de risque connexes.

L'utilisation d'une approche d'évaluation formative a permis aux évaluateurs d'évaluer les indicateurs et les objectifs intermédiaires, une exigence comprise dans les lignes directrices sur l'approbation des projets du Cadre de gestion des projets de l'organisme (plan et charte du projet).

Les résultats souhaités pour le projet pilote ont été déterminés et répétés tout au long du processus d'examen des documents et pourraient être utilisés comme cadre d'évaluation informel.

La phase de collecte de l'évaluation, dans laquelle toutes les données ont été recueillies aux fins de ce rapport, s'est déroulée avant la pandémie COVID-19. En conséquence, les constatations et les recommandations ne tiennent pas compte des activités menées ou des décisions prises après mars 2020.

Leçons apprises

Expérience utilisateur

Questions d'évaluation

Dans quelle mesure les évaluations existantes du Laboratoire de données sont-elles suffisamment complètes pour tenir compte de tous les utilisateurs, déterminer leurs besoins et harmoniser la planification du projet et les résultats souhaités?

Les évaluations sont suffisamment complètes pour tenir compte des utilisateurs actuels et déterminer leurs besoins et les tendances en matière de rétroaction qui peuvent être utilisés pour éclairer la planification stratégique, en particulier chez les utilisateurs du gouvernement fédéral et du milieu universitaire.

La grande majorité des commentaires des utilisateurs actuels provenaient de chercheurs du gouvernement fédéral. Des employés des CDR ont fourni des renseignements supplémentaires qui ont permis de confirmer que les tendances relevées dans les évaluations existantes correspondent à celles des commentaires des utilisateurs des CDR (principalement les utilisateurs universitaires et les employés du gouvernement) Bien que ces évaluations soient représentatives des utilisateurs actuels des microdonnées, les évaluations futures des besoins des utilisateurs devraient être élargies pour englober un plus large éventail d'utilisateurs et déterminer les possibilités de projet et les partenaires éventuels.

Afin d'améliorer la compréhension des besoins des utilisateurs du LVD, l'équipe devra élargir ses consultations auprès d'eux, en vue d'inclure les administrations provinciales et territoriales, afin d'évaluer les besoins uniques de ces groupes d'utilisateurs potentiels, en conformité avec le résultat opérationnel prévu qui consiste à établir des partenariats nouveaux et améliorés avec d'autres ministères gouvernementaux. À plus long terme, la consultation d'organisations du secteur privé et de la société civile devrait fournir des renseignements supplémentaires sur les besoins des utilisateurs de ces groupes, conformément au résultat opérationnel à long terme qui est d'augmenter le nombre de chercheurs qui utilisent des données et des fichiers de microdonnées canadiens.

Nombre total d'utilisateurs consultés dans le cadre de toutes les évaluations, par type d'utilisateur
Type d'utilisateur Utilisateurs consultés, par évaluation
Cartes de parcours de l'EU de l'ADS Examen des risques internes Rétro-action de la SCHL Essai de convivialité du PAM Tous
Secteur privé 2 - - - 2
Administration fédérale 25 6 17 5 53
Administration provinciale 5 - - - 5
Secteur universitaire 5 - - - 5
Société civile 3 - - - 3
Total 68

Collectivement, les évaluations existantes sont suffisamment complètes pour englober toutes les dimensions du projet et correspondre aux résultats souhaités énoncés dans les documents de planification et de cadre du projet.

Un examen des évaluations existantes a permis de constater que le processus d'utilisation était traité efficacement. Des renseignements ont été recueillis sur les sept étapes, en commençant par la proposition et en terminant par le contrôle.

Figure 3 - Processus d'accès aux microdonnées de Statistique Canada, tendances dégagées en ce qui a trait aux utilisateurs
Processus d'accès aux microdonnées de Statistique Canada, tendances dégagées en ce qui a trait aux utilisateurs
Description de la Figure 3 - Processus d'accès aux microdonnées de Statistique Canada, tendances dégagées en ce qui a trait aux utilisateurs

La figure illustre le processus d'utilisation, du début à la fin :

  • proposition
  • demande
  • approbation de sécurité, CRM (contrat de recherche pour l'utilisation de microdonnées) et serment d'office
  • personne réputée être employée
  • formation et orientation
  • accès contrôlé
  • contrôle

Cinq tendances sont déterminées :

  • À l'étape de la proposition, les métadonnées et l'information sur les ensembles de données doivent être plus facilement disponibles et repérables.
  • À l'étape de la demande, le processus de demande devrait être plus convivial et comporter des normes et des échéances claires de prestation des services.
  • À l'étape de la formation et de l'orientation, la formation semble limitée à la sécurité, aux processus opérationnels et au contrôle. L'autoapprentissage est nécessaire dans une certaine mesure. En outre, du soutien virtuel et de la formation seront requis pour les utilisateurs à distance.
  • À l'étape de l'accès contrôlé, l'accès devrait être disponible à distance 24 heures sur 24, 7 jours sur 7. La collaboration avec d'autres chercheurs est essentielle. Il faut des outils de visualisation.
  • À l'étape du contrôle, ce dernier est « maladroit » et manque de clarté pour de nombreux chercheurs. Les procédures varient entre les employés et les règles ne sont pas uniformes pour tous les ensembles de données. Des processus et des normes plus clairs pourraient être mis en œuvre.

L'équipe d'évaluation a cerné des domaines du processus d'accès aux microdonnées où les tendances en matière de rétroaction des utilisateurs étaient constantes, notamment l'amélioration de la découvrabilité des données, la simplification du processus de proposition et la mise en œuvre d'outils et de mécanismes de soutien modernes et axés sur l'utilisateur, en vue de permettre la collaboration entre les chercheurs dans le cadre des projets de recherche et d'améliorer le processus de contrôle. Ces domaines clés ont été examinés plus à fond dans le cadre d'entrevues avec des spécialistes de l'équipe du LVD et de la DAD.

Pour ce qui est de l'harmonisation avec les résultats souhaités pour le LVD, il a été déterminé que les évaluations traitaient suffisamment de quatre résultats clés :

  • Améliorer l'EU lors de l'accès aux microdonnées anonymisées;
  • Tirer parti des nouvelles technologies, méthodes et données;
  • Appliquer des pratiques de gestion des risques (pour optimiser l'accessibilité des données avec des mesures de protection);
  • Accroître la collaboration et les partenariats entre les utilisateurs et les fournisseurs de données.
Figure 4  - Harmonisation des évaluations et des résultats du projet du Laboratoire virtuel de donnéesHarmonisation des évaluations et des résultats du projet du Laboratoire virtuel de données
Description de la Figure 4  - Harmonisation des évaluations et des résultats du projet du Laboratoire virtuel de données

La figure illustre comment les évaluations s'harmonisent avec les résultats du projet du laboratoire virtuel de données. Les quatre résultats attendus du projet sont les suivants : améliorer l'expérience des utilisateurs qui ont accès aux microdonnées; tirer parti des nouvelles technologies, méthodes et données; appliquer des pratiques de gestion des risques; accroître la collaboration et les partenariats. Il y a six évaluations : Essai de convivialité du PAM, recherche sur l'EU, rétroaction de la SCHL, essai pilote, analyse internationale, examen interne des risques.

Les résultats sont couverts par les évaluations comme suit :

  • Quatre évaluations portent sur l'amélioration de l'expérience utilisateur (EU) pour les utilisateurs qui ont accès aux microdonnées : Essai de convivialité du PAM, recherche sur l'EU, rétroaction de la SCHL, essai pilote
  • Cinq évaluations portent sur la mise à profit des nouvelles technologies, méthodes et données : Essai de convivialité du PAM, recherche sur l'EU, rétroaction de la SCHL, essai pilote, analyse internationale
  • Quatre évaluations portent sur l'application des pratiques de gestion des risques : Rétroaction de la SCHL, essai pilote, analyse internationale, examen interne des risques
  • Quatre évaluations portent sur l'accroissement de la collaboration et des partenariats : Recherche sur l'EU, rétroaction de la SCHL, essai pilote, examen interne des risques.
Résultats du projet du laboratoire virtuel de données
Résultat du LVD Constatations
Améliorer l'expérience utilisateur lors de l'accès aux microdonnées anonymisées
  1. La recherche sur l'EU a permis d'obtenir une rétroaction directe des utilisateurs sur l'ensemble du processus d'accès aux microdonnées, y compris la catégorisation des différents types d'utilisateurs et de leurs besoins selon la persona et la mise en correspondance des tâches, des besoins et des préoccupations propres à chaque groupe.
  2. Les commentaires de la SCHL ont fourni des renseignements contextuels sur l'EU des chercheurs et de PCRCA dans le premier emplacement du partenaire du projet pilote du LVD, y compris les processus opérationnels et de sécurité, la facilité d'accès et la TI.
  3. Les essais de convivialité du Portail d'accès aux microdonnées (PAM) ont permis de déterminer si la plateforme était facile à utiliser et intuitive.
  4. L'équipe du LVD a permis aux chercheurs de l'Agence de la santé publique du Canada, de Santé Canada et de Statistique Canada de mettre à l'essai l'interface fondée sur l'infonuagique avant sa mise en œuvre.
Tirer parti des nouvelles technologies, méthodes et données
  1. Une évaluation des conclusions de la recherche sur l'EU a été effectuée en collaboration avec les équipes des TI, de l'ADS et du LVD, afin de déterminer les solutions possibles provisoires et à long terme, dont de nombreuses dépendront de nouvelles plateformes (p. ex. l'ADS, Jupyter Hub), d'une infrastructure sécuritaire fondée sur l'infonuagique, des solutions relatives à la découvrabilité des données et de la promotion d'une culture d'entreprise ouverte et innovatrice.
  2. Une analyse internationale a fourni des renseignements sur les projets et les programmes d'accès aux microdonnées, afin de déterminer les pratiques exemplaires (y compris le cadre des cinq éléments de la sécurité et l'approche de partage des risques du Bureau australien de la statistique en vue de les intégrer dans le projet du LVD.
  3. Les recommandations découlant d'un examen exhaustif des risques internes comprenaient l'élaboration et la mise en œuvre d'un outil d'évaluation des capacités des organismes partenaires.
Appliquer des pratiques de gestion des risques (pour optimiser l'accessibilité des données avec des mesures de protection)
  1. Les évaluations menées en collaboration par la DAD, les TI et l'ADS ont permis de trouver des solutions (énoncés « comment pourrions-nous? ») pour optimiser l'EU, notamment l'optimisation de l'accessibilité des données.
  2. Un examen exhaustif des risques internes a permis de formuler des recommandations clés sur les processus opérationnels, la gestion des risques et les pratiques de sécurité.
  3. La partie sur la gestion des risques du plan de projet du LVD a permis d'évaluer les risques et de déterminer des stratégies d'atténuation ainsi que de cartographier les dépendances internes et externes à prendre en compte tout au long de l'élaboration du projet et la façon dont elles seront gérées.
  4. L'évaluation des facteurs relatifs à la vie privée a permis de mieux comprendre les considérations relatives à la vie privée et les risques connexes, qui serviront à éclairer les plans et les procédures de surveillance active.
Accroître la collaboration et les partenariats entre les utilisateurs et les fournisseurs de données
  1. Les évaluations effectuées par les équipes de la DAD, des TI et de l'ADS ont favorisé les pratiques de travail en collaboration et la responsabilisation partagée.
  2. La rétroaction de la SCHL a permis d'obtenir des commentaires de première main des utilisateurs d'un organisme partenaire, d'une PCRCA et du personnel de soutien, afin de trouver des solutions.
  3. L'équipe du LVD a continué de travailler avec les partenaires du portefeuille de la santé et de la BdC pour mener des consultations sur les besoins des utilisateurs, les exigences du système, la formation et le soutien.

Conception, exécution et mise en œuvre

Question d'évaluation

Dans quelle mesure les renseignements tirés des évaluations effectuées ont-ils été intégrés au projet du Laboratoire de données?

On a examiné si les constatations de toutes les évaluations ont été mises à profit pour éclairer la prise de décisions, la gestion de projet et la planification stratégique, y compris dans quelle mesure elles ont été intégrées dans l'élaboration d'outils et de processus pour le LVD. Les constatations et les recommandations de l'évaluation ont été intégrées dans une grande mesure aux plans du LVD.

Des évaluations de l'EU, de la protection des renseignements personnels et de la sécurité ont été mises à profit pour éclairer les stratégies et la planification. Toutefois, les délais d'exécution n'étaient pas toujours clairs.

L'évaluation a révélé que les membres de l'équipe du LVD — et la DAD en général — ont déployé des efforts considérables pour consulter les utilisateurs et mettre à l'essai les produits avant leur mise en œuvre. Les évaluations des besoins des utilisateurs et la recherche sur l'EU ont été mises à profit pour élaborer les exigences opérationnelles du nouveau PAM et du nouveau Système de gestion des relations avec les clients (SGRC). Au cours des étapes de planification, l'équipe du LVD a aussi procédé à une analyse internationale, afin de déterminer les pratiques exemplaires qui pourraient être exploitées pour le projet, ses services et son cadre.

En se fondant sur les évaluations de l'EU et les discussions avec les spécialistes des CDR, l'équipe chargée de l'évaluation a été en mesure de dégager des tendances récurrentes dans la rétroaction des utilisateurs tout au long du processus d'accès aux microdonnées. Celles-ci sont décrites plus en détail ci-dessous, y compris les solutions prévues et proposées.

Besoins des utilisateurs cernés et solutions planifiées ou proposées
Processus d'accès aux microdonnées Problème d'utilisateur Solution prévue ou proposée
Proposition relative à la découvrabilité des données Les chercheurs ont indiqué avoir de la difficulté à déterminer les ensembles de données à demander ainsi que les variables disponibles dans chacun. L'amélioration de la découvrabilité et de la disponibilité des métadonnées et des documents, comme les dictionnaires de données, les livres des codes et les listes de variables, faciliterait le processus de proposition pour les utilisateurs, car elle pourrait être utile pour éclairer la rédaction de propositions et élaborer des plans de recherche. L'équipe du LVD travaille en collaboration avec des partenaires clés comme l'ADS, les TI, les Services intégrés, d'autres unités de la DAD et le Réseau canadien des centres de données de recherche, en vue de mettre en œuvre un outil de découvrabilité des données. Ce processus a été retardé en raison de l'acquisition du SGRC, qui servira de programme administratif d'arrière-plan du PAM. La fonction de découvrabilité des données a été incluse comme exigence opérationnelle pour l'élaboration du PAM et du SGRC. Entre-temps, la DAD travaille avec les secteurs spécialisés pour inclure des variables dans les descriptions des ensembles de données disponibles dans la Base de métadonnées intégrée. Les échéanciers d'un outil de découvrabilité des données pleinement fonctionnel n'ont pas été déterminés, mais on considère ce projet comme étant à plus long terme.
Demande

Les utilisateurs ont souligné que le processus de demande pourrait être rendu plus accessible, grâce à des directives claires et à des échéanciers définis pour les normes de service, grâce auxquels ils pourraient mieux planifier leurs recherches.

Le processus de demande d'accès aux microdonnées devrait être simplifié ou automatisé, dans la mesure du possible, afin de réduire les temps d'attente et de limiter les processus redondants ou inutiles qui peuvent grever les ressources.

Le PAM (interface utilisateur) est en cours d'élaboration, afin d'inclure des spécifications, comme l'inscription d'un compte, la modification de l'information, le téléchargement de documents, la demande de cote d'accès à l'OCC et l'attribution de cette cote, la participation à un projet ou l'invitation des utilisateurs de l'équipe ainsi que l'enregistrement de l'information de façon sécuritaire. Le PAM est actuellement utilisé pour les demandes des chercheurs, mais il sera élargi pour englober d'autres aspects du processus d'accès aux microdonnées. Le PAM a d'abord fait l'objet d'une mise à l'essai par les utilisateurs et d'une mise à jour avant sa mise en œuvre.

Les échéanciers pour le PAM définitif n'ont pas été déterminés.

Formation La formation se limite à la sécurité, aux processus opérationnels et au contrôle, l'autoapprentissage étant nécessaire. Des modules de soutien virtuel et de formation seraient utiles, surtout lorsque les utilisateurs travaillent exclusivement à partir de la plateforme fondée sur l'infonuagique.

Les modules de formation et d'orientation seraient administrés dans le cadre du PAM et répétés à des fréquences précises pour veiller à ce que les utilisateurs soient avisés et au courant des processus et des politiques.

Au cours des discussions, on a déterminé que les échéanciers pour cette composante du PAM étaient de court à moyen terme.

Accès contrôlé

L'EU pourrait être améliorée par la mise en œuvre d'un « guichet unique » (comportant un ensemble de justificatifs d'identité, des modules de formation virtuelle, des rappels de projet et de sécurité et un espace de collaboration pour les chercheurs).

L'accès devrait également être disponible à distance 24 heures sur 24, 7 jours sur 7.

L'équipe du LVD (DAD) prévoit d'utiliser le PAM pour gérer les processus administratifs, y compris la proposition, les droits, la formation, le soutien et le contrôle (actuellement limité au processus de proposition). Une fonction supplémentaire prévue du PAM donne accès à l'interface du LVD. La mise en œuvre complète du PAM dépend d'un nouveau SGRC qui appuiera le LVD pour la gestion des processus d'utilisation, ainsi que pour l'extraction des données des IRC.

L'interface fondée sur l'infonuagique fournira un point d'accès centralisé aux données et pourrait éventuellement comprendre un espace de collaboration pour les chercheurs, mais il faudra pour cela examiner la Politique sur l'accès aux microdonnées.

Dans le cadre du virage prévu vers l'accès aux données fondé sur l'infonuagique, les utilisateurs pourraient également accéder aux données à distance à partir de leur appareil personnel, sous réserve de la cote de l'OCC de l'ensemble de données pour lequel ils ont obtenu l'accès. Lorsque les données sont jugées très sensibles, les chercheurs qui doivent y accéder à partir d'une installation sécurisée ou d'un bureau fermé approuvé devraient suivre le protocole d'accès de sécurité (heures d'ouverture) de leur organisation respective.

Aucun échéancier n'a été établi pour l'utilisation des appareils personnels.

Contrôle Les utilisateurs ont décrit le processus de contrôle comme étant maladroit et imprécis ou incohérent par ailleurs. Les procédures varient d'un employé à l'autre et les règles ne sont pas toujours les mêmes pour tous les ensembles de données. Le processus de contrôle devrait être simplifié ou automatisé, dans la mesure du possible, afin de réduire les incohérences et de faciliter la compréhension entre les utilisateurs, en particulier pour normaliser la formation et les approches, et afin de soutenir les utilisateurs au moyen des règles et du processus de contrôle.

La DAD étudie actuellement les outils et les programmes disponibles pour simplifier ce processus. Elle examine un système mis au point par une autre administration qui, bien que limitée dans sa capacité de contrôler la plupart des sorties du LVD, pourrait servir de base à un développement plus poussé.

On envisage d'inclure le contrôle dans les modules de formation sur le PAM, afin d'accroître l'uniformité.

Les échéanciers pour l'amélioration des processus de contrôle n'ont pas été formulés, mais ils semblent être à long terme (un à deux ans ou plus).

Dans l'ensemble, l'évaluation a permis de constater que l'équipe du LVD a travaillé en collaboration avec celle de l'ADS pour dégager des tendances en matière d'EU et des solutions possibles (énoncés « comment pourrions-nous? »). Bien que ces énoncés aient été utiles pour présenter les solutions possibles, ils n'ont pas été inclus dans la planification du projet, et aucun échéancier n'a été établi pour leur intégration. Une autre possibilité d'amélioration de l'expérience utilisateur pourrait découler des leçons apprises au cours des premiers mois de la mise en œuvre du projet, surtout à mesure que de nouveaux partenaires sont intégrés.

Enfin, en raison de la nature complexe et intégrée du projet, les échéanciers dépendent fortement d'autres secteurs de l'organisme. Certaines activités liées au PAM et aux services fondés sur l'infonuagique devraient avoir lieu à court terme, tandis que d'autres ont été repoussées aux itérations futures du projet. Le calendrier de ces activités et des points faisant l'objet de pressions n'était généralement pas clair.

La DAD a effectué une analyse à l'échelle internationale des ONS dotés de capacités et de programmes semblables, afin de déterminer les pratiques exemplaires et d'évaluer les offres de programmes similaires dans le monde.

L'approche adoptée par l'équipe du LVD a été élaborée grâce à une analyse ponctuelle internationale des offres similaires parmi d'autres ONS. L'utilisation du cadre des cinq éléments de la sécurité est issue de cette analyse. Les meilleures pratiques des ONS en Australie, au Danemark, en Finlande, en France, en Allemagne, en Suède et au Royaume-Uni ont été évaluées lors de l'élaboration du format possible du LVD, et les services de ce dernier sont désormais conformes aux meilleures pratiques internationales.

Il serait avantageux pour l'équipe du LVD d'établir un réseau international de spécialistes de l'accès aux microdonnées pour mettre en commun les pratiques exemplaires de façon proactive, afin de remplacer les analyses internationales ponctuelles qui pourraient laisser de côté des éléments importants. De cette façon, l'équipe du LVD demeurerait informée des approches nouvelles et novatrices en matière d'accès aux microdonnées qui pourraient être utilisées ou adoptées.

Question d'évaluation

Dans quelle mesure les cadres de mesure du rendement et d'évaluation des risques ont-ils été mis en œuvre?

Des indicateurs de rendement ont été formulés et les travaux visant à les améliorer se poursuivent.

Des membres de l'équipe du LVD ont souligné que, bien que le cadre et les indicateurs de mesure du rendement soient décrits dans l'analyse de rentabilisation et le plan de projet, ils devraient être considérés comme préliminaires (voir l'annexe B). Au moment de l'évaluation, la DAD devait commencer à travailler avec des spécialistes internes de la mesure du rendement pour élaborer des indicateurs de rendement pour les divisions. On ne sait pas trop si cela comprendrait des IRC supplémentaires pour le projet du LVD. L'équipe du LVD pourrait travailler de façon proactive avec d'autres équipes de projet de la DAD pour déterminer les IRC qui équilibrent les résultats au niveau des divisions, tout en surveillant les progrès du projet du LVD. Pour ce qui est de la surveillance, il y avait peu d'indications que l'on surveillait régulièrement les progrès par rapport aux indicateurs du plan de projet.

Un cadre de gestion des risques existe et une gestion active des risques est assurée. Une planification prévoyant diverses éventualités et une clarification des responsabilités seraient utiles.

Un examen exhaustif du processus opérationnel et du cadre de gestion des risques a été effectué en 2019, et la documentation et des rapports sur les risques sont produits régulièrement grâce au Cadre de gestion des projets de l'organisme. Les membres de l'équipe du LVD ont fait remarquer qu'ils adopteront une approche itérative pour modifier les risques et les stratégies d'atténuation ou de réponse proposées, à mesure que des changements surviendront au sein du projet et qu'ils apprendront des partenaires et des utilisateurs, bien qu'aucune documentation officielle n'ait été fournie.

La gestion des risques comprend une planification efficace prévoyant diverses éventualités dans le cadre de l'élaboration des mesures d'atténuation. L'évaluation a révélé que la formulation des plans pour éventualités pourrait être améliorée. Parmi les exemples où de tels plans seraient avantageux, mentionnons les processus de proposition et de contrôle (annexe E). Par exemple, les changements apportés au processus de proposition dépendent dans une large mesure d'un nouveau SGRC et d'un nouveau PAM. Toutefois, aucun plan pour éventualités n'a été établi dans le cas où l'un de ces éléments serait retardé ou ne répondrait pas aux exigences. Pour ce qui est du processus de contrôle, une procédure opérationnelle normalisée pourrait être établie à court terme, afin d'améliorer l'uniformité et la clarté.

Enfin, l'évaluation a révélé qu'une clarification des responsabilités serait utile, ce qui est particulièrement important compte tenu de la complexité du projet et de la forte dépendance à l'égard des partenaires. En particulier, on souligne que, bien qu'il y ait une différence entre ce qui était considéré comme une responsabilité du projet du LVD et comme une responsabilité de la DAD, il était difficile de préciser la façon dont les choses devaient être communiquées et le moment approprié pour le faire, la personne qui prenait les décisions en fin de compte, et la façon dont le travail serait réparti.

Mesures du rendement et gestion des risques

  • La DAD et l'équipe du LVD doivent travailler avec les spécialistes internes de la mesure du rendement pour élaborer et mettre en œuvre un modèle logique.
  • Dans le cadre des évaluations existantes, un examen exhaustif des procédures et des processus de sécurité du CFDRv a été mené.
  • Des mesures et des rapports axés sur le service ont été désignés comme obligatoire et comme une exigence opérationnelle très prioritaire pour un nouveau SGRC.
  • La DAD adoptera une approche adaptée pour modifier les politiques et les directives au fur et à mesure des besoins. Cela comprend la modification du cadre de gestion des risques, afin de rendre compte des risques de la transition à l'accès à distance.

Façons d'améliorer le programme

Recommandation 1

Le statisticien en chef adjoint du Secteur de l'engagement stratégique (secteur 4) devrait s'assurer qu'en raison du niveau de complexité et de la dépendance à l'égard d'autres parties de l'organisme, des éventualités et des échéanciers plus clairs soient définis pour les activités.

Recommandation 2

Le statisticien en chef adjoint du Secteur de l'engagement stratégique (secteur 4) devrait veiller à ce que des mécanismes de gouvernance soient en place pour gérer efficacement les activités horizontales de façon holistique, y compris l'établissement de manière claire des rôles et des responsabilités et en les comprenant.

Réponse et plan d'action de la direction

Recommandation 1

Le statisticien en chef adjoint du Secteur de l'engagement stratégique (secteur 4) devrait s'assurer qu'en raison du niveau de complexité et de la dépendance à l'égard d'autres parties de l'organisme, des éventualités et des échéanciers plus clairs soient définis pour les activités.

Réponse de la direction

La direction accepte la recommandation.

Le projet du LVD maintiendra des plans, des calendriers et des plans d'urgence évolutifs. Un processus de suivi amélioré sera mis en œuvre pour veiller à ce que les plans, les calendriers, et la définition des risques et des incertitudes pour les activités et les produits livrables du projet de LVD soient complets, continuellement mis à jour et examinés régulièrement avec les fournisseurs de services. Des rapports sur ces éléments seront préparés à l'aide d'outils du Cadre de gestion des projets de l'organisme, notamment le tableau de bord mensuel et le rapport mensuel sur les interdépendances, afin de veiller à ce que des échéanciers clairs soient définis pour l'ensemble de l'organisme.

En collaboration avec les partenaires de service, le projet du LVD continuera de faire rapport aux comités (comme le Comité de gestion stratégique [CGS]) afin que les interdépendances, les risques, les incertitudes et les enjeux soient partagés et abordés avec d'autres parties de l'organisme.

Produits livrables et échéancier

Le statisticien en chef adjoint, Engagement stratégique (secteur 4), assurera la livraison des produits suivants :

  • Un processus de suivi amélioré pour les plans, les calendriers, les risques et les incertitudes. (Juillet 2021 – directeur général [DG], Direction de l'accès aux données et de la diffusion)

Recommandation 2

Le statisticien en chef adjoint du Secteur de l'engagement stratégique (secteur 4) devrait veiller à ce que des mécanismes de gouvernance soient en place pour gérer efficacement les activités horizontales de façon holistique, y compris l'établissement de manière claire des rôles et des responsabilités et en les comprenant.

Réponse de la direction

La direction accepte la recommandation.

La structure et les processus de gouvernance actuels du LVD pour la production régulière de rapports sur les progrès, la planification des activités à venir, l'examen des rôles et des responsabilités et l'évaluation des risques seront officialisés pour veiller à ce qu'ils soient complets et menés selon une approche horizontale et globale; la structure mise à jour sera présentée à un comité de la haute direction comme le CGS. Le projet du LVD fera régulièrement état des progrès réalisés grâce à des mécanismes de gouvernance et de surveillance afin de s'assurer que les problèmes sont traités de façon uniforme, efficace et globale.

Le projet du LVD continuera de participer à un certain nombre de groupes de travail et de comités multidivisionnaires où les activités horizontales peuvent être discutées. En collaboration avec les partenaires de service, un examen complet des rôles et responsabilités pour toutes les activités clés restantes sera entrepris. Les constatations seront communiquées à des comités de la haute direction comme le CGS, où les changements peuvent être approuvés. L'efficacité des rôles et des responsabilités redéfinis sera évaluée dans le cadre des projets pilotes, et des ententes sur les niveaux de service fondées sur les résultats seront préparées avant le lancement du LVD en production.

Produits livrables et échéancier

Le statisticien en chef adjoint, Engagement stratégique (secteur 4), assurera la livraison des produits suivants :

  1. Une structure et des processus de gouvernance officiels pour le processus du LVD. (Juin 2021 – DG, Direction de l'accès aux données et de la diffusion)
  2. Un examen complet des rôles et responsabilités pour le projet du LVD. (Juillet 2021 - DG, Direction de l'accès aux données et de la diffusion)
  3. Des ententes sur les niveaux de service préparées. (Octobre 2021 – DG, Direction de l'accès aux données et de la diffusion)

Annexe A - Types d'évaluation

Types d'évaluation
Description - Types d'évaluation

La figure illustre trois types d’évaluations mises en correspondance avec le cycle de vie d’un programme, qui comprend quatre étapes (planification, mise en œuvre, maturité et disparition progressive/fin).

  • Des évaluations formatives sont menées pendant la mise en œuvre d'un programme, afin de recueillir des points de vue sur la façon d'améliorer ou de renforcer le processus. Des évaluations de processus sont également menées en même temps. Elles visent à recueillir des données pour comprendre ce qui se produit dans les faits dans un programme, et si les destinataires des services visés reçoivent ou recevront les services dont ils ont besoin.
  • Des évaluations sommatives sont menées vers la fin du cycle du programme et visent à démontrer si le programme a atteint ou non les résultats escomptés et à déterminer si le programme devrait être poursuivi, repris ou réduit.
  • Les évaluations de l'incidence (ou les évaluations des résultats) servent à recueillir et analyser des données pour montrer les effets ultimes et à plus long terme d'un programme. Les évaluations de l'incidence permettent de déterminer les effets de causalité, notamment de mesurer si le programme a atteint ses résultats prévus.

Annexe B - Analyse de rentabilisation du Laboratoire virtuel de données

Contexte historique de ce projet

En 2017, Statistique Canada a élaboré une vision de la modernisation, qui comprenait un élargissement de l'accès aux microdonnées sociales et aux microdonnées sur les entreprises ainsi qu'aux données administratives. L'orientation approuvée consiste à élaborer de nouvelles façons d'accéder aux microdonnées (p. ex. virtuellement), à moderniser les outils existants qui appuient l'accès aux microdonnées et à rendre plus de types de données accessibles aux utilisateurs.

En modernisant notre accès aux microdonnées, ce projet prévoit :

  • d'améliorer l'EU lors de l'accès aux microdonnées anonymisées;
  • de tirer parti des nouvelles technologies, méthodes et données;
  • d'appliquer des pratiques de gestion des risques (pour optimiser l'accessibilité des données avec des mesures de protection);
  • d'accroître la collaboration et les partenariats entre les utilisateurs et les fournisseurs de données;
  • de renforcer la capacité d'analyse et de recherche;
  • d'appuyer la prise de décision fondée sur des données probantes.

Contexte opérationnel global dans lequel s'inscrit le projet

Les milieux de la recherche ont exprimé le besoin d'un meilleur accès aux fonds de données de Statistique Canada. À mesure que nous améliorons l'accès aux données, nous :

  • améliorons l'expérience des utilisateurs lorsqu'ils travaillent avec des microdonnées anonymisées;
  • maîtrisons de nouvelles technologies;
  • modifions la culture en ce qui concerne nos mesures de gestion des risques, réduisons les obstacles et réexaminons la façon dont nous pouvons partager les risques avec nos partenaires;
  • augmentons nos efforts de collaboration et nos capacités d'analyse et de recherche;
  • fournissons plus de types de données et des ensembles de données plus intégrés aux chercheurs et aux décideurs et permettons une prise de décisions et une élaboration de politiques plus solides fondées sur des données probantes.

Pour accroître l'accès aux données, nos objectifs sont les suivants :

  • faciliter leur utilisation pour la recherche et l'analyse de pointe à l'échelle du pays;
  • stimuler l'innovation et l'inclusion;
  • appuyer la prise de décisions et l'élaboration de politiques fondées sur des données probantes;
  • accroître la mobilisation des données à l'échelle du gouvernement fédéral en faisant appel à l'expertise et à la capacité de Statistique Canada.

Facteurs qui ont déclenché le changement

En raison des progrès technologiques, les programmes d'accès actuels ne répondent plus aux besoins des chercheurs. Les outils existants deviennent désuets et doivent être modernisés. Nos systèmes de métadonnées doivent également être renforcés et modernisés.

Annexe C - Indicateurs de résultats opérationnels et méthode de mesure du rendement

Indicateurs de résultats opérationnels et méthode de mesure du rendement
Titre du résultat opérationnel Indicateur Base de référence Cible Échéancier Méthode de mesures du rendement Responsabilité
Augmentation du nombre de chercheurs qui utilisent des données et des fichiers de microdonnées canadiens Nombre de chercheurs et de fonctionnaires qui accèdent aux microdonnées virtuellement 1 000 par année dans les centres de données de recherche (CDR) et dans les centres fédéraux de données de recherche (CFDR); 100 au Centre canadien d'élaboration de données et de recherche économique Augmentation graduelle pour répondre à la demande 31-03-2021 Méthodes de suivi, rapports de contrôle, courriels de notification, rétroaction Division de l'accès aux données (DAD)
Nouveaux ensembles de microdonnées mis à la disposition des chercheurs Augmentation des fonds de données   Accroître les données sur les entreprises dans les CDR et les CFDR 2021   DAD
Partenariats nouveaux et accrus en matière de données avec d'autres ministères Augmentation des fonds de données   Augmenter le nombre de fonds de 100 % 31-03-2021   DAD
Intégration plus rapide des chercheurs au Laboratoire virtuel de données (LVD) Nombre de jours de traitement   Une semaine Six mois après la création du LVD Méthodes de suivi DAD
Rendement accru du système entourant l'extraction et l'exportation des données Délai de traitement, commentaires des utilisateurs sur les performances du système Variable fondée sur la portée du projet de recherche de chercheurs   Mars 2021 Méthodes de suivi, rétroaction DAD
Accessibilité accrue aux données Nombre de fichiers de données accessibles     Mars 2021   DAD
Augmentation de la satisfaction des clients Pourcentage d'augmentation de la satisfaction des utilisateurs mesuré grâce à un sondage auprès des clients     Mars 2021   DAD

Annexe D - Initiative de modernisation de Statistique Canada

La vision : Une société et une économie axées sur les données

La modernisation de la culture en milieu de travail de Statistique Canada et son approche relativement à la collecte et à la production de statistiques permettra un accès amélioré et plus rapide aux produits statistiques dont les Canadiens ont besoin. Plus précisément, l'initiative et les projets qui en découlent :

  • Permettront d'obtenir des statistiques plus pertinentes et actuelles, de sorte à nous assurer que les Canadiens ont accès aux données dont ils ont besoin, lorsqu'ils en ont besoin!
  • Assureront un leadership en matière d'intendance des données du gouvernement du Canada : en améliorant et en renforçant l'harmonisation et la collaboration avec les homologues de tous les ordres de gouvernement ainsi qu'avec le secteur privé et les organismes de réglementation pour créer une approche pangouvernementale intégrée en matière de collecte, de partage, d'analyse et d'utilisation des données.
  • Permettront de sensibiliser le public aux données de Statistique Canada et d'offrir un accès continu à ces données.
  • Permettront d'élaborer et de diffuser des statistiques plus détaillées afin de s'assurer que les Canadiens disposent des renseignements dont ils ont besoin pour prendre les meilleures  décisions possibles.

Les piliers

Prestation de services axés sur l'utilisateur

  • Les utilisateurs disposent des renseignements et des données dont ils ont besoin, lorsqu'ils en ont besoin, et de la manière dont ils souhaitent y accéder. Ils ont également les outils et les connaissances nécessaires pour en tirer pleinement parti.
  • L'accent mis sur les utilisateurs fait partie intégrante de la culture de Statistique Canada.

Méthodes et intégration de données à la fine pointe de la technologie

  • L'accès à de nouvelles données ou à des données inexploitées modifie le rôle des enquêtes.
  • On a davantage recours à la capacité de modélisation et d'intégration au moyen de l'environnement de recherche et développement.

Renforcement des capacités statistiques et leadership

  • Approche pangouvernementale intégrée en matière de collecte, de partage, d'analyse et d'utilisation des données.
  • Statistique Canada est le chef de file au chapitre de la détermination, du renforcement et de la promotion de renseignements utiles et de compétences analytiques essentielles au-delà de notre périmètre.

Partage et collaboration

  • Les programmes et les services sont exécutés selon une approche coordonnée avec les partenaires et les intervenants.
  • Les partenariats permettent un partage ouvert de données, d'expertise et de pratiques exemplaires.
  • Les obstacles à l'accès aux données sont supprimés.

Effectif moderne et milieu de travail flexible

  • L'organisation est agile et souple et s'adapte aux besoins des clients.
  • On dispose des talents et de l'environnement requis en vue de répondre à nos besoins opérationnels actuels et on fait preuve d'ouverture et de souplesse afin de continuer à nous préparer pour l'avenir.

Résultat attendu

Activités modernes et souples : Coûts réduits pour l'industrie, processus internes simplifiés et efficacité et soutien améliorés pour les activités nouvelles et existantes.

Annexe E - Plans pour éventualités

  • Processus proposé : Les énoncés « comment pourrions-nous? » de l'Analyse des données en tant que service (élaborés en collaboration avec l'équipe du Laboratoire virtuel de données [LVD]) et les spécialistes des centres de données de recherche (CDR) ont permis de déterminer qu'il s'agissait d'un défi que devraient surmonter les utilisateurs du LVD. Ce sentiment a trouvé écho dans les indicateurs de résultats opérationnels du plan de projet du LVD, selon lesquels le projet devrait faciliter une intégration plus rapide et plus opportune des chercheurs au LVD (un objectif d'une semaine d'intégration dans les six premiers mois du LVD).
    • Bien que le processus de proposition en soi ait été considéré comme un défi, la découvrabilité des données et les variables incluses dans les fichiers auxquels les chercheurs cherchent à accéder ont également été considérées comme un obstacle à l'élaboration d'une proposition. Bien que ce défi ait été en partie résolu grâce à la collaboration avec les secteurs spécialisés (y compris les variables de la Base de métadonnées intégrée), les plans pour éventualités pour la prestation de ce service n'ont pas été déterminés. Les améliorations de la découvrabilité des données dépendent de l'acquisition d'un nouveau Système de gestion des relations avec les clients qui comprend ces capacités, pour laquelle il n'y avait pas d'échéance claire. Aucune stratégie secondaire n'a été définie.
    • De nombreux défis administratifs liés au processus de proposition doivent être surmontés par la mise en œuvre du Portail d'accès aux microdonnées. Toutefois, aucun plan pour éventualités n'a été établi en cas de retard d'exécution ou de modification des spécifications.
    • Le plan de projet décrit un processus d'intégration prévu d'une semaine par utilisateur, mais le suivi des progrès réalisés à l'égard de cet indicateur et d'autres indicateurs opérationnels n'a pas été déterminé. Il serait avantageux de commencer à surveiller les indicateurs énoncés dans le plan de projet, afin de redéfinir les priorités et de clarifier les échéanciers du projet et les résultats escomptés.
  • Processus de contrôle : L'analyse de rentabilisation du LVD laissait supposer que le LVD accordera aux chercheurs et au personnel administratif l'accès à divers outils modernes, comme un logiciel d'analyse, des outils de visualisation et de gestion des relations avec les clients qui comporteront les mesures de contrôle de surveillance et les procédures de contrôle appropriées. Tout comme pour le processus proposé, les utilisateurs ont fait état de défis que pose le processus de contrôle existant. Cette rétroaction était cohérente dans l'ensemble du Réseau canadien des centres de données de recherche, mais elle a également été incluse dans la rétroaction initiale reçue des chercheurs de la Société canadienne d'hypothèques et de logement au sujet du projet pilote du LVD.
    • Le processus de contrôle actuel n'a pas été considéré comme une priorité à court terme. On fait remarquer que le processus pourrait être amélioré par la mise en œuvre d'outils de contrôle automatisés ou intégrés (p. ex. l'application Output Checker Workflow, qui était en cours d'analyse au moment de l'évaluation). À court terme, l'équipe du LVD pourrait travailler avec d'autres secteurs de la Division de l'accès aux données pour mettre en œuvre une procédure opérationnelle normalisée, afin d'améliorer, au strict minimum, l'uniformité et la clarté de la formation sur le contrôle.
Date de modification :