Publications

    Statistique Canada : Lignes directrices concernant la qualité

    Introduction

    Les principes de l'assurance-qualité à Statistique Canada
    But et portée des lignes directrices
    Bibliographie

    L'information statistique est essentielle au fonctionnement des démocraties modernes. L'absence de données de qualité mettrait gravement en péril les processus décisionnels, la répartition de milliards de dollars en ressources et la capacité des gouvernements, des entreprises, des établissements et du grand public de comprendre la réalité sociale et économique du pays. Un organisme statistique national comme Statistique Canada joue un rôle crucial dans la production et la diffusion de renseignements statistiques.

    La crédibilité d'un organisme statistique dans ses efforts pour s'acquitter de ce rôle clé repose sur les piliers suivants : la production de renseignements statistiques de grande qualité, un bon rapport coût-efficacité, la protection des renseignements personnels, la confidentialité et le maintien en poste d'un effectif très compétent et motivé.

    La qualité et, plus particulièrement, la pertinence de l'information qu'il produit revêtent une importance fondamentale pour l'organisme statistique. Si ce dernier est incapable de produire des données de grande qualité, les utilisateurs comme les fournisseurs perdraient vite confiance en l'organisme, rendant sa mission impossible à réaliser. Cette section, qui se veut une introduction aux lignes directrices à suivre en la matière, présente les principes de l'assurance-qualité appliqués à Statistique Canada.

    Les principes de l'assurance-qualité à Statistique Canada

    La structure de gestion, les politiques et les lignes directrices, les mécanismes de consultation, l'approche de réalisation et de gestion des projets et l'environnement du Bureau ont été mis en place pour faciliter et assurer une gestion efficace de la qualité. Le Cadre d'assurance de la qualité de Statistique Canada (Statistique Canada, 2002c) décrit les mécanismes fondamentaux de la gestion de la qualité.

    Ce cadre est constitué d'un large éventail de mécanismes et de processus qui influent sur divers niveaux des programmes du Bureau et à l'échelle de l'organisme. L'efficacité de ce cadre ne dépend pas d'un seul processus ou mécanisme, mais bien de l'effet combiné de nombreuses mesures interdépendantes qui s'appuient sur les intérêts professionnels et la motivation du personnel et qui se renforcent mutuellement avec comme objectif la satisfaction des besoins des clients. Ces mesures mettent l'accent sur le professionnalisme du Bureau et illustrent le souci rattaché à la qualité des données. Un des traits dominants de cette stratégie est la synergie attribuable au fait que les nombreux intervenants des programmes du Bureau travaillent dans un cadre où on privilégie la cohérence des processus et l'uniformité des messages. Les Lignes directrices concernant la qualité, qui s'inscrivent à l'intérieur de ce cadre, offrent un document d'accompagnement dans lequel sont décrites les pratiques exemplaires jalonnant toutes les « étapes » d'un programme statistique. Elles sont destinées aux membres de l'équipe de projet chargés de l'élaboration et de la mise en œuvre des programmes statistiques.

    Huit principes directeurs orientent l'ensemble de ces mécanismes, processus et pratiques.

    I. La qualité est relative, et non un absolu

    Une des caractéristiques importantes de la gestion de la qualité est l'atteinte d'un équilibre entre les objectifs de qualité et les contraintes des ressources financières et humaines, la volonté des répondants de fournir les données de base et les demandes concurrentes pour une plus grande quantité de renseignements plus détaillés. La gestion de la qualité ne signifie pas l'optimisation de la qualité à tout prix, mais l'atteinte d'un juste équilibre entre la quantité et la qualité de l'information produite par les programmes du Bureau et les ressources disponibles. Dans chacun des programmes, le défi consiste à faire des compromis judicieux entre les besoins changeants des clients, les coûts, le fardeau des répondants et les divers éléments ou dimensions de la qualité.

    Les données statistiques tirent leur importance des fins auxquelles elles sont destinées. Il s'en suit que les données statistiques ne peuvent être utiles que si elles sont pertinentes et qu'elles représentent adéquatement le monde qu'elle cherche à décrire. Ce concept, adopté par de nombreux organismes statistiques, est désigné sous l'expression « adaptation à l'utilisation » ou le terme « adéquation ». Il suppose de la part de l'organisme statistique une connaissance approfondie des fins auxquelles sont destinées les données, d'où la nécessité d'entretenir des liens constants avec les utilisateurs.

    Suivre ce principe, c'est reconnaître que la qualité « parfaite » n'est ni souhaitable ni accessible – en fait, elle est même rarement possible. Les données sont sujettes à de fréquentes erreurs, à l'échantillonnage et à d'autres étapes, et il revient à l'organisme statistique d'atteindre un équilibre entre différents facteurs, tels l'exactitude, le coût et le fardeau du répondant, lors de l'élaboration d'un programme statistique. L'objectif ne consiste pas à réduire l'erreur en soi; chaque programme statistique doit être conçu dans les limites de ce qui est faisable, en tenant compte de l'importance que revêtent les données pour les utilisateurs.

    Statistique Canada s'efforce d'intégrer à tous ses programmes et produits les principe de pertinence et de qualité. La qualité de ses statistiques officielles repose sur l'emploi de méthodes scientifiques éprouvées et adaptées progressivement aux besoins changeants des clients, à la réalité en évolution que le Bureau tente de mesurer et à la capacité ou la volonté des répondants de fournir des données fiables et actuelles. Les présentes Lignes directrices concernant la qualité sont un des outils qui aideront le Bureau à intégrer la qualité à la conception de chacun des programmes.

    II. La qualité est multidimensionnelle

    Ces vingt dernières années, les organismes statistiques sont parvenus à un consensus : la « qualité » de l'information statistique est multidimensionnelle. Statistique Canada définit la qualité en fonction de six aspects, et d'autres organismes statistiques se sont dotés de cadres similaires. Bien que les définitions établies varient légèrement, elles mettent toutes en relief le fait qu'il n'existe pas de mesure unique de la qualité des données.

    À Statistique Canada, les différents aspects de la qualité se définissent comme suit :
    La pertinence de l'information statistique reflète la mesure dans laquelle cette information répond aux besoins réels des clients. C'est en examinant cet élément qu'on détermine si l'information disponible permet de mieux comprendre les enjeux qui sont importants pour les utilisateurs. Aussi la pertinence apparaît-elle comme l'aspect le plus important de la qualité, si bien qu'on pourrait la considérer comme l'un des piliers de l'organisme statistique. Cet aspect relève du domaine des utilisateurs de l'information : il ne peut être déterminé par l'organisme statistique lui-même. Par comparaison, les autres aspects de la qualité sont davantage du ressort de l'organisme statistique.

    L'exactitude de l'information statistique est la mesure dans laquelle l'information décrit correctement le phénomène qu'elle devait évaluer. Généralement, elle est caractérisée par l'erreur dans les estimations statistiques et est décomposée en composantes de biais (erreur systématique) et de variance (erreur aléatoire). L'exactitude peut également être décrite en fonction des sources d'erreur majeures qui peuvent mener à l'inexactitude (p. ex., couverture, échantillonnage, nonréponse, réponse).

    L'actualité de l'information statistique renvoie à l'intervalle entre le point de référence (ou la fin de la période de référence) auquel se rapporte l'information et la date à laquelle l'information est diffusée. Habituellement, l'actualité se trouve en relation d'équilibre avec l'exactitude. L'actualité de l'information influera sur sa pertinence.

    L'accessibilité de l'information statistique renvoie à la facilité avec laquelle on peut obtenir l'information auprès du Bureau. Cela comprend la facilité avec laquelle on peut certifier l'existence de l'information, ainsi que l'à-propos de la forme ou du médium par le biais duquel on peut accéder à l'information. En outre, le coût de l'information peut représenter un facteur d'accessibilité pour certains utilisateurs.

    L'intelligibilité de l'information statistique reflète la disponibilité de l'information et des métadonnées supplémentaires nécessaires à l'interprétation et à l'utilisation appropriées des renseignements. Normalement, cette information comprend les variables, les classifications et les concepts sous-jacents utilisés, la méthode de collecte des données et le traitement, ainsi que les indications ou les mesures de l'exactitude de l'information statistique.

    La cohérence reflète la mesure dans laquelle on peut réussir à regrouper cette information avec d'autres renseignements statistiques dans un cadre analytique général et au fil du temps. L'utilisation de classifications, des populations cibles et de concepts normalisés favorise la cohérence, tout comme l'utilisation d'une méthode commune d'une enquête à l'autre. La cohérence ne sous-tend pas nécessairement l'uniformisation numérique complète.

    Ces dimensions de qualité se chevauchent et se recoupent. La gestion de la qualité oblige donc à les considérer toutes. La négligence d'un seul aspect peut entraîner la faillite d'un programme statistique entier.

    III. Chaque employé doit intervenir dans l'assurance de la qualité

    Au moyen de ses politiques, de ses lignes directrices et de ses communications internes, Statistique Canada insiste auprès de ses employés sur le fait que chacun a un rôle à jouer en matière d'assurance de la qualité, des personnes affectées aux tâches de production quotidiennes aux cadres des échelons les plus élevés. Cette approche s'inspire de la philosophie de Deming, soit que la qualité n'est pas un élément à inspecter en cours de processus, mais à intégrer dès le départ. C'est la raison pour laquelle aucune entité n'est explicitement responsable de l'assurance de la qualité à Statistique Canada.

    Les pratiques exercées par le Bureau en matière de ressources humaines témoignent également du principe selon lequel la qualité est l'affaire de tous. Les programmes de recrutement, de formation et de perfectionnement mettent grandement l'accent sur les compétences techniques ainsi que sur la connaissance des caractéristiques de données de grande qualité.

    IV. Pour équilibrer tous les aspects de la qualité, la gestion par équipe de projet est l'approche indiquée

    Comme la qualité est multidimensionnelle, les différents aspects de la qualité tendent à être les domaines d'expertise de différents groupes au sein du Bureau. Au fil des ans, Statistique Canada a constaté que l'approche de gestion par équipe de projet offre le meilleur moyen d'atteindre l'équilibre entre les divers aspects de la qualité.

    À Statistique Canada, la gestion de la qualité est assurée dans le contexte d'un cadre de gestion matricielle, c'est-à-dire que la gestion des projets relève d'une organisation fonctionnelle. À cet égard, le Bureau est divisé en six secteurs. Trois de ces secteurs sont principalement responsables des programmes statistiques de production et d'analyse des données dans différents domaines spécialisés (p. ex. statistiques sociales, statistiques des entreprises, comptes nationaux). Les trois autres secteurs sont avant tout chargés du maintien d'une infrastructure et de la prestation de services pour les programmes statistiques (p. ex. méthodologie, informatique, activités de collecte, diffusion, systèmes de gestion). Un programme statistique est généralement géré par une division spécialisée, et ses responsables font un usage intensif des ressources de l'infrastructure et des secteurs de service.

    Le recours à une approche interdisciplinaire de gestion par équipe de projet pour la conception ou la restructuration d'un programme statistique est important. Il permet de s'assurer qu'on accorde suffisamment d'attention à la qualité de toutes les composantes et étapes du programme au cours de sa conception, de sa mise en œuvre et de son évaluation. Il incombe aux organisations fonctionnelles de s'assurer que les équipes de projet sont composées de personnes possédant la crédibilité et les compétences requises pour représenter leur secteur fonctionnel. Le personnel spécialisé met à contribution sa connaissance du contenu, des besoins des clients et de la pertinence des données. Pour leur part, les méthodologistes apportent leurs connaissances relativement à l'équilibre à atteindre entre les méthodes statistiques et la qualité des données, particulièrement en ce qui concerne l'exactitude, l'actualité et le coût. Les experts des opérations ont quant à eux l'expérience voulue des méthodes opérationnelles et s'attardent aux questions d'ordre pratique, à l'efficacité, au personnel sur le terrain et aux répondants. Enfin, les experts des systèmes connaissent bien les normes technologiques et les outils à utiliser pour concevoir les projets. Ils apportent aussi une dimension systémique aux projets.

    C'est au sein d'une telle équipe que sont prises les nombreuses décisions et que sont faits les compromis nécessaires à l'atteinte d'un juste équilibre entre la qualité, d'une part, et le coût et le fardeau de réponse, d'autre part. Ensemble, les membres de l'équipe doivent trouver un équilibre entre les pressions contradictoires afin de mettre au point une conception optimale. Le fait que chacun des membres de l'équipe fasse partie d'une organisation fonctionnelle spécialisée, à laquelle ils peuvent avoir recours au besoin pour obtenir des ressources de gestion et diverses ressources plus spécialisées, permet de résoudre les problèmes techniques et les différends qui peuvent survenir au cours de la réalisation d'un projet.

    Les projets sont habituellement orientés par un comité directeur formé de cadres supérieurs qui peut réunir des gestionnaires de chacun des principaux secteurs participants. Ce comité, qui fait partie d'un mécanisme d'approbation officielle de la conception et de la mise en œuvre du programme, fournit une orientation d'ensemble ainsi que les grands paramètres relatifs au budget et à la conception. Il veille aussi à ce que les ressources appropriées soient mises à la disposition des responsables du projet et s'emploie à résoudre les problèmes qui ne peuvent pas être réglés de façon satisfaisante au sein de l'équipe de projet.

    V. La qualité doit guider chaque étape du processus

    Les organismes statistiques ont souvent modélisé le processus statistique afin de le faciliter. La deuxième édition (avril 1987) des Lignes directrices concernant la qualité de Statistique Canada contenait un diagramme schématique du processus d'enquête statistique. Plus récemment, des organismes comme Statistics New Zealand, l'Australian Bureau of Statistics, Statistique Suède, Statistique Norvège et Statistique Pays-Bas, ainsi que les participants au groupe de travail conjoint de la CEE-ONU, d'Eurostat et de l'OCDE (METIS), ont élaboré différentes versions d'un modèle statistique général du processus opérationnel, le Generic Statistical Business Process Model. Le modèle mis au point par le groupe METIS (Secrétariat de la CEE-ONU, 2008) est représenté à la figure 1. Il est basé sur le modèle de Statistics New Zealand, mais plusieurs autres organismes, y compris Statistique Canada, y ont également contribué.

    Les divers modèles proposent tous la division du processus en un certain nombre de phases ou d'étapes. Bien que le contenu de chacun varie, ces modèles comportent des éléments communs : la précision des besoins des utilisateurs, la conception du programme, une phase de mise en œuvre ou d'intégration (caractéristiques, systèmes, guides des opérations, formation, etc.), une phase d'exécution (collecte, vérification, etc.) et une phase d'évaluation. Parmi les principes de base à suivre figure la nécessité de considérer la qualité à toutes les étapes. Si les besoins de l'utilisateur sont mal établis ou incompris, toutes les étapes subséquentes aboutiront à des données qui ne sont pas pertinentes. Des mesures doivent également être prises pour assurer le bon déroulement de la phase de conception; même parfaites, les phases de mise en œuvre et d'exécution ne pourraient compenser cette lacune. Cependant, une bonne conception ne suffit pas, car le processus doit aussi être mis en œuvre de façon adéquate. De plus, sans une évaluation appropriée, l'organisme statistique ignorera si le programme statistique a atteint ses objectifs.

    Le principe selon lequel la qualité doit être intégrée à chaque étape, combiné à la notion voulant que la qualité soit de nature multidimensionnelle, mène logiquement à la conceptualisation du processus de gestion de l'assurance de la qualité sous la forme d'un modèle défini par les aspects liés, d'une part, à la qualité en soi (pertinence, exactitude, etc.) et, d'autre part, aux phases de l'enquête (précision des besoins, conception, mise en œuvre, exécution et évaluation). Une approche de gestion de la qualité globale exige de prendre en compte tous les éléments de ce modèle.

    VI. Les mesures de l'assurance de la qualité doivent être adaptées au programme

    À Statistique Canada, les gestionnaires de programmes statistiques sont responsables de la mise en œuvre de leurs programmes. Chaque gestionnaire d'activités statistiques doit veiller à ce que les méthodes et procédures du programme statistique témoignent du souci de la qualité du Bureau. Il a toujours été clair que les Lignes directrices concernant la qualité s'inscrivaient dans cette approche : elles visent à aider les gestionnaires de programmes, et non à imposer des règles. On ne s'attend pas à ce que chaque programme soit conforme à la moindre ligne directrice; cela serait à la fois futile et d'un coût exorbitant, compte tenu des écarts entre les différents programmes statistiques quant à leur importance. On s'attend plutôt à ce que les gestionnaires de programmes statistiques et les équipes de projet qui les appuient prennent les décisions nécessaires.

    VII. Il faut informer les utilisateurs de la qualité des données afin qu'ils puissent mesurer si l'information statistique est adéquate à leur propre utilisation

    Enfin, pour que l'utilisateur puisse recourir de façon éclairée à l'information statistique offerte, il doit être capable d'évaluer si les données sont d'une qualité suffisante. Il peut le faire lui-même pour certains aspects de la qualité, comme l'actualité des données. Toutefois, pour d'autres aspects, comme l'intelligibilité, la cohérence et même la pertinence, cette évaluation n'est pas si simple. Mentionnons plus particulièrement l'aspect de l'exactitude, pour lequel les utilisateurs ne disposent souvent d'aucun moyen d'évaluation, devant alors se fier à l'organisme statistique.

    Au fil des ans, le Bureau s'est doté de politiques et d'outils pour aider les utilisateurs. Il a longtemps appliqué la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie (PIUQDM), qui contient, à l'intention des utilisateurs, certains renseignements de base sur la qualité des données et la méthodologie. Diffusées au moyen du Quotidien, toutes les données sont accompagnées d'un lien vers la Base de métadonnées intégrées (BMDI), qui fournit de l'information sur les concepts, les définitions, les sources de données et la méthodologie utilisés pour chacun des programmes statistiques.

    En ce qui concerne l'exactitude, la Politique précise également que toutes les données diffusées doivent être accompagnées de renseignements sur trois sources d'erreurs courantes – la couverture (la différence entre la population cible et l'échantillon utilisé pour mener l'enquête), la nonréponse (la proportion de l'échantillon n'ayant pas répondu) et l'erreur d'échantillonnage (une erreur imputable à l'échantillon et non à l'enquête en soi) – ainsi que sur d'autres sources, également importantes (p. ex. les erreurs touchant les réponses, les erreurs de traitement, les erreurs introduites à l'étape du contrôle de la divulgation).

    VIII. La qualité doit demeurer au premier plan de toutes les activités

    À moins que des mesures proactives ne soient prises, la qualité des données se détériore avec le temps. Par exemple, un « manque de pertinence » se produit souvent en raison du délai entre l'émergence d'un besoin de données et la capacité d'y répondre. Des lacunes touchant d'autres aspects de la qualité peuvent aussi apparaître alors que les taux de réponse diminuent sous l'effet de changements d'attitude dans la société, ou lorsque les systèmes deviennent désuets ou qu'une restructuration des méthodes s'impose.

    L'organisme statistique doit veiller à ce que la qualité demeure au premier plan de toutes ses activités pour diminuer le risque de manque de pertinence et empêcher une dégradation de la qualité au fil des ans. Il faut constamment évaluer, vérifier ou examiner la qualité des processus et des résultats des programmes. De tels mécanismes d'examen doivent être intégrés aux processus de planification et de prise de décisions du Bureau. Entre autres exemples de mécanismes d'examen de la qualité de la sorte, mentionnons le Conseil national de la statistique et les arrangements bilatéraux supérieurs avec des ministères et organismes fédéraux clés – pour engager un dialogue efficace avec les intervenants –, la présentation de rapports intégrés sur les programmes – pour assurer l'évaluation systématique des résultats statistiques – et la mise en œuvre d'un programme d'examen de la qualité – pour procéder à l'évaluation officielle des processus statistiques.

    But et portée des lignes directrices

    La section 2 de ce document réunit des lignes directrices et des listes de contrôle liées à de nombreuses questions dont on doit tenir compte dans la poursuite des objectifs de qualité que sous-tend l'exécution des activités statistiques. Le document s'attarde principalement à la façon d'assurer la qualité grâce à la conception ou à la mise en œuvre efficace et adéquate d'un projet ou d'un programme statistique, des débuts jusqu'à l'évaluation, la diffusion et la documentation des données. Ces lignes directrices sont fondées sur les connaissances et l'expérience collective d'un grand nombre d'employés de Statistique Canada. On espère que les Lignes directrices concernant la qualité seront utiles au personnel chargé de la planification et de la conception des enquêtes et d'autres programmes statistiques, ainsi qu'à ceux qui évaluent et analysent les résultats de ces programmes.

    Le principal objectif des Lignes directrices concernant la qualité consiste à fournir une liste exhaustive de principes directeurs et de pratiques exemplaires à appliquer lors de la conception d'enquêtes. Pour mieux apprécier la portée de ces lignes directrices, il importe de définir le sens donné aux termes « enquête » et « conception ».

    Le terme « enquête » est un générique utilisé pour désigner toutes les activités visant la collecte ou l'acquisition de données statistiques. Il englobe :

    1. le recensement, par lequel on tente de recueillir des données sur tous les membres de la population;

    2. l'enquête par sondage, dans laquelle on recueille des données sur un échantillon (habituellement aléatoire) des membres de la population;

    3. la collecte des données provenant des dossiers administratifs, où les données sont tirées des documents initialement conservés à des fins non statistiques;

    4. les activités statistiques dérivées, qui entraînent l'estimation et la modélisation de données qui peuvent être tirées des sources de données statistiques existantes.

    Les lignes directrices concernent principalement les recensements et les enquêtes par sondage. Il est manifeste que la qualité des activités statistiques dérivées est grandement déterminée par la qualité des parties des composantes. Par conséquent, le présent document ne s'attarde pas directement à ces activités.

    Le terme « conception » s'applique à la délimitation de tous les aspects d'une enquête, de la détermination d'un besoin de données jusqu'à la production des résultats finaux (le fichier de microdonnées, les séries statistiques et l'analyse).

    Le corps du présent document (section 2) traite principalement des questions de qualité liées à la conception des enquêtes. Toutefois, il importe de se rappeler que le contexte dans lequel on prépare une enquête impose des contraintes à la conception de cette enquête. Chaque nouvelle enquête, tout en visant à répondre à certains besoins immédiats en matière d'information, ajoute également de l'information à une base de données statistiques qu'on peut utiliser à des fins qui sont beaucoup plus nombreuses que celles établies au moment de la conception de l'enquête. Il est donc important de s'assurer que le résultat de chaque enquête peut, dans la mesure du possible, être intégré à des données sur des sujets connexes tirées d'autres enquêtes et utilisé en conjonction avec ces données. Cela sous-tend la nécessité d'examiner et de respecter les normes statistiques sur le contenu et les domaines qui ont été mises en place pour offrir une cohérence et une harmonie des données dans le système statistique national. Parmi ces normes, on trouve des cadres statistiques (comme le Système de comptabilité nationale), des systèmes de classification statistique (comme ceux rattachés à l'industrie ou à la géographie), ainsi que d'autres concepts et définitions qui précisent les variables statistiques à mesurer. L'utilité des nouvelles données statistiques est accrue jusqu'au point où on peut les utiliser en conjonction avec des données existantes.

    Niveaux 1 et 2 du Modèle statistique général du processus opérationnel

     

    Bibliographie

    Brackstone, G. (1999). La gestion de la qualité des données dans un bureau de statistique.  Techniques d'enquête, 25, 157-171.

    Deming, W.E. (1982) Quality, Productivity, and Competitive Position, Cambridge, MA: Massachusetts Institute of Technology.

    Fellegi, I. (1996). Characteristics of an effective statistical system. International Statistical Review, 64, 165-197

    Statistique Canada (1987).  Lignes directrices concernant la qualité. Statistique Canada.

    Statistique Canada (2000c). Base de métadonnées intégrée: http://stdsweb/standards/imdb/imdb-menu_f.htm

    Statistique Canada (2000d). Politique visant à informer les utilisateurs de la qualité des données et la méthodologie. Manuel des politiques, 2.3, Statistique Canada, Ottawa, Ontario.

    Statistique Canada (2002c). Le cadre d'assurance de la qualité de Statistique Canada – 2002. Publication no. 12-586-X au catalogue, Statistique Canada.

    Statistique Canada (2003d). Manuel des politiques de Statistique Canada.

    Trewin, D. (2002). L'importance d'une culture de la qualité. Techniques d'enquête, 28, 135-145.

    UNECE Secretariat (2008) « Generic Statistical Business Process Model: Version 3.1 – December 2008 », JointUNECE/Eurostat/OECDWork Session on Statistical Metadata (METIS).

    Date de modification :