Chapitre 1.5 : Gestion de la qualité

Contexte

Afin d'éclairer adéquatement les décisions et les débats publics, les instituts nationaux de statistique (INS) doivent fournir de l'information statistique crédible à la population. Il est essentiel à la crédibilité que les utilisateurs fassent confiance à la qualité des données produites et à l'intégrité du système statistique. La réputation d'un INS comme source indépendante d'information fiable peut souffrir si ses produits statistiques sont d'une qualité suspecte. Il est donc impératif que l'organisme applique des normes rigoureuses de gestion de la qualité.

Bien qu'il existe pleurs définitions générales de la « qualité » dans le contexte statistique, l'une des plus succinctes et des plus couramment utilisées est l'adaptation à l'utilisation ou l'adéquation à l'utilisation. Autrement dit, le concept de la qualité des données renvoie à la mesure dans laquelle un ensemble de caractéristiques inhérentes répond aux exigences. On reconnaît généralement que la qualité de l'information statistique est un attribut multidimensionnel qui ne peut être évalué à l'aide d'un seul indicateur.

Encadré 1.5.1 : Dimensions et composantes de la qualité

On distingue généralement six dimensions à la qualité des données; ce sont :

D'autres dimensions de qualité, telles que l'intégrité, la pertinence quant au sujet, l'utilité et la rigueur méthodologique peuvent aussi être prises en considération ou incluses comme sous-ensemble des dimensions citées ci-dessus. Il importe de noter que ces dimensions sont complémentaires et harmonisées les unes aux autres. Enfin, on peut faire valoir que la pertinence est la dimension capitale. Si l'information produite répond aux besoins des utilisateurs, les autres dimensions prennent beaucoup d'importance. Dans le cas inverse, les autres dimensions n'ont aucune pertinence.

Étant donné que la qualité est un facteur fondamental des pratiques statistiques, chaque organisme statistique doit disposer d'un système de gestion de la qualité (ou son équivalent) pour s'assurer d'atteindre le niveau souhaité de qualité par la gestion des aspects, des processus et des produits institutionnelsNote de fin de page 1. Ce chapitre met l'accent sur les stratégies, les mécanismes et les outils que les organismes statistiques peuvent adopter afin de rehausser leurs pratiques de gestion de la qualité.

Stratégies, mécanismes et outils

En règle générale, les INS mettent en œuvre divers mécanismes et outils pour gérer la qualité et développer une culture de la qualité au sein de leur organisation. On peut regrouper ces outils en quatre catégories :

  • robustes règles de gouvernance de gestion de la qualité;
  • cadre et lignes directrices de gestion de la qualité;
  • outils d'évaluation de la qualité et de production de rapports;
  • autres cadres de gestion contribuant à l'amélioration de la qualité.

1. Gouvernance de gestion de la qualité

Dans le but d'appuyer les initiatives de gestion de la qualité, les organismes ou les systèmes statistiques devraient examiner la possibilité de nommer un coordonnateur statistique neutre ou de créer un centre de ressources en gestion de la qualité soutenu et autorisé par les cadres supérieurs. L'existence d'une telle unité spécialisée en qualité permet de s'assurer que la qualité demeure une priorité constante et d'améliorer de manière continue les mécanismes et outils d'assurance de la qualité afin de répondre aux exigences d'un environnement en évolution.

C'est dans cette optique que Statistique Canada a créé une unité spécialisée en qualité appelée le Secrétariat de la qualité, dont le mandat est de promouvoir et d'appuyer l'utilisation de saines pratiques de gestion de la qualité dans l'ensemble de l'organisme. Le Secrétariat remplit les rôles suivants :

  1. appuyer l'élaboration, la révision et la mise en œuvre de documents clés relatifs à la gestion de la qualité, tels qu'un cadre d'assurance de la qualité ainsi que des lignes directrices et des politiques en matière de qualité;
  2. appuyer l'élaboration et la mise en œuvre de nouvelles initiatives et procédures d'amélioration de la qualité;
  3. promouvoir de saines pratiques de gestion de la qualité;
  4. fournir des conseils et de l'assistance dans la réalisation de programmes sur le plan de la conformité aux bonnes pratiques favorisant la qualité;
  5. appuyer la direction de l'organisme dans la préparation de rapports de rendement sur la qualité;
  6. répondre à des demandes d'information ou d'assistance en matière de gestion de la qualité provenant d'autres organismes statistiques.

Les activités du Secrétariat de la qualité sont supervisées par le Comité des méthodes et des normes, dont le rôle est d'agir comme coordonnateur statistique pour l'examen et la surveillance des pratiques et initiatives d'assurance de la qualité des données de Statistique Canada, et de veiller à ce que ces activités soient harmonisées aux autres cadres et politiques de gestion. Le Comité des méthodes et des normes relève du Conseil exécutif de gestion, le comité de gestion de la haute direction du niveau hiérarchique le plus élevé. Cette structure de gouvernance assure la neutralité du Secrétariat de la qualité en matière de programmes statistiques et lui procure le soutien de la haute direction. La neutralité du Secrétariat fait en sorte que les outils d'assurance de la qualité sont uniformément pertinents pour tous les programmes statistiques, et le soutien de la haute direction garantit la conformité aux normes.

Enfin, il est aussi recommandé de mettre sur pied une unité spécialisée en qualité ou de nommer un coordonnateur statistique au sein des programmes statistiques. La création d'un tel groupe ne vise pas à libérer les autres membres de l'organisme de toute responsabilité en matière d'assurance de la qualité. Au contraire, les responsabilités d'une unité spécialisée en qualité intervenant au niveau des programmes comprennent les aspects suivants :

  • encourager et surveiller les activités d'assurance de la qualité;
  • suivre et interpréter les indicateurs de rendement;
  • faire enquête sur les problèmes liés à la qualité dès qu'ils surviennent;
  • se tenir à jour sur les instruments de politique relatifs à la qualité et sur la façon dont ils s'appliquent aux programmes;
  • assurer la liaison avec le Secrétariat de la qualité;
  • adapter au besoin les pratiques de gestion de la qualité en fonction des particularités du domaine de chaque programme.

2. Cadre et lignes directrices de gestion de la qualité

Même si les membres de la communauté statistique appliquent des approches, des modèles et des cadres variés, la gestion systématique de la qualité au sein d'un système statistique nationale ou d'un institut national de la statistique prend généralement la forme d'un cadre national d'assurance de la qualité (CNAQ). Un CNAQ est habituellement un cadre global qui définit le contexte de prise en charge des préoccupations concernant la qualité et d'exécution des activités et initiatives relatives à la qualité, et qui explique les relations entre les différentes préoccupations liées à la qualité. Sensibilisée à l'importance d'un tel document en gestion de la qualité, la communauté statistique a demandé à un groupe d'experts de mettre au point un modèle générique de cadre national d'assurance de la qualité ainsi que des lignes directrices connexes afin d'aider les responsables des systèmes statistiques nationaux à développer, mettre en œuvre et améliorer leur propre CNAQ. Même s'il ne doit pas être considéré comme un cadre universellement applicable, ce modèle présente des exemples des éléments nécessaires pour assurer la gestion de la qualité sur quatre plans : système statistique, environnement institutionnel, processus statistiques et résultats statistiques.

Statistique Canada a publié son premier cadre d'assurance de la qualité en 1997. Une deuxième version de ce document a été diffusée en 2002, puis une troisième en 2016. Comme l'environnement statistique n'est pas statique, les versions subséquentes du cadre d'assurance de la qualité de Statistique Canada ont pris en considération l'évolution des programmes, de la méthodologie, des technologies et des politiques de l'organisme, ainsi que des progrès accomplis dans les pratiques de gestion de la qualité à l'échelle internationale.

Bien que ce document ait été initialement destiné à des fins de référence et de formation, il est devenu un pilier du développement d'une culture de la qualité au sein de l'organisme et fournit les principes de base de l'amélioration continue des pratiques liées à la qualité. Il contribue également à assurer une plus grande transparence et, par conséquent, renforce l'image de l'organisme en tant que source crédible de données statistiques. Enfin, il permet à Statistique Canada d'échanger des idées et des pratiques exemplaires sur la gestion de la qualité à l'échelle nationale et internationale.

Les Lignes directrices concernant la qualité constituent un autre document clé pour la gestion de la qualitéNote de fin de page 2. La première version des Lignes directrices concernant la qualité a été publiée en 1998. De nouvelles versions du document ont été diffusées en 2003 et en 2009. Ces lignes directrices doivent être révisées périodiquement pour suivre l'évolution des méthodologies et des approches. Elles constituent des outils très précieux pour assurer l'application de méthodologies rigoureuses et uniformes dans les différents programmes. Elles mettent l'accent sur les moyens permettant d'assurer la qualité lors de la conception ou  du remaniement efficace et approprié d'un projet ou d'un programme statistique, de sa création jusqu'à l'évaluation, la diffusion et la documentation des données. Les lignes directrices fournissent des stratégies et des outils afin de réduire le risque d'introduire des erreurs d'échantillonnage ou non dues à l'échantillonnage dans les processus d'enquête et de traiter certains enjeux de qualité associés à l'utilisation de données administratives.

En 2009, Statistique Canada a conçu et adopté un modèle de référence, décrivant les sous-processus d'élaboration des produits statistiques, fondé sur le Modèle générique du processus de production statistique (GSBPM) mis au point par la Commission économique pour l'Europe des Nations Unies, à laquelle participent des pays hors de l'Europe, comme le Canada et les États-Unis. Ce modèle de processus, qui a été révisé en 2013Note de fin de page 3, est maintenant utilisé pour établir et communiquer des pratiques d'assurance de la qualité pour des activités particulières dans l'élaboration de produits statistiques; il est également utilisé à des fins de référence et de formation. Le GSBPM sera appliqué à l'élaboration des versions à venir des lignes directrices en matière de qualité de Statistique Canada.

Il importe de mentionner que la gamme de mesures de qualité possibles proposées par les lignes directrices en matière de qualité n'est pas nécessairement appliquée de façon uniforme à chaque programme : les gestionnaires de programmes sont chargés de déterminer les mesures qui doivent être appliquées, et de faire connaître clairement leurs choix. Cependant, la plupart des programmes doivent faire périodiquement l'objet d'examens de la qualité indépendants et systématiques afin de s'assurer qu'ils comportent les mécanismes de vérification appropriés.

Tout récemment, en septembre 2015, l'Organisation de coopération et de développement économiques (OCDE) a publié la version préliminaire d'un document intitulé « Recommandation du Conseil concernant les bonnes pratiques statistiquesNote de fin de page 4 ».

Du point de vue de l'OCDE, la qualité des statistiques et des produits analytiques que produit l'organisme dépend largement de la qualité des statistiques officielles produites et diffusées par les pays. Cette recommandation provisoire fournit un cadre de référence commun permettant d'évaluer la qualité des systèmes statistiques nationaux. De plus, les bonnes pratiques énoncées dans cette recommandation provisoire peuvent aussi servir de points de référence pour les travaux statistiques réalisés par l'OCDE. En outre, on peut se reporter à la recommandation provisoire et aux bonnes pratiques dans le contexte de l'application du cadre et des lignes directrices de l'OCDE en matière de qualité des activités statistiques.

Draft Recommendation of the Council on Good Statistical Practice (Note du secrétaire général) (document en anglais seulement)

3. Outils d'évaluation de la qualité et de production de rapports

On peut mettre en œuvre plusieurs moyens pour évaluer la qualité : autoévaluations, vérifications, examens par les pairs ou processus de certification. Ces activités peuvent être menées par des experts internes ou externes. Les processus d'évaluation peuvent mener à l'attribution d'une attestation officielle ou d'une certification reconnue en matière de statistique. L'ampleur, la profondeur et la durée de ces évaluations peuvent varier selon la portée. Cependant, l'objectif de toute évaluation de la qualité est toujours approximativement le même : « la détermination des actions ou occasions permettant d'améliorer les processus et les produits »Note de fin de page 5.

L'évaluation de la qualité à Statistique Canada a évolué. Statistique Canada possède une longue tradition d'évaluation de la qualité des statistiques. Durant les années 1990 et au début des années 2000, cette fonction a été assurée à l'aide du cadre d'assurance de la qualité. Les commentaires des utilisateurs jouent aussi un rôle important dans l'évaluation de la qualité à Statistique Canada, car ils témoignent directement de la pertinence, de la cohérence, de l'accessibilité, de l'intelligibilité et de l'actualité des produits statistiques. En 2006, Statistique Canada a entrepris des examens d'assurance de la qualité visant à détecter les risques pouvant toucher la qualité des données, et à échanger de bonnes pratiques afin d'atténuer ces risques. En 2011, Statistique Canada a relancé l'exécution d'évaluations indépendantes de programmes par une unité organisationnelle interne spécialisée qui applique un protocole officiel afin d'évaluer la pertinence, la qualité et l'efficacité des programmes de l'organisme. Le rétablissement de ces évaluations internes faisait suite à une période où cette fonction était assurée par les gestionnaires de programmes dans le cadre de leurs responsabilités courantes (voir le chapitre 2.8 : Évaluation des programmes). Depuis 2015, Statistique Canada met l'accent sur le renforcement des aspects liés à la mesure de la qualité dans l'évaluation des programmes, particulièrement en ce qui a trait à la mise en œuvre et l'exécution des programmes statistiques.

La production de rapports relatifs à la qualité est aussi un aspect important de la gestion de la qualité. En premier lieu, le partage des indicateurs de qualité des produits avec les utilisateurs de données permet à ces derniers de déterminer si les produits statistiques comblent les exigences des usages prévus. Deuxièmement, les producteurs et les gestionnaires de données peuvent utiliser les indicateurs relatifs aux processus et aux produits intermédiaires pour surveiller la production des données et améliorer en continu les pratiques de qualité. Enfin, à l'échelle de l'organisme, les indicateurs de rendement liés à la qualité permettent à l'organisation d'évaluer son rendement global en matière de qualité et d'atténuer les risques qui pourraient l'empêcher de remplir son mandat.

Les organismes statistiques échangent de l'information sur la qualité à l'aide d'indicateurs de qualité et de rapports sur la qualité. À Statistique Canada, les indicateurs et les rapports relatifs à la qualité sont produits par les différents programmes durant la production des données. Même si les types d'indicateurs de qualité produits à l'interne peuvent différer entre les programmes, l'adoption du GSBPM et de l'Architecture opérationnelle du Bureau contribuera à rationaliser la mise au point, dans un proche avenir, d'un ensemble commun d'indicateurs de qualité.

La structure et le contenu de la production de rapports relatifs à la qualité destinés à des publics internes et externes sont normalisés conformément à la Norme de documentation des métadonnées statistiques. La qualité des produits statistiques est communiquée aux utilisateurs dans un format commun déterminé par la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie (voir le chapitre 4.3 : Gestion des métadonnées et accès aux métadonnées).

Enfin, afin d'évaluer le rendement de Statistique Canada sur le plan de la gestion de la qualité, des mesures ont été élaborées. L'ensemble d'indicateurs de rendement de l'organisme comprend plusieurs indicateurs de qualité des produits et des processus (la liste des indicateurs de rendement est présentée à l'annexe A). Un tableau de bord permet aux gestionnaires de programmes de visualiser en tout temps leurs indicateurs de rendement. Ils peuvent personnaliser l'affichage des données afin de comparer leur rendement aux objectifs établis et de surveiller les niveaux de qualité. Les indicateurs organisationnels exigés par le Secrétariat du Conseil du Trésor, l'organisme fédéral responsable de la supervision de la production de rapports et de la mesure du rendement à l'échelle des organismes, sont produits trimestriellement et annuellement.

Dans le contexte de systèmes statistiques décentralisés, les processus d'évaluation de la qualité peuvent aussi constituer des outils d'amélioration des produits statistiques dans l'ensemble de ces systèmes. L'encadré 1.5.2 décrit comment le Departamento Administrativo Nacional de Estadística (DANE) de la Colombie (Département administratif national de la statistique) a mis en œuvre un processus de certification de la qualité pour l'ensemble des données statistiques officielles.

Encadré 1.5.2 : Mise en œuvre de l'évaluation de la qualité du processus statistique en Colombie
par le Departamento Administrativo Nacional de Estadística (DANE) de la Colombie (Département administratif national de la statistique)

Comment évalue-t-on la qualité des processus statistiques en Colombie?

L'évaluation de la qualité du processus statistique se définit comme l'ensemble des procédures qui déterminent le degré de conformité d'une activité statistique en accord avec les exigences de qualité établies par le DANE. Pour leur part, ces exigences sont fondées sur les attributs de qualité définis par l'Organisation des Nations Unies, le Fonds monétaire international, l'Organisation de coopération et de développement économiques et EUROSTAT.

Dans le cadre de cette initiative, le DANE tente d'améliorer la production de ses propres données statistiques et de celles des divers autres organismes de l'État colombien, ainsi que la génération de renseignements statistiques crédibles, fiables et transparents à l'intention du grand public. La méthodologie d'évaluation de la qualité établit des outils, des processus et des instruments pour mesurer la conformité des produits statistiques aux attributs et exigences de qualité adoptés et adaptés par le DANE.

Le processus est structuré en quatre étapes : sensibilisation, collecte, évaluation et certification. Il a été établi par un comité d'experts indépendants (CEI), formé d'un expert en la matière, d'un expert en statistique et d'un spécialiste des processus statistiques, et est soutenu par le DANE. Ce comité est chargé de vérifier la conformité aux exigences en matière de qualité liées à la pertinence, l'exactitude, la ponctualité et l'actualité, l'accessibilité, l'intelligibilité, la cohérence, l'intégrité et l'uniformité des activités statistiques, telles que les recensements, l'échantillonnage et les activités fondées sur des dossiers administratifs. Trois types de certifications ont été établis, A, B et C, selon la cote fournie par le processus d'évaluation.

Effets positifs et impact

Cette initiative a actualisé et renforcé l'image du DANE en tant qu'organisme de supervision et de coordination du système statistique national (SSN). Le DANE a détecté les principales lacunes dans le processus de production de données statistiques appliqué par les entités du SSN qui génèrent de l'information, et a fait la promotion de la mise en œuvre de normes et de pratiques exemplaires reconnues à l'échelle internationale. Les aspects suivants des activités statistiques du SSN ont été améliorés :

  • Documentation des activités statistiques (fiche méthodologique et méthodologie générale) et des bases de données (dictionnaire de données, manuel de validation et de vérification de la cohérence, etc.) créées.
  • Intégrité et cohérence des bases de données (correction des incohérences découvertes dans la base de données provenant des activités statistiques et correction des valeurs dans les champs, les registres et les variables).
  • Diffusion au moment opportun, selon la période durant laquelle le phénomène est observé. Diffusion des séries chronologiques commencées précédemment et facilitation de l'accès aux microdonnées.
  • Accent sur les besoins des grands utilisateurs, et mise au point de nouvelles façons de communiquer avec eux et d'augmenter leur participation aux comités techniques.
  • Le nombre d'entités du SSN mettant en œuvre des nomenclatures et des classifications a augmenté.

Enseignements tirés de la mise en œuvre du processus de certification de la qualité en Colombie

Les premiers règlements relatifs à l'évaluation de la qualité et à la certification des statistiques ont été publiés le 2 novembre 2006. Depuis, le DANE a fait face à de nombreux défis dont il a tiré les enseignements suivants :

  • Il n'était pas approprié de demander au même CEI d'évaluer les activités statistiques sur différents sujets. Par conséquent, la composition du CEI a changé pour inclure un spécialiste possédant une expertise du sujet des activités faisant l'objet d'une évaluation.
  • Afin d'inciter les producteurs de statistiques à faire évaluer leurs processus statistiques, il fallait renforcer le cadre réglementaire pour la qualité des données statistiques. Compte tenu de ces considérations, en 2011, la Colombie a adopté des règlements transférant au DANE la responsabilité de la coordination et de la certification des bonnes pratiques dans le processus de production statistique et a institué un processus d'évaluation réglementé. L'adoption de ces règlements a accru la participation des différentes entités au processus d'évaluation de leurs activités statistiques.
  • Comme la participation au processus d'évaluation et de certification était volontaire, il fallait mener une campagne de sensibilisation auprès des entités concernées. La première phase a été ajoutée pour cette raison.
  • Pour en arriver à la production de statistiques de meilleure qualité, il fallait assurer un suivi de la mise en œuvre des recommandations fondées sur les évaluations. Une équipe a donc été mise sur pied pour surveiller la mise en œuvre des plans d'amélioration.

La voie vers le regroupement

Le regroupement des activités d'évaluation de la qualité du processus statistique exige le renforcement des capacités techniques et méthodologiques au sein de l'équipe technique du DANE afin de permettre à l'organisme de s'acquitter de ses nouvelles responsabilités, conformément au plan de développement national. L'objectif consiste à améliorer le modèle d'évaluation et à confirmer la transparence, la crédibilité et la capacité du DANE dans le cadre de la mise en œuvre de ce modèle.

4. Autres cadres de gestion contribuant à l'amélioration de la qualité

La plupart des activités et fonctions d'un organisme statistique ont une incidence sur la qualité de l'information qu'il produit. La gestion de la qualité fait donc partie intégrante de la gestion de la presque totalité des activités réalisées par l'organisme et est une composante importante de son système global de gestion. Différents cadres sont utilisés pour gérer la qualité, les ressources humaines et financières ainsi que le rendement global de l'organisme statistique, dans le but de lui permettre de réaliser ses objectifs et de s'acquitter de son mandat.

La mesure dans laquelle un organisme statistique peut remplir son mandat et atteindre ses objectifs connexes repose sur sa capacité d'optimiser sa gestion et ses activités d'exploitation en réalisant des gains d'efficacité opérationnelle. L'une des caractéristiques importantes de la gestion de la qualité est la recherche de l'équilibre entre les objectifs de qualité et de volume, d'une part, et les contraintes liées aux ressources financières et humaines, d'autre part. Même s'ils sont inévitables en pratique, ces compromis doivent être exposés de la façon la plus explicite possible afin que les utilisateurs puissent comprendre les limites inhérentes à certaines données et les raisons de leur existence. Le personnel d'un organisme statistique doit accomplir ses tâches et s'acquitter de ses responsabilités en se fondant sur des normes d'éthique, des valeurs et principes fondamentaux et en visant le niveau de transparence le plus élevé. Ces principes ont pour fonction de maintenir et de rehausser la confiance des utilisateurs et du public dans l'intégrité de l'organisme. Afin d'exécuter son mandat et d'atteindre ses objectifs, un organisme statistique doit pouvoir s'appuyer sur une structure efficace de gouvernance et de gestion, qui intègre des mécanismes d'établissement des priorités stratégiques et de prise de décisions, et assure la responsabilisation.

À Statistique Canada, les stratégies de gestion de la qualité sont harmonisées au mandat et aux objectifs des comités de gestion dans des domaines tels que la gestion de l'information, la diffusion et les communications, la gestion des données administratives, la planification de la collecte des données,  l'Architecture opérationnelle du Bureau et la gestion des ressources humaines. En fin de compte, on réalise cette cohérence à l'aide de robustes mécanismes de gouvernance, y compris la coordination de tous les comités de gestion par le Conseil exécutif de gestion et une promotion claire et uniforme des priorités et stratégies de l'organisme.

Facteurs clés de succès

L'existence d'une culture de la qualité est l'un des plus importants facteurs contribuant au succès de la gestion de la qualité. Statistique Canada emploie différents moyens pour développer et entretenir cette culture :

  • Reconnaissance du fait que chaque employé participant à la production et la diffusion de statistiques a un rôle à jouer dans l'assurance de la qualité, et que la qualité doit être intégrée à chaque pratique de gestion.
  • Intégration du concept de qualité dans l'énoncé de mission et dans le mandat de Statistique Canada. La qualité est également considérée comme une valeur de base dans le cadre de gestion organisationnel de Statistique Canada.
  • Les bonnes pratiques en matière d'assurance de la qualité sont intégrées aux cours de base de l'organisme.
  • Les Lignes directrices concernant la qualité et le cadre d'assurance de la qualité sont utilisés comme documents de formation et de référence.
  • Les propositions d'investissement (voir le chapitre 2.2 : Planification stratégique intégrée) sont évaluées en fonction de leur contribution à l'amélioration de la qualité des produits statistiques ou de leur potentiel de réduction des risques pouvant avoir une incidence sur la qualité.

La gestion efficace de la qualité exige une gouvernance claire ainsi qu'un engagement de la haute direction, qui doit s'approprier les valeurs liées à la qualité. Dans les faits, le succès en la matière dépend non seulement d'une direction ferme et d'une gouvernance claire, mais aussi du professionnalisme, du dévouement et de la diligence des employés. Un environnement de travail positif axé sur le respect des valeurs humaines, la promotion du perfectionnement professionnel et l'innovation constitue le milieu le plus favorable à la mise en œuvre quotidienne de l'engagement des employés à l'égard de la qualité.

De plus, la présence d'une unité spécialisée en qualité des statistiques permanente (le Secrétariat de la qualité de Statistique Canada) permet à l'organisme de veiller à ce que la gestion de la qualité soit prise en compte dans toutes les initiatives de modernisation, et que les outils de gestion de la qualité soient harmonisés aux versions les plus récentes des processus opérationnels et de la structure.

Défis

L'acquisition et le maintien d'une crédibilité constituent des défis particulièrement importants pour les INS. S'ils ne sont pas perçus avec confiance par le public et les décideurs, les produits statistiques n'ont guère de valeur. Pour que les produits statistiques jouissent de la confiance des utilisateurs, leur qualité doit non seulement être assurée, mais constamment rehaussée. L'organisme statistique peut atteindre cet objectif en obtenant une certification d'une source reconnue, comme l'Organisation internationale de normalisation ou le Fonds monétaire international, ou en répondant aux conditions d'adhésion à l'Organisation de coopération et de développement économiques. Même si un tel sceau d'approbation constitue une preuve sans équivoque que l'organisme statistique a mis en œuvre des mesures de qualité clairement définies, il est possible qu'il doive déployer des efforts considérables pour obtenir et conserver sa certification. En outre, rien ne garantit l'efficacité (effet positif sur la qualité) de cette reconnaissance. Les principes d'amélioration de la qualité des méthodes LeanNote de fin de page 6 et Six SigmaNote de fin de page 7 ont été élaborés en vue de leur application dans le secteur manufacturier. Elles peuvent cependant s'appliquer aux activités de base visant la production de statistiques officielles, et certains INS les ont adoptés, en tout ou en partie.

Il est souvent difficile pour le personnel des organismes statistiques de déterminer quelles pratiques d'assurance de la qualité peuvent être intégrées à leurs activités courantes. Un changement dans la culture de l'organisme peut être nécessaire pour amener les gens à réfléchir aux mesures permettant de valider leurs produits livrables, à poser des diagnostics afin de démontrer l'efficacité de leurs efforts sur le plan de la qualité, selon une liste de contrôle de tâches prédéfinie ou à attester l'exécution complète d'une activité particulière. Ces vérifications apparemment simples représentent les exemples les plus fondamentaux d'assurance de la qualité.

L'évaluation de la qualité et la production de rapports sur la qualité constituent d'autres activités dont l'exécution peut être entravée par la résistance du personnel. On croit souvent à tort qu'une évaluation de la qualité sera une forme quelconque de punition pour un rendement médiocre. Rien ne saurait être plus faux. L'engagement à l'égard de la qualité doit se diffuser en cascade vers tous les paliers de l'organisme, de la haute direction jusqu'aux membres les plus récents et les moins expérimentés du personnel, et le message doit être cohérent : l'évaluation de la qualité a pour objectif de maintenir et d'améliorer la qualité des processus et des produits, et non de gérer le personnel.

Un autre défi consiste à obtenir et à maintenir l'engagement envers la qualité, particulièrement aux paliers de direction intermédiaires. Il est absolument essentiel que les cadres intermédiaires adhèrent aux principes de gestion de la qualité, parce qu'ils détiennent l'autorité pour superviser et diriger le travail de leurs subalternes et sont en position de donner l'exemple. Si les activités d'assurance de la qualité sont réduites durant les périodes de restrictions budgétaires ou de réduction des délais, le message implicite transmis aux employés est que l'assurance de la qualité n'est pas une priorité. L'ensemble de l'organisme doit résister à la tentation de sacrifier la qualité lors des périodes difficiles.

Enfin, la conformité représente un défi en raison du nombre croissant de politiques, de directives, de lignes directrices et de pratiques exemplaires à appliquer, dont plusieurs sont liées à la qualité. Les gestionnaires de programmes ont parfois besoin de temps et de ressources pour adopter de nouvelles pratiques ou migrer vers de nouveaux outils ou concepts. Les défis liés à la conformité doivent être pris en considération dans le processus d'attribution des ressources; s'il y a lieu, leur prise en charge doit être soutenue par une équipe d'experts en qualité.

Perspectives

L'organisme participe à un groupe de travail international dans le but de mettre au point des indicateurs de qualité pour toutes les phases du GSBPM. Il atteint le point de saturation sur le plan des indicateurs. Pour utiliser les indicateurs le plus efficacement possible, il est nécessaire de les regrouper, de les rationaliser et de les présenter sous une forme qui en facilite la compréhension et permet de réagir de façon appropriée. Dans la mesure du possible, ces activités doivent être automatisées.

Des ressources considérables ont été consacrées à la maximisation de l'utilisation des données administratives, et plus particulièrement des mégadonnées. Des cadres ont été élaborés afin de guider les pratiques de l'organisme visant l'acquisition, l'exploitation et la maintenance de grands fonds de données. Même si les principes de qualité sont les mêmes que pour les données provenant d'enquêtes, les défis, les attentes et les utilisations diffèrent considérablement. Il importe donc de s'assurer de la pertinence et de l'efficacité des pratiques d'assurance de la qualité pour les sources de données autres que les enquêtes.

Annexe A : Exemples d'indicateurs de rendement organisationnel

Annexe A : Exemples d'indicateurs de rendement organisationnel
Dimension de la qualité Indicateurs de rendement
Ponctualité et actualité Nombre de produits de données diffusés conformément au calendrier
Actualité de la diffusion des produits
Exactitude Nombre de corrections pour des raisons d'exactitude après la diffusion des produits
Taux de réponse
Modification absolue moyenne
Niveau d'exactitude atteint
Intelligibilité Nombre de pages visualisées dans les documents sources et de méthode affichés sur le site Web de Statistique Canada
Métadonnées à jour dans la Base de métadonnées intégrée
Documentation à jour dans le guide des utilisateurs
Cohérence Conformité aux variables et aux classifications standards
Accessibilité Nombre de visites sur le site Web de Statistique Canada
Nombre de visites sur la page du bulletin Le Quotidien
Nombre d'accès à des produits analytiques et de données
Nombre de citations dans les médias
Nombre de citations par des professionnels
Pourcentage de clients qui ont reçu l'information qu'ils avaient demandée
Pourcentage de visiteurs du site Web qui ont trouvé l'information qu'ils cherchaient
Nombre d'utilisateurs qui apportent des contributions sur les pages de Statistique Canada dans les médias sociaux
Nombre d'établissements d'enseignement postsecondaire, d'organismes gouvernementaux et d'autres organismes qui ont accès à des fichiers de microdonnées
Nombre de cycles de fichiers de microdonnées confidentielles et pour utilisation publique mis à la disposition des établissements d'enseignement postsecondaires, des centres de recherche et d'autres institutions au Canada
Nombre de contrats avec des chercheurs actifs réputés être employés
Accès à distance en temps réel aux données — Nombre de comptes et de demandes
Rentabilité Frais d'exploitation annuels
Indice d'efficacité
Pourcentage de répondants à qui l'on a offert un questionnaire électronique
Indice d'heures de fardeau de réponse
Enquêtes auprès des entreprises qui utilisent des données fiscales ou administratives
Volume de contrats à recouvrement des coûts réalisés par Statistique Canada — Enquêtes statistiques et enquêtes connexes
Valeur des contrats à recouvrement des coûts réalisés par Statistique Canada — Enquêtes statistiques et enquêtes connexes
Valeur des contrats à recouvrement des coûts réalisés par Statistique Canada — Demandes et ateliers personnalisés
Pertinence de la mesure de l'efficacité des programmes liés à l'infrastructure statistique Pourcentage de programmes qui utilisent des services méthodologiques
Pourcentage de programmes qui utilisent des services d'infrastructure statistique
Pourcentage de programmes qui utilisent des services statistiques opérationnels
Nombre de programmes qui font l'objet d'un examen de leur méthodologie ou de leur infrastructure statistique
Pourcentage de programmes examinés pour lesquels des solutions approuvées ont été fournies à partir de la méthodologie ou de l'infrastructure fournie
Proportion de solutions proposées qui ont été adoptées par les programmes
Pourcentage de composantes d'ententes de service concernant la collecte et les opérations qui ont été exécutés (évaluations principales)
Pourcentage de composantes d'ententes de service concernant la collecte et les opérations qui ont été exécutés (recouvrement des coûts)
Pourcentage des investissements dans le plan d'investissement dans le maintien de la continuité et de la qualité qui ont été réalisés selon la planification

Notes de fin de page :

Note de fin de page 1

Division de la Statistique des Nations Unies. 2012.

Retour à la référence de la note de fin de page 1

Note de fin de page 2

Statistique Canada. 2009.

Retour à la référence de la note de fin de page 2

Note de fin de page 3

Commission Economique Pour l'Europe. 2013.

Retour à la référence de la note de fin de page 3

Note de fin de page 4

Organisation de Coopération et de Développement Economiques. 2015.

Retour à la référence de la note de fin de page 4

Note de fin de page 5

Division de la Statistique des Nations Unies (traduction). 2012.

Retour à la référence de la note de fin de page 5

Note de fin de page 6

Université Cardiff. 2015.

Retour à la référence de la note de fin de page 6

Note de fin de page 7

Wikipedia. 2015.

Retour à la référence de la note de fin de page 7

Bibliographie

Commission Économique Pour l'Europe. 2013. Modèle générique du processus de production statistique.  Consulté le 11 mars 2016 et récupéré de http://unstats.un.org/unsd/nationalaccount/workshops/2015/gabon/bd/GSBPM-FRA.pdf.

Division de la Statistique des Nations Unies. 2012. Guidelines for the Template for a Generic National Quality Assurance Framework (document en anglais seulement). Consulté le 11 mars 2016 et récupéré de http://unstats.un.org/unsd/dnss/QualityNQAF/nqaf.aspx.

Hahn, Bill, et Hans Skalle. 2013. Applying Lean, Six Sigma, BPM, and SOA to Drive Business Results, An IBM Redguide publication (document en anglais seulement). Consulté le 11 mars 2016 et récupéré de http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/redp4447.html?OpenDocument

Organisation de Coopération et de Développement Économiques. 2015. Draft Recommendation of the Council on Good Statistical Practice (Note du secrétaire général) (document en anglais seulement). Consulté le 11 mars 2016  et récupéré de http://acts.oecd.org/Instruments/ShowInstrumentView.aspx?InstrumentID=331&InstrumentPID=380&Lang=en&Book=.

Statistique Canada. 2009. Rapport du groupe de travail sur l'Architecture opérationnelle du Bureau rédigé par Brodeur, Doherty, Dufour, Lussier, Mayda, McAuley, Ménard, Ridgeway, Royce et Smith.

Université Cardiff. 2015. The Five Principles of Lean Thinking (document en anglais seulement). Consulté le 11 mars 2016 et récupéré de  http://www.cardiff.ac.uk/lean/principles/.

Signaler un problème sur cette page

Quelque chose ne fonctionne pas? L'information n'est plus à jour? Vous ne trouvez pas ce que vous cherchez?

S'il vous plaît contactez-nous et nous informer comment nous pouvons vous aider.

Avis de confidentialité

Date de modification :