Qualité… la suite

Le mois dernier, le Blogue de StatCan a montré comment le Secrétariat de la qualité définit la qualité. Il faut maintenant expliquer comment cette qualité est produite!

Définition des besoins

Chaque fois qu’un nouveau programme statistique est créé ou qu’un programme existant est modifié, Statistique Canada mène de vastes consultations auprès de ses partenaires. Il est essentiel de comprendre les besoins en matière de données des partenaires pour concevoir des questions qui produiront des résultats adaptés à ces besoins.

Le Conseil national de la statistique et les comités consultatifs donnent des conseils, de façon continue, sur les besoins statistiques actuels et nouveaux. Les comités fédéraux-provinciaux-territoriaux permettent de cerner les intérêts des provinces et des territoires. Les gestionnaires consultent également des représentants de groupes d’utilisateurs importants, d’autres ministères et organismes fédéraux, de municipalités, de groupes de réflexion et du secteur privé.

Conception

La plupart des gens associent les données aux enquêtes ou au recensement. Pourtant, beaucoup de nos programmes statistiques dépendent en totalité ou en partie de données administratives. Ces données sont recueillies par d’autres organismes. Elles sont communiquées à Statistique Canada à des fins précises et sont assujetties à un ensemble de règles strictes. Comme dans le cas des autres renseignements statistiques, le niveau de protection le plus élevé est accordé aux données administratives une fois que Statistique Canada en a la responsabilité.

Lorsque nous entreprenons des enquêtes, leur conception fait l’objet d’un examen très serré. Plusieurs facteurs interviennent, notamment la variabilité inhérente des phénomènes mesurés, les niveaux requis d’agrégation des données, l’utilisation prévue des données, le degré requis de précision des estimations et le coût de la collecte et du traitement des données. Nous utilisons parfois des données administratives au lieu des questions d’enquête, ce qui réduit le fardeau des répondants. L’intégration d’indicateurs de qualité à toutes les étapes de la conception d’enquête fait en sorte que les données sont produites de façon économique et au niveau d’exactitude requis.

Les répondants veulent souvent savoir comment ils ont été choisis lorsqu’on leur demande de fournir des données. Mais généralement, dans le cas des enquêtes sociales, ce ne sont pas les personnes qui sont choisies, ce sont plutôt les adresses. La participation à une enquête est déterminée par la sélection aléatoire d’adresses résidentielles au moyen de méthodes statistiques de pointe.

Collecte des données

Lorsque Statistique Canada entreprend une enquête, l’organisme peut recueillir les données en utilisant un ou plusieurs modes de collecte. Par exemple, dans le cadre du Recensement de 2011, les réponses pouvaient être fournies par Internet ou sur un questionnaire papier — envoyé par la poste ou rempli avec l’aide d’un intervieweur.

Les spécialistes s’assurent que les questions de l’enquête sont claires et que les répondants peuvent y répondre facilement. Les questionnaires en ligne sont mis à l’essai sur des écrans d’ordinateur et des téléphones intelligents pour garantir leur bon fonctionnement. Les questionnaires en ligne comportent des étapes simples et sont dotés d’une fonction d’assistance qui aide les répondants à fournir des données de bonne qualité.

« Un questionnaire bien conçu est comme une vitre bien propre », explique Laurie Reedman, chef du Secrétariat de la qualité. « C’est transparent, vous ne voyez que ce qui importe. Idéalement, le répondant ne devrait pas se préoccuper du questionnaire et ne devrait pas se battre avec l’outil pour fournir une réponse. Il devrait lire ou écouter la question et être en mesure d’y répondre naturellement. Tout simplement. Et c’est ce que nous cherchons à faire. »

Dans le cas d’une collecte des données en personne, la formation adéquate des intervieweurs permet d’obtenir des données cohérentes et exactes. La formation souligne également l’importance de maintenir la coopération des répondants et met en valeur le concept de partenariat entre l’organisme statistique, les citoyens du Canada, les entreprises, les administrations publiques et d’autres institutions.

Avant la production des résultats, l’information recueillie est soumise à diverses opérations de traitement qui permettent de saisir les données en format électronique et d’en assurer la qualité. Les étapes du traitement visent à produire des données qui, sans être parfaites, sont de grande qualité et adaptées à l’utilisation qui en sera faite.

Analyse et validation des données

Les spécialistes du domaine analysent ensuite les données. Ces experts comparent les données à celles d’enquêtes antérieures identiques ou semblables et à des données connexes tirées de sources administratives, de recensements ou de sources internationales pour assurer la cohérence. Ainsi, les estimations mensuelles de l’Enquête sur l’emploi, la rémunération et les heures de travail sont comparées à des données semblables provenant de l’Enquête sur la population active.

L’utilisation de concepts, de classifications et de populations cibles normalisés facilite aussi la cohérence. Pour aider les utilisateurs à interpréter les données publiées de Statistique Canada, les définitions, sources de données et méthodes des enquêtes sont affichées sur notre site Web. Lorsque cela est possible, des méthodologies et des systèmes de traitement communs sont employés pour les différentes enquêtes.

Partage et entreposage des données

Le Quotidien — le bulletin de diffusion officielle de Statistique Canada — informe le public de tous les nouveaux produits et ensembles de données de Statistique Canada et rend ainsi les données aisément accessibles. Il fournit également des renseignements supplémentaires et des métadonnées pour faciliter l’interprétation et l’utilisation de ces données.

Les données doivent être bien archivées. « Un renseignement n’a d’utilité que s’il est possible de le retrouver quand on en a besoin », observe Madame Reedman. « Les avancées technologiques présentent à la fois des possibilités et des défis pour l’archivage de nos données. »

Examen rétrospectif

Une évaluation à la fin de chaque étape du processus d’assurance de la qualité ferme la boucle. Qu’est-ce qui s’est bien passé? Qu’a-t-on appris? Que peut-on améliorer?

« Les pratiques d’assurance de la qualité s’apparentent souvent aux bonnes pratiques de gestion de projet », soutient Madame Reedman. « Il s’agit de choses bien simples, comme l’établissement d’un calendrier, une gestion de l’information qui permet de bien organiser la documentation, l’utilisation de processus normalisés qui facilite la rotation du personnel, de sorte que le départ d’un membre de l’équipe ne laisse pas de lacunes dans les connaissances. »

Parfois, le Secrétariat de la qualité se voit confier la tâche d’examiner un processus parce qu’un problème a été détecté. Le Secrétariat de la qualité intervient alors pour suivre la situation et donner des conseils ou une formation. Les leçons apprises sont communiquées à d’autres.

Le Secrétariat travaille aussi avec la Division de la coopération internationale de Statistique Canada pour partager son expertise en matière de cadres d’assurance de la qualité avec d’autres pays qui doivent faire face à des défis semblables et avec des pays en développement qui veulent accroître leur capacité statistique. La collaboration avec des organismes statistiques du monde entier permet à Statistique Canada de conserver son titre de leader mondial en matière d’information, de normes et de pratiques statistiques de qualité. La quête de données de qualité ne connaît pas de limites.

Le mois prochain : Mondialisation et statistiques économiques