L’enquête nationale auprès des ménages de 2011 — toute l’histoire statistique

4 juin 2015

par Wayne R. Smith, statisticien en chef du Canada

On veut souvent connaître l’avis de Statistique Canada sur la qualité des données de l’Enquête nationale auprès des ménages (ENM) de 2011 à participation volontaire, qui a remplacé le questionnaire détaillé obligatoire du recensement.

  • Quelles sont les conséquences du passage d’une enquête à participation obligatoire à une enquête à participation volontaire?
  • Est-ce que l’erreur d’échantillonnage était plus grande dans l’ENM
  • Quelle est la qualité des données à des niveaux géographiques détaillés?
  • Est-ce que les peuples autochtones, les nouveaux immigrants ou les Canadiens appartenant à des groupes à faible revenu étaient sous-représentés?

Malheureusement, toute l’histoire statistique n’a jamais été entièrement comprise. Dans le présent article, j’espère pouvoir brosser un tableau complet du sujet.

Statistique Canada a toujours affirmé qu’une enquête obligatoire produit inévitablement des données de meilleure qualité globale qu’une enquête à participation volontaire de la même taille, toutes choses étant égales par ailleurs. Le taux de réponse de l’Enquête nationale auprès des ménages de 2011 a atteint 68,6 %, et le taux de réponse pondéré s’est élevé à 77,2 %. Ces taux sont bien au-dessous du taux de réponse au questionnaire détaillé du Recensement de 2006, qui s’est établi à 93,8 %.

Pour réduire les risques liés à la qualité des données, associés au passage à une enquête volontaire, l’organisme a pris de nombreuses mesures et a déployé de multiples efforts pour évaluer la qualité des estimations produites et en rendre compte. Lorsque Statistique Canada a jugé que la qualité des estimations n’était pas acceptable (ou que les estimations ne convenaient pas), il n’a pas diffusé les données; et si les estimations devaient être utilisées avec prudence, Statistique Canada a informé les utilisateurs de la situation. Le reste des estimations — soit la grande majorité des données — ont été jugées convenables, puis diffusées. Nous pouvons donc affirmer que, compte tenu du travail réalisé, l’Enquête nationale auprès des ménages a produit une base de renseignements robuste et riche.

Quels ont été les défis?

En passant d’une enquête à participation obligatoire à une enquête à participation volontaire, nous nous attendions à une diminution importante du taux de réponse à l’enquête. Nous savions aussi que cette baisse poserait trois défis principaux : la variabilité des taux de réponse à des niveaux géographiques inférieurs, l’erreur d'échantillonnage et le biais de non-réponse.

Je vous explique donc les mesures qu’a prises Statistique Canada pour aborder ces trois défis.

V ariabilité des taux de réponse à des niveaux géographiques inférieurs

Statistique Canada n'a pas publié de données sur les collectivités à partir de l’Enquête nationale auprès des ménages pour environ 1 100 collectivités, soit 3 % de la population canadienne, et ce, en raison des taux de réponse trop faibles selon les normes de l'organisme, car ceux-ci ont engendré des risques par rapport à qualité des données. Cela est comparable à la non-diffusion, en 2006, des données pour moins de 160 collectivités à la suite des enjeux relatifs à la qualité des données. Les données de l’ENM de 2011 pour ces petites collectivités restent disponibles sur demande.

Atténuation du risque d’erreur d’échantillonnage

Nous savions que si la taille initiale de l’échantillon de l’Enquête nationale auprès des ménages de 2011 était restée la même qu’en 2006, cela aurait entraîné une augmentation de l’erreur d’échantillonnage. Donc, pour atténuer ce risque, Statistique Canada a augmenté le taux d’échantillonnage de l’Enquête nationale auprès des ménages de 2011. Ainsi, en 2006, un ménage sur cinq devait remplir le questionnaire détaillé du Recensement de la population; en 2011, un ménage sur trois pouvait remplir l’ENM. La sélection de l’échantillon a été aléatoire et selon une méthodologie bien définie. Le nombre de ménages ayant répondu à l’Enquête nationale auprès des ménages à participation volontaire de 2011 a été de 2 657 461, ce qui représentait 6 719 688 personnes. Ce chiffre dépasse de 9 % le nombre de ménages qui ont rempli le questionnaire détaillé obligatoire du Recensement de 2006 (2 443 507 ménages qui représentaient 6 136 517 personnes).

Puisque le nombre de ménages qui ont répondu en 2011 était plus élevé qu’en 2006, on a pu éviter toute augmentation concrète de l’erreur d’échantillonnage aux niveaux d’agrégation supérieurs. Toutefois, à des niveaux d’agrégation inférieurs, des variations du taux de réponse et de l’erreur d’échantillonnage ont été observées. C’est pourquoi Statistique Canada a calculé et publié sur son site Web les coefficients de variation (c.v.), qui sont des mesures de l’erreur d’échantillonnage, pour certaines variables de l’ENM de 2011 à différents niveaux géographiques. L’organisme a aussi publié les c.v. de ces mêmes variables tirées du questionnaire détaillé du Recensement de 2006, aux fins de comparaison.

À l’échelle nationale, parmi les neuf variables qui ont fait l’objet d’une comparaison, sept variables de l’ENM de 2011 avaient des c.v. plus faibles et deux variables avaient des c.v. plus élevés, mais, somme toute, les c.v. étaient très faibles et leur degré d’importance était très semblable. Les faibles c.v. sont habituellement synonymes d’un haut degré d’exactitude et de qualité des données. Dans le cas des régions géographiques ayant de petites populations et de celles ayant peu de caractéristiques communes, les c.v. étaient plus élevés et fluctuaient davantage. Toutefois, leur importance était semblable à celle de 2006 pour les régions dont les résultats ont été diffusés, les c.v. de 2011 étant soit plus élevés, soit plus faibles.

N’oublions surtout pas que, à titre de comparaison, les données tirées du questionnaire détaillé des recensements antérieurs s’appuyaient aussi sur un échantillon et étaient aussi sujettes à l’erreur d’échantillonnage. 

Atténuation du biais de non-réponse

Une grande préoccupation de Statistique Canada par rapport à l’adoption d’une enquête à participation volontaire était le biais de non-réponse potentiel qui a trait à une baisse du taux de réponse. Il est possible d’observer ce type de biais lorsque certaines personnes au sein d’une population sont moins susceptibles de répondre que d’autres.

Pour évaluer le risque potentiel et pour déterminer des stratégies d’atténuation pouvant remédier à la situation, Statistique Canada a réalisé une simulation à l’aide des questionnaires détaillés du Recensement de 2006 qui avaient été remplis. L’exercice nous a permis de trouver les biais qui seraient probablement introduits si le taux de réponse devait diminuer. Certains critiques ont cité, à tort, l’étude de l’organisme pour démontrer que ces risques se concrétiseraient forcément. Toutefois, ces personnes n’ont pas tenu compte des stratégies d’atténuation mises en œuvre par Statistique Canada pour réagir aux conclusions de l’étude. En fait, Statistique Canada s’est appuyé sur les résultats de la simulation pour éclairer et orienter la conception des approches en matière de collecte, de traitement et d’estimation et ainsi garantir que les risques seraient réduits au minimum. 

Pour faire les rajustements en fonction du biais de non-réponse, Statistique Canada a déployé un processus unique et puissant qui n’est pas à la disposition des autres organisations de recherche par sondage. Pour tous les ménages échantillonnés par l’ENM, Statistique Canada disposait aussi de l’enregistrement du Recensement de 2011 qui donnait les caractéristiques démographiques et langagières de base pour tous les membres du ménage. En outre, le Recensement avait été lié à des dossiers fiscaux, au fichier d’établissement des immigrants et au Registre des Indiens, qui ont chacun fourni d’autres renseignements sur les répondants et les non-répondants de l’ENM. Ces renseignements ont été utilisés pour exécuter des modèles d’estimation pour les secteurs de pondération de populations d’environ 6 000 personnes pour veiller à ce que les estimations de l’ENM correspondent aussi précisément que possible aux profils réels de la population. Statistique Canada a été en mesure de faire des calculs et de confirmer que le processus a amélioré la qualité des estimations. Toutefois, il a été impossible de réduire entièrement la volatilité intrinsèque aux estimations faites pour de petites populations.

Enfin, après avoir produit les estimations de l’ENM, Statistique Canada a procédé à leur validation. Les spécialistes ont évalué la validité des estimations en les comparant à des repères internes et externes. Ces renseignements ont servi à évaluer le risque de biais par rapport au taux de non-réponse et ont orienté l’établissement des seuils de qualité en vue de la diffusion. Si on notait des problèmes de qualité, les estimations n’étaient pas diffusées ou elles étaient diffusées accompagnées d’une mise en garde.

La comparaison avec les repères externes a été réalisée au niveau géographique le plus détaillé grâce aux autres sources de données à notre disposition. Aux niveaux les plus détaillés, la validation s’appuyait surtout sur le suivi des processus éprouvés susmentionnés ainsi que sur la connaissance et l’expérience des spécialistes. Cette même approche est utilisée depuis toujours pour valider les estimations tirées du questionnaire détaillé du recensement qui sont produites pour les niveaux géographiques détaillés.

Enquête nationale auprès des ménages de 2011 — déconstruire les mythes

Les résultats du processus de validation ont, sauf exception, confirmé la bonne qualité des estimations et ont prouvé que certaines des préoccupations formulées avant la collecte de l’ENM ne se sont pas concrétisées. Les préoccupations les plus communes avaient trait à la sous-estimation potentielle de trois groupes de population importants : les nouveaux immigrants au Canada, les peuples autochtones et les Canadiens ayant un faible revenu. Depuis la diffusion des résultats de l’ENM, de nombreuses personnes réitèrent qu’un sous-dénombrement a eu lieu. Les faits qui ont été publiés ne viennent pas appuyer ces allégations. Examinons-les un par un.

Nous connaissons le nombre réel d’immigrants admis au Canada d’un recensement à l’autre grâce aux dossiers administratifs gérés par Citoyenneté et Immigration Canada. Dans son évaluation des données, Statistique Canada a comparé systématiquement ce chiffre au nombre estimatif de nouveaux immigrants fondé sur les données de l’ENM. La comparaison des estimations de l’ENM à cette source fiable a démontré que le nombre de nouveaux immigrants n’a pas été sous-estimé de façon plus importante dans le cadre de l’ENM que lors des recensements précédents. 

En ce qui a trait aux peuples autochtones, le risque d’un biais de non-réponse est minime pour la population autochtone vivant dans les réserves et les territoires, puisque ces populations sont relativement homogènes (du point de vue de l’identité autochtone) et que la pondération pour cette population est effectuée séparément de celle de la population hors réserve dans les provinces. Pour les Inuits et les populations autochtones vivant hors réserves, nous avons utilisé les microdonnées de deux sources distinctes : le Registre des Indiens, qui couvre la population des Indiens inscrits du Canada, et le Recensement de 2006. Nous avons aussi exploité les variables liées aux langues du Recensement de 2011.

Les analyses de certification, comme nous en avons fait état dans le guide de référence publié, ont démontré qu’il existe très peu de preuves de la présence d’un biais dans les estimations de la population autochtone hors réserve, mais elles ont révélé que le nombre d’Inuits vivant dans les provinces pourrait avoir été surestimé.

L’ENM de 2011 a fourni des renseignements utiles sur la composition, les caractéristiques et la distribution des revenus réalisés par les Canadiens. Comme c’est le cas pour toutes les autres données de l’ENM, la qualité des estimations sur le revenu l’ENM de 2011 a été évaluée avant la diffusion. Le taux de faible revenu est un indicateur qui témoigne de différentes tendances par rapport aux recensements précédents et aux autres sources de revenus. Les résultats de l’évaluation de Statistique Canada ont fait ressortir la possibilité d’une surestimation de la prévalence des situations de faible revenu.

Statistique Canada a donc averti les utilisateurs que les résultats ayant trait au faible revenu tirés de l’ENM ne devaient pas être comparés à ceux des recensements antérieurs. Les taux de faible revenu de l’ENM peuvent servir à cerner les groupes les plus à risque de pauvreté, ce qui constitue un renseignement important pour l’élaboration de politiques. En raison de la grande taille de l’échantillon de l’ENM, il est aussi possible de l’utiliser pour estimer les taux de faible revenu à l’échelle provinciale, infraprovinciale et pour les régions métropolitaines de recensement, ce qui permet aux utilisateurs de faire des comparaisons entre des sous‑groupes donnés d’un bout à l’autre du pays.

Les résultats du Recensement de 2011, les leçons tirées et les prochaines étapes

Que doit-on retenir de la situation? Même si la qualité de l’Enquête nationale auprès des ménages de 2011 n’est pas tout à fait équivalente à celle du questionnaire détaillé du Recensement de 2006, les estimations qui ont été diffusées sont quand même robustes et parfaitement utilisables. Quand la qualité des données a été jugée insuffisante, celles-ci n’ont pas été publiées. Lorsque des problèmes de biais potentiel ou des lacunes dans la comparabilité avec les données des recensements précédents ont été cernés, ils ont été signalés au moment de la diffusion des renseignements.

Statistique Canada reconnaît qu’il peut y avoir des lacunes dans l’ENM qui n’ont pas encore été relevées. En tant que statisticien en chef du Canada, j’espère que ceux qui en feront le constat pourront nous les communiquer et en faire la démonstration. La production de statistiques est un processus dynamique. En approfondissant nos connaissances relatives aux questions et aux problèmes soulevés, nous pourrons améliorer le programme du recensement pour l’avenir.

Veuillez prendre note que les commentaires sont modérés. Les commentaires peuvent prendre un certain temps avant d’apparaître en ligne. Pour de plus amples renseignements, veuillez consulter nos règles de participation.

Date de modification :