Enquête nationale auprès des ménages : qualité des données

L'Enquête nationale auprès des ménages (ENM) contient toutes les questions que Statistique Canada envisageait d’inclure dans le questionnaire détaillé du Recensement de 2011. Le contenu de l’ENM est donc identique aux renseignements qui auraient été recueillis au moyen du questionnaire détaillé du Recensement de 2011.

Qualité des données

Taux de réponse

Au départ, Statistique Canada avait prévu que le taux de réponse au questionnaire détaillé obligatoire du Recensement de 2011 se chiffrerait à 94 %, un taux identique à celui obtenu lors du Recensement de 2006.

Statistique Canada a présumé un taux de réponse de 50 % pour l’Enquête nationale auprès des ménages, dont la participation est volontaire.

Taille de l’échantillon

Au départ, Statistique Canada avait supposé qu’un ménage sur cinq recevrait le questionnaire détaillé obligatoire du Recensement de 2011, une proportion identique à celle du Recensement de 2006.

Statistique Canada, en collaboration avec le ministre, a établi le taux d’échantillonnage de l’Enquête nationale auprès des ménages à un ménage sur trois, en hausse de 65 % par rapport au plan initial.

Erreur d’échantillonnage

À l’instar du recensement à questionnaire détaillé antérieur, l’Enquête nationale auprès des ménages a pour objet de produire, à partir des questions posées, des estimations précises pour un large éventail de régions géographiques — allant des très grandes régions (comme les provinces et les régions métropolitaines de recensement) aux très petites régions (comme les quartiers et les municipalités) — et pour divers sous-groupes de population comme les Autochtones et les immigrants. Ces sous-groupes de population auront également des tailles variables, notamment lorsque recoupés par région géographique. Ces regroupements sont généralement appelés « domaines d’intérêt ».

Pour n’importe quel domaine d’intérêt, en supposant un échantillonnage aléatoire, l’erreur d’échantillonnage provient de trois facteurs : la taille de la population, le nombre de répondants à l’enquête et la variabilité des variables mesurées. Parmi ces facteurs, seul le nombre de répondants à l’enquête peut être modifié par le processus d’enquête.

Les gens connaissent bien le concept d’erreur d’échantillonnage en raison des énoncés dans lessondages d’opinion selon lesquels « les résultats ont un degré de précision de plus ou moins x %, 19 fois sur 20 ». Plus les répondants sont nombreux, plus la valeur x sera petite et, donc, plus les estimations d’enquête seront exactes.

Compte tenu du taux d’échantillonnage d’un sur trois et du taux de réponse prévu de 50 %, nviron 16 % de la population canadienne participera à l’Enquête nationale auprès des ménages, comparativement à la proportion de 19 % qui remplirait un questionnaire détaillé obligatoire du recensement (c.-à-d. un taux d’échantillonnage d’un sur cinq et un taux de réponse de 94 %). Comme on prévoit un nombre total de répondants plus faible à l’Enquête nationale auprès des ménages, celle-ci présentera, de façon générale dans l’ensemble des domaines d’intérêt, une erreur d’échantillonnage légèrement supérieure (moins bonne) à celle qu’on aurait obtenue au moyen d’un questionnaire détaillé obligatoire du recensement. De plus, on s'attend à ce que la qualité des estimations dans l'ensemble des domaines présente une plus grande variabilité; ainsi, certains domaines pourraient afficher des erreurs d’échantillonnage plus faibles que ce qu'on aurait vu au moyen d'un questionnaire détaillé obligatoire du recensement (en raison de la hausse du taux d'échantillonnage à 33 %), tandis que d'autres pourraient afficher des erreurs d'échantillonnage beaucoup plus élevées (en raison des taux de réponse anormalement faibles à l’enquête à participation volontaire). Les domaines d'intérêt plus restreints sont particulièrement à risque de présenter de telles fluctuations.

L'annexe de la présente contient les intervalles de confiance réels (c.-à-d. plus ou moins x %) du Recensement de 2006 pour diverses variables dans la région métropolitaine de recensement de Toronto, la région métropolitaine de recensement de Winnipeg et l’agglomération de recensement de Bathurst (Nouveau-Brunswick). Une simulation d’estimations et d'intervalles de confiance correspondants pour l’Enquête nationale auprès des ménages est fournie à des fins de comparaison, en supposant un taux de réponse de 50 %.

Erreur non due à l’échantillonnage

À part l’échantillonnage, plusieurs facteurs peuvent introduire des erreurs dans les résultats de l'enquête. À titre d’exemple, mentionnons les erreurs des répondants, l’influence des intervieweurs, la méthode de collecte des données et les erreurs de saisie et de traitement des données. La transition vers l’Enquête nationale auprès des ménages à participation volontaire aura peu d'effet sur certains de ces facteurs (comme les erreurs de saisie et de traitement des données), mais l'incidence sur les autres sources d’erreurs est inconnue et impossible à quantifier.

Toutefois, on croit que le biais de non-réponse sera la principale source d’erreur non due à l’échantillonnage dans l’Enquête nationale auprès des ménages. Toutes les enquêtes peuvent comporter un biais de non-réponse, même un recensement ayant un taux de réponse de 98 %. Le risque du biais de non-réponse s’accroît rapidement à mesure que le taux de réponse diminue. En général, ce phénomène est attribuable au fait que les non-répondants ont tendance à avoir des caractéristiques qui sont différentes de celles des répondants, et par conséquent, les résultats ne sont pas représentatifs de la population réelle. Étant donné que l’Enquête nationale auprès des ménages devrait obtenir un taux de réponse de seulement 50 %, il y a un risque élevé de biais de non-réponse.

Statistique Canada est très conscient de ces risques et des effets indésirables connexes sur la qualité des données. Il est en train de modifier ses méthodes de collecte des données et ses autres procédures afin d'atténuer ces risques dans la mesure du possible. Plus précisément, nous utiliserons les données sur la structure des réponses du Recensement de 2006 et les renseignements produits pendant la collecte des données en 2011 pour orienter nos efforts de suivi sur le terrain afin de réduire au minimum le biais de non-réponse. De plus, dans la mesure du possible, les données du Recensement de 2011 seront utilisées comme information auxiliaire dans le cadre des procédures d'estimations de l’Enquête nationale auprès des ménages afin de réduire une partie des biais restants. Cependant, il restera certainement un biais résiduel important, qui sera impossible à mesurer et à rectifier.

Pour vous donner une idée du potentiel de biais de non-réponse avant la mise en oeuvre des stratégies d'atténuation, une simulation a été réalisée pour trois régions géographiques au moyen du Recensement de 2006. La simulation compare les données réelles du questionnaire détaillé du Recensement de 2006¹ aux estimations, à partir de la supposition que 16 % plutôt que 19 % de la population a répondu pour certaines variables dans la région métropolitaine de Toronto, la région métropolitaine de recensement de Winnipeg et l’agglomération de recensement de Bathurst (Nouveau-Brunswick). Grâce à ces données et à des renseignements semblables, Statistique Canada planifiera ses opérations sur le terrain de manière à réduire au minimum, dans la mesure du possible, le potentiel de biais de non-réponse.

Comparabilité des données au fil du temps

Toute modification significative des méthodes d’enquête peut avoir une incidence sur la comparabilité des données au fil du temps. Il existe un risque réel que ce soit le cas pour l’Enquête nationale auprès des ménages. Il est clair qu’on ne pourra jamais déterminer avec certitude si et dans quelle mesure la modification d’une variable est attribuable à un changement réel ou découle de la transition du recensement à formulaire détaillé obligatoire à l’Enquête nationale auprès des ménages à participation volontaire.

La modification des processus d'enquête est toutefois inévitable et comporte des précédents même dans le cas du Recensement de la population. Par exemple, en 1971, deux grands changements ont été apportés : l’autodénombrement au lieu du dénombrement par interview, et le fait de poser certaines questions à un sous-échantillon (à l'époque 1/3) de la population au lieu de la population au complet (dans les recensements précédents, à compter de 1941, il y avait eu de l’échantillonnage, mais dans une mesure beaucoup plus restreinte).

Conclusion

Nous n’avons jamais réalisé une enquête de l'ampleur de l’Enquête nationale auprès des ménages à participation volontaire. À notre connaissance, aucun autre pays ne l’a jamais fait non plus. La nouvelle méthodologie a été mise en place relativement rapidement, et les essais ont été restreints. On ne connaît pas vraiment l'efficacité de nos stratégies d'atténuation pour neutraliser le biais de non-réponse et les autres effets qui limitent la qualité. Il est donc difficile d'anticiper le niveau de qualité du résultat final.

L'importance des problèmes de qualité dépend, dans une certaine mesure, de l'utilisation prévue des données. Par conséquent, et compte tenu de nos stratégies d'atténuation, nous avons confiance que l’Enquête nationale auprès des ménages produira des données utilisables et utiles qui répondront aux besoins de nombreux utilisateurs. Cependant, cette enquête n'offrira pas le niveau de qualité qui aurait été obtenu au moyen d'un questionnaire détaillé obligatoire du recensement.

Annexe

Les tableaux qui suivent visent à aider les lecteurs à comprendre les problèmes de qualité des données de l’Enquête nationale auprès des ménages en présentant certains indicateurs quantitatifs élaborés à partir des données du Recensement de 2006.

Le texte ci-dessous sert de guide pour la lecture de la première ligne du tableau de la région métropolitaine de Toronto. Les autres lignes sont lues de façon analogue pour les trois tableaux.

La variable d'intérêt dans cette ligne est le revenu total en 2005 de la population de la RMR de Toronto âgée de 15 ans et plus. Plus précisément, la première ligne porte sur le nombre de personnes dans ce groupe d’âge qui ont un revenu de moins de 1 000 $ ou qui n'ont pas de revenu. Le nombre estimatif de ces personnes d'après les données du Recensement de 2006 se chiffrait à 435 580. Selon les données réelles, l’intervalle de confiance de 95 % de cette estimation (étant donné que le recensement détaillé était une enquête-échantillon) s'établissait à plus ou moins 0,4 %. En supposant que le taux de réponse réel était de 50 %, ce qui correspond à l’hypothèse de travail pour l’Enquête nationale auprès des ménages, l’intervalle de confiance de 95 % pour l'estimation simulée correspondante de l’ENM serait de plus ou moins 0,5 %.

En continuant avec la première ligne du tableau de la RMR de Toronto, la dernière colonne indique les résultats de la simulation du biais de non-réponse pour cette tranche de revenu en l'absence de stratégie d'atténuation. Pour cette tranche de revenu, cette simulation indique que la taille de la population serait sous-estimée de 4,4 % par rapport à l'estimation du Recensement de 2006.

Dans certains cas dans les tableaux, le biais estimatif est inférieur à l'erreur d'estimation au niveau de confiance de 95 % pour le Recensement de 2006. Dans ces cas, il est impossible de conclure avec certitude que le biais existe.

Recensement de 2006 (questionnaire détaillé) comparativement aux estimations simulées de l’ENM de 2006 — RMR de Toronto

Taille estimée de la p opulation totale : 5 061 815
Nombre de répondants au recensement (questionnaire détaillé) : 974 435
Nombre estimatif de répondants de l’ENM : 728 340

	Estimation du Recensement de 2006	Recensement de 2006 +/- %	Estimation simulée de l’ENM	ENM de 2006 +/- %	Biais estimatif (%)
Revenu total en 2005 de la population de 15 ans et plus
Revenu inférieur à 1 000 $ ou sans revenu	435 580	0,4 %	416 415	0,5 %	-4,4 %
50 000 $ et plus	966 405	0,4 %	1 015 780	0,5 %	5,1 %
Population totale de 25 à 64 ans selon le plus haut certificat, diplôme ou grade obtenu
Etudes secondaires ou niveau de scolarité inférieur	982 800	0,4 %	945 150	0,5 %	-3,8 %
Collège/cégep	534 020	0,6 %	529 140	0,7 %	-0,9 %
Certificat, diplôme ou grade universitaire — baccalauréat et niveaux supérieurs	962 175	0,4 %	1 002 620	0,5 %	4,2 %
Population active totale de 15 ans et plus	2 815 845	0,2 %	2 821 480	0,2 %	0,2 %
Population active totale de 15 ans et plus par industrie
23 en construction	148 895	1,2 %	134 960	1,5 %	-9,4 %
91 en administration publique	94 195	1,6 %	101 295	1,8 %	7,5 %
Population active totale de 15 ans et plus par profession
A professions de gestion	320 600	0,8 %	320 305	0,9 %	-0,1 %
B professions dans les affaires, les finances et l’administration	590 605	0,6 %	614 430	0,6 %	4,0 %
D professions dans le domaine de la santé	124 080	1,3 %	123 300	1,5 %	-0,6 %
G professions dans les ventes et les services	611 410	0,5 %	594 170	0,7 %	-2,8 %
H professions dans les métiers, les transports et la machinerie et professions connexes	327 850	0,8 %	302 840	0,9 %	-7,6 %
Population totale des minorités visibles	2 174 065	0,4 %	2 131 405	0,5 %	-2,0 %
Chinois	486 330	1,1 %	572 040	1,2 %	17,6 %
Noirs	352 220	1,3 %	305 895	1,6 %	-13,2 %
Population totale par citoyenneté
Citoyenneté autre que canadienne	642 130	0,8 %	606 050	0,9 %	-5,6 %
Population par statut d’immigrant
Immigrants	2 320 165	0,2 %	2 274 450	0,3 %	-2,0 %
Population totale par identité autochtone et non autochtone
Population totale d’identité autochtone	26 575	3,4 %	25 000	4,1 %	-5,9 %
Statut d’Indien inscrit
Indien inscrit	9 950	3,9 %	8 790	4,9 %	-11,7 %
Mobilité depuis 1 an
Déménagement	612 130	0,9 %	575 780	1,1 %	-5,9 %
Pas de déménagement	4 459 945	0,1 %	4 496 295	0,1 %	0,8 %

Recensement de 2006 (questionnaire détaillé) comparativement aux données simulées de l’ENM de 2006 — RMR de Winnipeg

Taille estimée de la p opulation totale : 681 815
Nombre de répondants au recensement (questionnaire détaillé) : 132 155
Nombre estimé de répondants à l’ENM : 96 735

	Estimation du Recensement de 2006	Recensement de 2006 +/- %	Estimation simulée de l’ENM	ENM de 2006 +/- %	Biais estimatif (%)
Revenu total en 2005 de la population de 15 ans et plus
Revenu inférieur à 1 000 $ ou sans revenu	41 590	1,4 %	39 715	1,6 %	-4,5 %
50 000 $ et plus	104 420	1,3 %	107 995	1,5 %	3,4 %
Population totale de 25 à 64 ans selon le plus haut certificat, diplôme ou grade obtenu
Etudes secondaires ou niveau de scolarité inférieur	152 670	1,0 %	149 180	1,2 %	-2,3 %
Collège/cégep	73 235	1,5 %	73 435	1,8 %	0,3 %
Certificat, diplôme ou grade universitaire — baccalauréat et niveaux supérieurs	90 535	1,4 %	92 840	1,6 %	2,5 %
Population active totale de 15 ans et plus	385 870	0,5 %	385 360	0,6 %	-0,1 %
Population active totale de 15 ans et plus par industrie
23 en construction	18 780	3,5 %	17 070	4,3 %	-9,1 %
91 en administration publique	27 105	2,9 %	27 830	3,3 %	2,7 %
Population active totale de 15 ans et plus par profession
A professions de gestion	35 480	2,4 %	34 810	2,8 %	-1,9 %
B professions dans les affaires, les finances et l’administration	76 155	1,6 %	79 225	1,8 %	4,0 %
D professions dans le domaine de la santé	25 885	2,8 %	26 475	3,3 %	2,3 %
G professions dans les ventes et les services	95 180	1,4 %	93 505	1,6 %	-1,8 %
H professions dans les métiers, les transports et la machinerie et professions connexes	51 715	1,9 %	49 105	2,4 %	-5,0 %
Population totale des minorités visibles	102 945	2,3 %	99 340	2,8 %	-3,5 %
Chinois	12 810	7,0 %	12 245	8,5 %	-4,4 %
Noirs	14 470	6,6 %	13 845	8,0 %	-4,3 %
Population totale par citoyenneté
Citoyenneté autre que canadienne	37 545	3,3 %	35 770	4,0 %	-4,7 %
Population par statut d’immigrant
Immigrants	121 255	1,3 %	117 870	1,6 %	-2,8 %
Population totale par identité autochtone et non autochtone
Population totale d’identité autochtone	68 385	2,0 %	63 845	2,5 %	-6,6 %
Statut d’Indien inscrit
Indien inscrit	26 610	2,4 %	23 225	3,0 %	-12,7 %
Mobilité depuis 1 an
Déménagement	91 060	2,2 %	85 395	2,8 %	-6,2 %
Pas de déménagement	594 975	0,3 %	600 640	0,3 %	1,0 %

Recensement de 2006 (questionnaire détaillé) comparativement aux données simulées de l’ENM de 2006 — Bathurst

Taille estimée de la p opulation totale : 30 750
Nombre de répondants au recensement (questionnaire détaillé) : 5 910
Nombre estimé de répondants à l’ENM : 4 280

	Estimation du Recensement de 2006	Recensement de 2006 +/- %	Estimation simulée de l’ENM	ENM de 2006 +/- %	Biais estimatif (%)
Revenu total en 2005 de la population de 15 ans et plus
Revenu inférieur à 1 000 $ ou sans revenu	2 105	6,0 %	1 995	7,4 %	-5,2 %
50 000 $ et plus	3 805	6,7 %	4 040	7,7 %	6,2 %
Population totale de 25 à 64 ans selon le plus haut certificat, diplôme ou grade obtenu
Etudes secondaires ou niveau de scolarité inférieur	8 425	4,1 %	8 110	5,0 %	-3,7 %
Collège/cégep	4 075	6,4 %	4 205	7,5 %	3,2 %
Certificat, diplôme ou grade universitaire — baccalauréat et niveaux supérieurs	2 360	8,7 %	2 450	10,2 %	3,8 %
Population active totale de 15 ans et plus	15 830	2,6 %	15 625	3,2 %	-1,3 %
Population active totale de 15 ans et plus par industrie
23 en construction	795	16,9 %	805	20,1 %	1,3 %
91 en administration publique	1 465	12,3 %	1 535	14,4 %	4,8 %
Population active totale de 15 ans et plus par profession
A professions de gestion	1 145	13,3 %	975	17,3 %	-14,8 %
B professions dans les affaires, les finances et l’administration	2 680	8,5 %	2 695	10,1 %	0,6 %
D professions dans le domaine de la santé	1 410	11,9 %	1 610	13,3 %	14,2 %
G professions dans les ventes et les services	4 310	6,5 %	4 445	7,6 %	3,1 %
H professions dans les métiers, les transports et la machinerie et professions connexes	2 635	8,5 %	2 525	10,5 %	-4,2 %
Population totale des minorités visibles	300	45,9 %	170	73,2 %	-43,3 %
Chinois	40	126,4 %	10	302,5 %	-75,0 %
Noirs	115	74,4 %	60	123,4 %	-47,8 %
Population totale par citoyenneté
Citoyenneté autre que canadienne	100	65,4 %	130	68,6 %	30,0 %
Population par statut d’immigrant
Immigrants	475	23,2 %	475	27,8 %	0,0 %
Population totale par identité autochtone et non autochtone
Population totale d’identité autochtone	440	26,2 %	505	29,2 %	14,8 %
Statut d’Indien inscrit
Indien inscrit	185	28,7 %	160	37,0 %	-13,5 %
Mobilité depuis 1 an
Déménagement	3 235	12,1 %	2 630	16,3 %	-18,7 %
Pas de déménagement	27 695	1,2 %	28 300	1,2 %	2,2 %

Note:

1. Pour les besoins de la simulation, on a supposé que les estimations du Recensement de 2006 étaient des valeurs de population « réelles ». Cela dit, il convient de souligner que les estimations du Recensement de 2006 sont elles-mêmes sensibles à l’erreur d’échantillonnage et au biais de réponse, puisqu'elles sont basées sur un échantillon d’un ménage sur cinq.