Section 7 : Qualité des données

Consulter la version la plus récente.

Erreurs non dues à l’échantillonnage

Des erreurs qui ne sont pas reliées à l’échantillonnage peuvent se produire à presque toutes les étapes des opérations d’enquête. Les intervieweurs peuvent avoir mal compris les instructions, les enquêtés peuvent se tromper en répondant aux questions, les réponses peuvent être saisies de façon incorrecte et des erreurs peuvent être faites au moment du traitement et de la totalisation des données. Il s’agit là d’autant d’erreurs non dues à l’échantillonnage.

Lorsque le nombre d’observations est élevé, les erreurs aléatoires ont peu d’effet sur les estimations calculées à partir des résultats de l’enquête. Toutefois, les erreurs systématiques contribuent à biaiser les estimations. À chacune des étapes du cycle de collecte et de traitement des données, on applique des mesures d’assurance de la qualité pour contrôler la qualité des données. Au nombre de ces mesures figurent le recours à des intervieweurs hautement qualifiés, une formation poussée des intervieweurs concernant les procédures et le questionnaire de l’enquête, l’observation des intervieweurs en vue de cerner les problèmes liés à la conception du questionnaire ou à une mauvaise compréhension des instructions, des contrôles visant à réduire au minimum les erreurs de saisie des données ainsi que des vérifications du codage et des contrôles ayant pour but d’attester de la logique du traitement.

Erreurs d’échantillonnage

L'Enquête sur la population active recueille des renseignements auprès d'un échantillon de ménages. On pourrait obtenir des estimations différentes d'un recensement complet des ménages réalisé dans un environnement identique à celui de l'Enquête sur la population active, c'est-à-dire basé sur les mêmes questionnaires, intervieweurs, méthodes de traitement, etc. L’écart entre les estimations découlant de l’échantillon et celles que donnerait un dénombrement exhaustif réalisé dans des conditions comparables est appelé erreur d’échantillonnage de l’estimation, ou variabilité d’échantillonnage. Les produits de l’Enquête sur la population active sont assortis de mesures approximatives de l’erreur d’échantillonnage; nous recommandons vivement aux utilisateurs d’en tenir compte au moment d’analyser les données.

Les utilisateurs peuvent recourir à trois méthodes d’interprétation pour évaluer la précision de l’estimation : l’interprétation directement à l’aide de l’erreur-type, et deux autres méthodes elles aussi fondées sur l’erreur-type, soit l’interprétation à l’aide de l’intervalle de confiance, et l’interprétation à l’aide des coefficients de variation.

Interprétation à l'aide de l'erreur-type

L’erreur d’échantillonnage, ou erreur-type, est une mesure permettant de quantifier l’écart entre une estimation fondée sur un échantillon et la valeur tirée d'un recensement. Elle se base sur la notion du prélèvement de plusieurs échantillons, bien que, dans une enquête, on ne prélève qu’un seul échantillon et qu’on ne recueille que des renseignements se rapportant aux unités de cet échantillon. Le prélèvement d'un grand nombre d'échantillons à partir d'une population donnée, selon le même plan d'échantillonnage, produirait une estimation située à une erreur-type de la valeur censitaire dans environ 68 % des échantillons et à deux erreurs-type de la valeur censitaire dans environ 95 % des échantillons.

Ainsi quand on examine des variations, par exemple d’un mois à l’autre, dans les deux tiers des cas (68 %), une variation supérieure à l’erreur d’échantillonnage indique une variation réelle. Plus la variation est importante relativement à l’erreur-type, plus la probabilité qu’elle indique une variation réelle, plutôt qu’une variation attribuable à la variabilité d’échantillonnage, est grande. À un niveau de confiance de 95 %, la variation de l’estimation doit être supérieure au double de l’erreur d’échantillonnage pour indiquer une variation réelle.

Les variations des estimations qui sont inférieures à l’erreur d’échantillonnage sont moins susceptibles d’indiquer une variation réelle et plus susceptibles de refléter la variabilité d’échantillonnage. Si ces observations s’appliquent aux variations mensuelles, une série de variations consécutives dans la même direction est plus digne de confiance, même si certaines des variations mensuelles sont inférieures à l’erreur d’échantillonnage.

Supposons pour illustrer que, entre deux mois, l’estimation publiée de l’emploi total augmente de 40 000, et que l’erreur-type associée à l’estimation de la variation se chiffre à 27 200. Puisque la hausse est plus grande que une fois l’erreur-type, il y a au moins 2 chances sur 3 (68 %) que l’augmentation de l’emploi de 40 000 représente réellement une hausse. Pour être assuré à 95 % de la véracité de l’affirmation, il faut doubler la valeur de l’erreur-type. Puisque la hausse de l’emploi de 40 000 est plus petite que le double de l’erreur-type (54 400), il est impossible d’affirmer à un niveau de confiance de 95 % qu’il y a eu hausse de l’emploi.

Interprétation à l'aide de l'intervalle de confiance

On peut aussi examiner la variabilité inhérente aux estimations tirées d’enquêtes-échantillons sous l’angle des intervalles de confiance. Supposons pour illustrer le calcul d’un intervalle de confiance que, au cours d’un mois donné, l’estimation publiée de l’emploi total augmente de 16 000 pour atteindre 16 500 000. L’erreur-type associée à l’estimation de la variation se chiffre à 27 200. En utilisant l’erreur-type pour construire les intervalles de confiance, on peut dire que : 

1. Dans environ deux cas sur trois (68 %), la valeur réelle de la variation d’un mois à l’autre se situera dans la fourchette allant de -11 200 à +43 200 (c’est-à-dire 16 000 + ou – une erreur-type).
2. Dans environ neuf cas sur dix (90 %), la valeur réelle de la variation d’un mois à l’autre se situera dans la fourchette allant de -27 520 à +59 520 (c’est-à-dire 16 000 + ou – 1,6 fois l’erreur-type).
3. Dans environ dix-neuf cas sur vingt (95 %), la valeur réelle de la variation d’un mois à l’autre se situera dans la fourchette allant de -38 400 à +70 400 (16 000 + ou – deux fois l’erreur-type).

Interprétation à l'aide du coefficient de variation

On peut aussi exprimer la variabilité d'échantillonnage en fonction de l'estimation. Le coefficient de variation (CV) est une mesure de l'erreur d'échantillonnage définie en pourcentage de l'estimation. En fait, il s'agit d'une erreur-type relative. Le CV donne un aperçu du degré d’incertitude associé aux estimations. Par exemple, avec un CV de 7 %, on peut dire que dans 68 % des échantillons, la valeur censitaire se trouvera au maximum à plus ou moins 7 % (la valeur du CV) de l'estimation alors que dans 95 % des échantillons, elle se situera au maximum à plus ou moins 14 % (le double du CV) de l'estimation.

Il est préférable d’obtenir des CV peu élevés puisque de tels CV indiquent que la variabilité d’échantillonnage est faible par rapport à l’estimation. Le CV dépend de la valeur des estimations, de la taille de l’échantillon à partir duquel l’estimation est établie, de la répartition de l’échantillon et de l’utilisation d’information auxiliaire dans la procédure d’estimation. La valeur des estimations est importante parce que le CV représente l’erreur d’échantillonnage exprimée en pourcentage de l’estimation. Plus la valeur de l’estimation est faible, plus le CV est élevé (toutes choses étant égales par ailleurs). Par exemple, lorsque le taux de chômage est élevé, le CV peut être faible. Si le taux de chômage baisse en raison de l’amélioration de la situation économique, le CV correspondant augmentera. Normalement, dans le cas d’estimations similaires, l’estimation fondée sur l’échantillon le plus grand est associée au CV le plus bas, car l’erreur d’échantillonnage est plus petite.

Par ailleurs, les estimations se rapportant à des caractéristiques plus groupées donnent lieu à un CV plus élevé. Ainsi, les personnes employées dans les secteurs de la foresterie, de la pêche, de l’exploitation minière et de l’exploitation pétrolière et gazière au Canada sont plus regroupées sur le plan géographique que les femmes de 55 à 64 ans employées en Ontario. La variabilité d’échantillonnage correspondant à ce dernier groupe sera plus faible, même si la valeur des estimations est similaire.

Enfin, les estimations se rapportant à l’âge et au sexe sont généralement plus fiables que d’autres estimations analogues parce que, dans le cas des estimations de l’EPA, l’échantillon est calibré en fonction des projections postcensitaires de la population selon diverses catégories d’âge et de sexe. Pour poursuivre l’exemple précédent, les personnes employées à temps partiel en Alberta seront associées à une variabilité d’échantillonnage plus forte que les hommes de 35 à 44 ans employés en Colombie-Britannique, même si la valeur des estimations est similaire.

Variabilité des estimations mensuelles

Pour déterminer le CV approximatif d’une estimation mensuelle, veuillez consulter le tableau 7.1, lequel présente l'estimation en fonction de la région géographique et du CV. Les lignes correspondent à la région géographique à laquelle l’estimation est associée et les colonnes, au degré de précision exprimé en CV, selon la grandeur de l'estimation. Pour déterminer le CV d'une estimation X dans la région A, suivez la ligne de la région A jusqu'à la première estimation la plus proche de X sans la dépasser. Le titre de la colonne indiquera le CV approximatif. Par exemple, pour connaître l'erreur d'échantillonnage d'une estimation de 30 200 chômeurs à Terre-Neuve-et-Labrador en septembre 2008, on constate que l'estimation inférieure la plus proche, de 27 600, donne un CV de 5 %. L'estimation de 30 200 chômeurs à Terre-Neuve-et-Labrador aura donc un CV d'environ 5 %.

Le tableau 7.1 donne une idée approximative de la variabilité d'échantillonnage. Cette dernière est modélisée pour que le CV réel de l’estimation soit inférieur ou égal au CV du tableau dans environ 75 % des cas. Néanmoins, dans 25 % des cas, le CV réel de l'estimation sera plus élevé que celui indiqué par le tableau.

Les valeurs de CV qui apparaissent au tableau 7.1 sont dérivées d'un modèle établi à partir des données de l'échantillon de l’EPA de 2005, 2006, 2007 et de la majeure partie de 2008. Il faut bien se rappeler que ces valeurs ne sont que des approximations.

Variabilité des estimations annuelles

Pour déterminer le CV approximatif d’une estimation d’une moyenne annuelle, veuillez consulter le tableau 7.2, lequel présente l'estimation en fonction de la région géographique et du CV. Les lignes correspondent à la région géographique à laquelle l'estimation est associée et les colonnes, au degré de précision exprimé en CV, selon la grandeur de l'estimation. Pour déterminer le CV d'une estimation X dans la région A, suivez la ligne de la région A jusqu'à la première estimation la plus proche de X sans la dépasser. Le titre de la colonne indiquera le CV approximatif. Par exemple, pour connaître l'erreur d'échantillonnage d'une estimation annuelle de 37 500 chômeurs à Terre-Neuve-et-Labrador, on constate que l'estimation inférieure la plus proche, de 17 100, donne un CV de 2,5 %. L'estimation de 37 500 chômeurs à Terre-Neuve-et-Labrador aura donc un CV d'environ 2,5 %.

Le tableau 7.2 donne une idée approximative de la variabilité d'échantillonnage. Cette dernière est modélisée pour que le CV réel de l’estimation soit inférieur ou égal au CV du tableau dans environ 75 % des cas. Néanmoins, dans 25 % des cas, le CV réel de l'estimation sera plus élevé que celui indiqué par le tableau.

Les valeurs de CV qui apparaissent au tableau 7.2 sont dérivées d'un modèle établi à partir des données de l'échantillon de l’EPA de 2004, 2005, 2006, 2007 et la majeure partie de 2008. Il faut bien se rappeler que ces valeurs ne sont que des approximations.

Tableaux de variabilité de l’échantillonnage pour les territoires

Les valeurs de CV qui apparaissent au tableau 7.3 sont dérivées d'un modèle établi à partir des données de l'échantillon de l’EPA de 2003 à 2008 pour le Territoire du Yukon et les Territoires du Nord-Ouest et de 2004 à 2008 pour les 10 communautés les plus grandes de Nunavut.

Pour une mesure plus précise de la variabilité, veuillez composez notre numéro sans frais 1 866 873-8788 ou communiquez avec nous par courriel à travail@statcan.gc.ca.

Variabilité des taux

Pour les estimations exprimées sous forme de taux ou de pourcentages, la variabilité d'échantillonnage dépend de la variabilité du numérateur et du dénominateur du rapport. Les divers taux donnés sont traités différemment, car certains dénominateurs sont des valeurs étalonnées pour lesquelles il n’y a pas de variabilité d'échantillonnage.

Taux de chômage

Dans un groupe de personnes, le taux de chômage est défini comme le rapport du nombre de chômeurs, soit X, sur le nombre total de personnes dans la population active, soit Y. Le groupe peut désigner une province ou une RMR et (ou) un groupe d'âge-sexe. Par exemple, en septembre 2007, on dénombrait environ 30 200 chômeurs à Terre-Neuve-et-Labrador, tandis que la population active de la province comptait 255 000 personnes, ce qui donnait un taux de chômage de 11,8 %.

Pour déterminer le CV du taux de chômage, on se sert de la formule suivante :  où CV(X) est la valeur du CV associée au nombre total de chômeurs d'un sous-groupe régional ou démographique et CV(Y), la valeur du CV associé au nombre total de personnes faisant partie de la population active dans le même sous-groupe. Pour reprendre l'exemple de Terre-Neuve-et-Labrador, le CV du taux de chômage de 11,8 % serait égal à  , puisque les CVs associés aux estimations mensuelles de 30 200 et de 255 000 à Terre-Neuve-et-Labrador sont respectivement de 5 % et de 2,5 %, selon le tableau 7.1.

Taux d’activité et taux d’emploi

Le taux d'activité représente la population active exprimée en pourcentage de la population totale. Le taux d’emploi est le nombre total de personnes occupées divisé par la population totale. Le numérateur et le dénominateur de ces deux rapports se rapportent au même groupe régional et démographique.

Les estimations de la population de l’EPA à l'échelle du Canada, des provinces, des RMR et de certains groupes d'âge-sexe ne sont pas sujettes à la variabilité d’échantillonnage, car elles sont étalonnées selon des sources indépendantes. Par conséquent, le CV correspondant du taux d'activité et du taux d’emploi est équivalent au CV du numérateur.

On appelle « domaine » les sous-groupes se trouvant à l’intérieur du Canada, des provinces et des groupes d'âge-sexe. Ainsi, les personnes occupées dans le secteur de l’agriculture au Manitoba forment un domaine. Pour déterminer le CV des taux se rapportant à un domaine, on doit tenir compte de la variabilité du numérateur et du dénominateur, car le dénominateur n'est plus un total contrôlé. Il est donc sujet à la variabilité d'échantillonnage. On peut calculer le CV associé au taux d'activité et au taux d’emploi dans un domaine de la même façon que celle montrée précédemment pour le taux de chômage. Les totaux figurant au numérateur et au dénominateur d’un taux en particulier devraient se rapporter au même domaine ou au même sous-groupe.

Variabilité de l’estimation d’un changement

La différence entre des estimations provenant de deux périodes différentes donne une estimation du changement, laquelle est sujette aussi à la variabilité d'échantillonnage. L'estimation d’un changement entre deux années ou entre deux mois repose sur deux échantillons qui peuvent avoir des ménages en commun. Ainsi, le CV du changement dépend à la fois du CV des estimations observées à chacune des deux périodes et du chevauchement entre les échantillons des deux périodes (p).

La formule qui suit peut être utilisée pour calculer le CV de l'estimation du changement :  où Y₁ et Y₂ correspondent à l'estimation respective des deux périodes; la valeur de p est 5/6 pour un changement entre deux mois consécutifs et zéro pour un changement d'une année à l'autre. Lorsqu’on compare les moyennes annuelles de deux années, les CV des estimations annuelles devraient être dérivées à partir du tableau 7.2. Pour un changement entre deux mois, les estimations désaisonnalisées devraient être utilisées, conjointement avec les CV des estimations mensuelles dérivées à partir du tableau 7.1. Veuillez prendre note que la formule ci-dessus produit des estimations approximatives de la variabilité de l’échantillonnage associées à l’estimation d’un changement.

Lignes directrices concernant la fiabilité des données

Les Enquêtes-ménages de Statistique Canada utilisent généralement les lignes directrices et les catégories de fiabilité suivantes pour interpréter les valeurs de CV pour l'exactitude des données et pour la diffusion de l'information statistique.

Catégorie 1 - Si le CV est ≤ 16,5 % - Aucune restriction de diffusion : les données sont suffisamment exactes, si bien qu'un avertissement particulier aux utilisateurs ou d'autres restrictions ne sont pas nécessaires.

Catégorie 2 - Si le CV est > 16,5 % et ≤ 33,3 % - Diffusion avec mise en garde : les données sont potentiellement utiles pour certaines fins, mais devraient être accompagnées d'un avertissement aux utilisateurs concernant leur exactitude.

Catégorie 3 - Si le CV est > 33,3 % - Diffusion déconseillée : les données contiennent un niveau d'erreur élevé au point qu'elles ne devraient pas être diffusées dans la plupart des circonstances afin d'éviter de tromper les utilisateurs. Si les utilisateurs insistent pour inclure les données de la catégorie 3 dans un produit non normalisé, même après avoir été informés de leur exactitude, les données devraient être accompagnées d'un avis de non-responsabilité. L'utilisateur devrait reconnaître les mises en garde reçues et s'engager à ne pas diffuser, présenter ni déclarer les données, directement ou indirectement, sans cet avis de non-responsabilité.

Critères de diffusion

La Loi interdit à Statistique Canada de rendre publique toute donnée susceptible de révéler de l'information obtenue en vertu de la Loi sur la statistique et se rapportant à toute personne, entreprise ou organisation reconnaissable sans que cette personne, entreprise ou organisation le sache ou y consente par écrit. Diverses règles de confidentialité s'appliquent à toutes les données diffusées ou publiées afin d'empêcher la publication ou la divulgation de toute information jugée confidentielle. Au besoin, des données sont supprimées pour empêcher la divulgation directe ou par recoupement de données reconnaissables.

L'EPA permet de produire une vaste gamme de résultats donnant des estimations pour diverses caractéristiques de la population active. La plupart de ces résultats sont des estimations présentées sous la forme de tableaux de tri croisé. Les estimations sont arrondies à la centaine la plus proche, et un ensemble de règles de suppression est appliqué pour qu'aucune estimation inférieure à un seuil minimum ne soit diffusée.

Les estimations de l'EPA inférieures aux seuils présentés au tableau 7.4 sont supprimées.

Suivant | Précédent