Introduction
En sa qualité d'organisme professionnel responsable de la production de données officielles, Statistique Canada se doit de faire connaître aux utilisateurs les concepts et la méthodologie utilisés dans la collecte, le traitement et l'analyse de ses données, la précision des données et toutes autres caractéristiques concernant la qualité des données ou l'adéquation des données à leur utilisation.
Les utilisateurs doivent d'abord être en mesure de vérifier si le cadre conceptuel et les définitions qui répondraient à leurs besoins particuliers en matière de données et à l'utilisation qu'ils comptent faire de celles-ci sont identiques ou suffisamment semblables à ceux employés aux fins de la collecte et du traitement des données. Ils doivent alors pouvoir évaluer dans quelle mesure la précision des données et les autres aspects de la qualité correspondent à l'utilisation ou à l'interprétation prévue.
L'évaluation de la qualité des données et de l'adéquation des données à leur utilisation constitue une tâche complexe compte tenu de la nature pluridimensionnelle du concept de la qualité. La gamme complète des utilisations éventuelles des données ne peut pas toujours être prévue et on ne peut évaluer tous les aspects de la qualité dans chaque contexte d'utilisation. Plus particulièrement, les données sont exposées à de nombreuses sources d'erreur et, dans l'état actuel de nos connaissances, une mesure exhaustive de la précision des données est rarement possible. Les mesures de précision fournies aux utilisateurs comporte donc des limites bien nettes et il est impossible d'élaborer une norme stricte relativement à l'évaluation de la qualité des données pour l'ensemble des produits du Bureau. Il faut plutôt insister sur la description et la quantification des principales caractéristiques de qualité des données.
Politique
- Statistique Canada fournira aux utilisateurs des indicateurs de la qualité des données diffusées et une description de la méthodologie et des concepts sous-jacents.
- Il faut joindre aux produits statistiques la documentation relative à la qualité et à la méthodologie ou la citer en référence.
- La documentation relative à la qualité et à la méthodologie doit être conforme aux normes et lignes directrices émises, à intervalles irréguliers, aux termes de la présente politique.
- Dans des circonstances spéciales, il est possible d'obtenir l'autorisation de se soustraire aux exigences de la présente politique en procédant de la façon dont il est fait état au paragraphe ci-dessous traitant des responsabilités.
- Il faut faire connaître aux promoteurs d'enquêtes à fonds recouvrables et de projets de consultation statistique à l'issue desquels Statistique Canada ne publiera aucune donnée, les sections pertinentes des normes et lignes directrices émises en vertu de la présente politique et les inciter à les respecter.
Portée
La présente politique s'applique à toutes les données et à tous les résultats analytiques diffusés par Statistique Canada, quelle que soit la méthode de collecte, de calcul ou d'intégration utilisée, abstraction faite du mode de diffusion ou de la source de financement.
Normes et lignes directrices concernant la documentation sur la qualité des données et la méthodologie
(Version révisée en date du 25 novembre 2002)
A. Introduction
En vertu de la Politique visant à informer les utilisateurs sur la qualité des données et la méthodologie, tous les produits statistiques doivent inclure de la documentation sur la qualité des données et la méthodologie ou inclure un renvoi à cette documentation. Les présentes normes et lignes directrices visent à définir le type de documentation requis. Les Normes décrivent en détail les exigences obligatoires qui s'appliquent à la documentation sur la qualité des données et la méthodologie, pour tous les produits visés par la présente Politique. Cependant, il peut arriver qu'une documentation plus détaillée et plus exhaustive sur la méthodologie et la qualité des données soit souhaitable, pour certains programmes et produits qui y sont associés; dans ce dernier cas, le type d'information à inclure dans la documentation complémentaire est précisé dans les Lignes directrices.
Les présentes normes et lignes directrices doivent être prises en considération lorsqu'on planifie ou évalue la documentation et le mode de diffusion d'un programme statistique. Il faut également en tenir compte durant l'établissement du calendrier et du budget des activités.
En prémisse aux présentes normes et lignes directrices, la section B décrit les éléments de la qualité tels qu'ils sont définis dans le cadre relatif à la qualité des données établi par Statistique Canada. La section C présente ensuite quelques définitions de base, et les principes généraux devant guider la mise en oeuvre des normes et lignes directrices sont énoncés à la section D. Enfin, les normes et lignes directrices proprement dites figurent à la section E et sont suivies, en annexe, de quelques exemples illustrant l'application des normes et lignes directrices.
B. Éléments de la qualité
Il n'existe pas de définition commune de la qualité des statistiques officielles, acceptée par les différents organismes statistiques. Statistique Canada, pour sa part, définit la qualité des données en fonction de « l'adaptation des données à leur utilisation », cette adaptation des données ou de l'information statistique étant elle-même fonction des caractéristiques intrinsèques des données et de l'usage dont on veut en faire. Le but premier de la Politique est d'assurer que les utilisateurs ont accès à l'information dont ils ont besoin pour juger de la pertinence des données en regard de l'usage dont ils veulent en faire.
Six dimensions de la qualité ont été définies en regard de ce concept de « l'adaptation des données à leur utilisation ».
- La pertinence de l'information statistique fait référence au degré d'adéquation de l'information aux besoins réels des utilisateurs, c'est-à-dire de la mesure dans laquelle l'information apporte des précisions sur les questions qui revêtent le plus d'importance pour les utilisateurs. L'évaluation de la pertinence doit tenir compte des besoins variables des utilisateurs.
- L'exactitude de l'information statistique fait référence à l'exactitude avec laquelle l'information décrit le phénomène qu'elle était censée mesurer. L'exactitude se caractérise habituellement en fonction de l'erreur dans les estimations statistiques et elle se décompose généralement entre le biais (erreur systématique) et la variance (erreur aléatoire). Elle peut aussi être décrite en fonction des principales sources d'erreur susceptibles de causer l'inexactitude (p. ex. erreurs de couverture, d'échantillonnage, de non-réponse, de réponse).
- L'actualité de l'information statistique fait référence au temps qui s'écoule entre, d'une part, le point de référence (ou la fin de la période de référence) auquel se rapporte l'information et, d'autre part, la date à laquelle l'information est diffusée. Il s'agit généralement de parvenir à un équilibre entre l'actualité et l'exactitude des données. L'actualité de l'information influe en retour sur sa pertinence.
- L'accessibilité de l'information statistique fait référence à la facilité avec laquelle les utilisateurs peuvent y avoir accès, y compris la facilité avec laquelle il peut être établi que cette information existe. Cette dimension couvre également la pertinence de la forme ou du support sur lesquels l'information est disponible; le coût de l'information peut aussi être un facteur d'accessibilité pour certains utilisateurs.
- L'intelligibilité de l'information statistique fait référence à la disponibilité de l'information complémentaire et des méta-données nécessaires à l'interprétation et à l'utilisation adéquates de l'information. Cette dimension englobe normalement les concepts sous-jacents, les variables et les classifications utilisés, la méthode de collecte des données, ainsi que les indicateurs de l'exactitude de l'information statistique. La présente Politique vise à assurer l'intelligibilité de l'information diffusée.
- La cohérence de l'information statistique reflète dans quelle mesure l'information peut être combinée avec succès à d'autres données statistiques, à l'intérieur d'un vaste cadre analytique et dans le temps. L'utilisation de concepts et de classifications types, ainsi que de populations cibles, favorise la cohérence, tout comme l'utilisation d'une méthodologie commune pour diverses enquêtes. La cohérence ne signifie pas nécessairement une cohérence numérique totale.
La documentation sur la méthodologie et la qualité des données fait partie intégrante des données statistiques et des résultats d'analyse qui s'appuient sur ces données. Elle fournit les moyens d'évaluer la pertinence des données en regard de l'usage proposé et favorise directement l'intelligibilité de ces données.
C. Définitions
Les définitions suivantes s'appliquent aux présentes normes et lignes directrices.
Mesure de l'exactitude des données : Valeur numérique, ou symbole correspondant à des valeurs numériques, qui quantifie ou résume l'ampleur vraisemblable de l'écart, de même que les sources importantes d'écart, entre les données publiées et les quantités que l'activité statistique était censée estimer.
Cote d'exactitude des données : Catégorisation ou quantification de l'exactitude des données, fondée sur des jugements ou des analyses éclairés. Ces cotes résument l'exactitude des données ou indiquent le niveau de confiance avec lequel ces données peuvent être utilisées. Les cotes d'exactitude conviennent lorsqu'il est impossible d'établir une mesure de l'exactitude, à cause de la nature même du produit ou pour des raisons de temps, de coût ou de faisabilité technique.Les cotes d'exactitude des données doivent s'appuyer sur un jugement sûr et des données valables. Ces cotes peuvent évaluer l'effet d'une source unique d'erreur, ou l'exactitude globale des données. Elles peuvent s'appuyer sur des macro-comparaisons avec des données provenant d'autres sources ou sur des conclusions tirées d'une révision des « mesures de l'exactitude des données ». Il peut aussi s'agir de simples énoncés ou rangs numériques basés sur l'évaluation, par un spécialiste, des sources de données ou de la méthodologie.
Indicateurs de l'exactitude des données : Mesures ou cotes d'exactitude des données, aussi désignées « indicateurs de l'exactitude ».
Documentation sur la méthodologie : Documentation qui fournit une description des concepts et de la méthodologie qui sous-tendent la mise en oeuvre d'un programme statistique, y compris une définition détaillée des variables, de la terminologie, des indices, des modèles et des estimateurs utilisés. Elle doit également inclure une description de tout changement ayant une incidence sur la comparabilité des données dans le temps et de tout autre aspect de la méthodologie qui influe sur la qualité des données.
Énoncé statistique ou résultat d'analyse : Tout énoncé ou résultat qui, explicitement ou implicitement, apporte des précisions sur la signification sous-jacente ou la signification statistique d'une estimation ou d'une conclusion. Cette catégorie inclut les faits saillants, les interprétations, les résultats des essais statistiques et les énoncés ayant trait aux tendances, aux variations ou à la signification.
D. Principes généraux
Les principes généraux suivants doivent guider la mise en oeuvre des présentes normes et lignes directrices.
- Il faut fournir aux utilisateurs l'information dont ils ont besoin pour comprendre à la fois les points forts et les lacunes des données diffusées.
- La documentation sur la qualité des données, qui est fournie aux utilisateurs, doit amener ces derniers à prendre conscience de l'importance de la qualité dans l'usage adéquat des données.
- La documentation sur la méthodologie doit permettre aux utilisateurs de déterminer si les données fournissent une approximation adéquate de ce qu'ils cherchent à mesurer et si les limites de tolérance des estimations sont acceptables en regard de l'usage prévu.
- La documentation doit être claire, bien structurée et accessible. De plus, les indicateurs de l'exactitude ne doivent pas être difficiles à comprendre ou à utiliser par les utilisateurs, sur le plan technique.
- Les descriptions de la méthodologie et les indicateurs de l'exactitude des données doivent être soigneusement intégrés, chaque fois que cela favorisera une meilleure compréhension de la part des utilisateurs.
- La section E définit les normes précises qui s'appliquent à la documentation sur la qualité des données ou la méthodologie, en fonction du niveau de détail requis. Il s'agit de normes obligatoires, mais minimales, et la nécessité d'appliquer des normes plus détaillées dépend des avantages qui en résulteront pour les utilisateurs ou, en termes plus précis, des facteurs suivants :
- du type de méthode de collecte des données, des sources de données et de la méthode d'analyse;
- de la nature du produit et des fins auxquelles il est destiné;
- de l'étendue et de l'incidence de l'utilisation des données;
- du mode de diffusion, et
- du budget total du programme statistique.
- Aux fins de la présente Politique, le niveau de détail de la documentation sur la qualité des données et la fréquence de sa mise à jour dépendent des facteurs suivants :
- des utilisations que l'on entend faire des données;
- du risque d'erreur et de l'importance de cette erreur pour l'utilisation des données;
- de la variation de l'exactitude et de la cohérence dans le temps;
- du coût de l'évaluation de la qualité des données en regard du coût global du programme statistique;
- de la possibilité d'amélioration subséquente de la qualité et de l'efficacité;
- de l'applicabilité et de l'utilité des indicateurs de l'exactitude pour les utilisateurs.
E. Normes et lignes directrices
La nature et la complexité de l'information sur la qualité des données et la méthodologie, qui doit être fournie aux utilisateurs, dépend du programme statistique et de la nature des données. Le mode de diffusion influe également, dans une certaine mesure, sur la manière de présenter la documentation sur la qualité des données et la méthodologie, ou d'y donner accès, et sur le contenu de cette documentation. Malgré ces différences, il existe néanmoins une information minimale sur la qualité des données et la méthodologie à laquelle tous les utilisateurs doivent pouvoir se référer -- les Normes (E.1) définissent en détail ces exigences obligatoires de la Politique. La section qui suit (E.2), Lignes directrices, décrit la documentation complémentaire sur la méthodologie et l'exactitude des données qui doit être fournie pour les enquêtes principales, les recensements ou les programmes importants. Enfin, les options ou exigences additionnelles qui s'appliquent à des types précis de données sont définies à la section E.3.
La base intégrée de méta-données (BIMD) constituera, pour tous les programmes et produits, une importante source d'information pour répondre aux exigences de la Politique. En tant qu'organe d'archivage de l'information sur les enquêtes et programmes de Statistique Canada, la BIMD devrait en effet contenir la majeure partie de l'information sur la méthodologie susceptible d'être fournie aux utilisateurs. La BIMD contiendra également l'information sur l'exactitude des données, requise en vertu de la Politique. Cette information pourra être copiée de la BIMD directement dans le produit ou, suivant le mode de diffusion, l'utilisateur pourra accéder à la BIMD par le biais de liens électroniques. Les rubriques sous lesquelles doit être présentée l'information requise en vertu de la présente Politique correspondent aux rubriques de la BIMD; de cette manière, le même texte pourra servir aux deux utilisations, pour la plupart des produits statistiques. Une série uniforme de rubriques permettra également de mieux servir les utilisateurs qui consultent un éventail de produits différents.
La Politique stipule notamment que les produits statistiques doivent inclure de la documentation sur la qualité des données et la méthodologie, ou y faire référence. L'information peut être incluse dans le produit statistique, y être jointe sous une autre forme, ou l'utilisateur peut y avoir accès électroniquement. Quel que soit le cas, la documentation doit former un tout contigu et ne pas être dispersée dans l'ensemble du produit. Au besoin, des aspects précis de la documentation, ou un renvoi à cette documentation, peuvent être inclus ailleurs dans le produit; cependant, il faut chercher également à réduire au minimum les répétitions.
Enfin, tout renvoi ou lien dirigeant l'utilisateur vers l'information sur la qualité des données et la méthodologie doit inclure les mots « qualité » (dans la plupart des cas, il sera indiqué « qualité des données ») et « méthodologie ».
E.1. Normes : documentation obligatoire
Un ensemble précis d'information sommaire sur la qualité des données et la méthodologie doit être fourni aux utilisateurs, ou mis à leur disposition, pour chaque produit statistique. Cette information doit refléter le produit en question, même s'il est prévu que la majeure partie de cette information sommaire sera commune à bon nombre des produits d'un même programme statistique.
Sujets à traiter dans la documentation
La documentation sommaire requise aux termes de la Politique doit être présentée conformément à la structure définie ci-après. Les points sous chaque rubrique précisent l'information à inclure (s'il y a lieu) dans la documentation sommaire; cette liste n'est toutefois pas exhaustive et n'exclut pas l'ajout de toute autre information jugée nécessaire à une bonne interprétation ou utilisation d'un produit d'information particulier; elle n'exclut pas non plus des variations dans la présentation du matériel, si cela est jugé nécessaire à une meilleure compréhension. Le contenu exact de chaque rubrique dépend du programme, du type de données ou de résultats inclus dans le produit, ainsi que de l'existence (ou non) d'importants problèmes à décrire concernant l'exactitude des données. Le système de numérotation qui suit ne fait pas partie de la norme et n'est indiqué que pour faciliter la compréhension.
1. Note(s) aux utilisateurs (le cas échéant)
(Note explicative : n'inclure cette rubrique que s'il y a lieu. Il peut s'agir des faits saillants de l'information présentée dans une ou plusieurs des sections qui suivent, d'explications particulières ou encore de mises en garde à l'intention des utilisateurs.)
2. Concepts, méthodologie et qualité des données
Message normalisé qui introduit l'information sur la qualité des données et la méthodologie et qui insiste sur l'importance d'en tenir compte. Un texte normalisé de base est fourni dans les exemples présentés en annexe des présentes normes et lignes directrices; dans certains cas, toutefois, il pourrait s'avérer nécessaire de modifier quelque peu le texte.
2.1 Sources de données et méthodologie
- un paragraphe préliminaire (par ex., les fins, les objectifs et la nature générale, le sujet ou le contenu de l'enquête);
- une description de la population d'enquête ou de la population du programme, et de toutes les différences entre la population d'enquête ou du programme et l'univers conceptuel ou la population cible (par exemple, les différences causées par des exclusions ou des limitations à la population ou à la base de sondage; les différences entre ce qui est généralement ou idéalement mesuré, décrit ou analysé, ou ce qui est convenu par l'ensemble des spécialistes du sujet; les différences entre ce qui devrait être idéalement mesuré et ce qui peut être mesuré);
- énoncé sur la période de référence des données;
- méthodologie générale;
- énoncé sur la ou les source(s) de données, ainsi que sur les méthodes d'échantillonnage et de collecte;
- énoncé sur les méthodes de traitement et d'estimation;
- Révisions et corrections (le cas échéant);
- un énoncé précisant que les données sont sujettes à révision (et les raisons de cette révision) et une indication de l'ampleur potentielle de cette révision - par exemple, une mesure basée sur des révisions antérieures;
- une description des méthodes d'étalonnage, de conversion des données à l'année civile (calendrialisation) ou de désaisonnalisation, ainsi que de l'incidence de ces corrections.
2.2 Concepts et variables mesurés
- Principaux concepts, variables (ou caractéristiques) et classifications utilisés;
- principaux indicateurs, indices ou autres données ou résultats d'analyse importants diffusés.
2.3 Exactitude des données
- Description des principaux problèmes liés à l'exactitude des données, ainsi qu'un énoncé précisant que les données sont sujettes à erreur et que le niveau de cette erreur peut varier selon le secteur géographique et les caractéristiques (le cas échéant, de tels énoncés peuvent insister sur la présence d'erreurs de couverture, d'échantillonnage, de réponse, de traitement ou de non-réponse et peuvent être inclus dans le texte, avec les mesures de l'exactitude);
- dans le cas des données de recensement ou d'enquête ou des données administratives, une mesure de l'exactitude des données en regard de la couverture ou, une cote de couverture (voir section C), et une évaluation ou des commentaires concernant d'autres problèmes d'exactitude des données reliés aux erreurs de couverture;
- dans le cas des données de sondage (ou des données provenant de la composante échantillon), des estimations de l'erreur d'échantillonnage pour les principales caractéristiques, ainsi qu'un bref résumé de l'existence d'importants problèmes d'exactitude des données et modifications concernant le plan d'échantillonnage et d'estimation;
- dans le cas des données de recensement ou d'enquête, ou des données administratives, un taux de réponse (voir les Normes et lignes directrices pour la déclaration des taux de non-réponse), un énoncé sur le traitement de la non-réponse et des erreurs de réponse, un énoncé sur le taux d'imputation ou autre mesure de l'ampleur de l'imputation tout en précisant les effets de l'imputation sur les estimations, et une évaluation ou des commentaires concernant d'autres problèmes d'exactitude des données reliés à la non-réponse, aux erreurs de réponse ou à l'imputation;
- s'il y a lieu, des descriptions et des indicateurs de l'exactitude pour des erreurs importantes (par exemple, des erreurs de réponse ou de mesure qui ne peuvent pas être traitées efficacement par l'imputation);
- au besoin, un énoncé précisant que les données ne sont pas, ou ne sont peut-être pas, comparables dans le temps, avec raisons à l'appui (incluant tout changement significatif dans l'exactitude des données, d'une période de référence à une autre);
- au besoin, une explication sur les similarités et les différences entre des sources de données qui sont apparentées (par exemple, généralement d'autres programmes de SC) et les résultats de ces comparaisons avec d'autres sources ou séries de données;
- dans le cas des résultats d'analyse, un résumé des méthodes d'analyse, des hypothèses et des mises en garde ainsi qu'une brève description et discussion des effets possibles de l'exactitude des données, des concepts d'enquête et des hypothèses d'analyse sur les résultats - en particulier sur la validité ou la signification statistique de ces résultats (voir aussi la section E.3.5 qui suit);
- une description des autres questions de qualité importantes ou de tout événement (par exemple, une grève) susceptible d'avoir une incidence sur l'exactitude, l'actualité et l'interprétation ou l'utilisation des données.
3. Annexes (au besoin) et/ou référence ou lien à une référence
S'il y a lieu, des annexes peuvent être ajoutées. Des références ou des liens à renseignements supplémentaires ou apparentés à l'exactitude des données ou à la méthodologie devraient être ajoutés ou renforés. Ces références ou liens peuvent être ajoutés à la fin ou tout au long de la documentation.
E.2. Lignes directrices : documentation complémentaire
Dans le cas des enquêtes et des programmes statistiques principaux, il paraît justifié de fournir aux utilisateurs une information sur la qualité des données et la méthodologie qui soit plus détaillée ou plus spécialisée que celle fournie en vertu des normes décrites à la section précédente. Cette documentation complémentaire peut traiter, plus en détail, de points indiqués à la section E.1, ou traiter de sujets non couverts dans la documentation sommaire.
La documentation complémentaire peut également inclure des renseignements de nature « technique » qui permettront aux analystes de mieux comprendre les problèmes liés à l'exactitude des données et de mieux apprécier la méthodologie. Cette documentation complémentaire peut être présentée, par exemple, sous forme d'un rapport exhaustif ou de rapports distincts, d'appendices ou de chapitres portant sur des aspects précis de l'évaluation de la méthodologie ou de la qualité des données.
Parmi les sujets pouvant être traités dans cette documentation complémentaire, mentionnons les suivants :
- les sujets déjà couverts par les normes (section E.1);
- tendance ou relevé chronologique relatif à la qualité - pour toute catégorie ou indicateur de l'exactitude, la tendance ou le relevé à long terme;le ou les questionnaire(s) utilisé(s);
- la base de sondage (création, mise à jour et assurance de la qualité);
- le plan d'échantillonnage et les méthodes d'estimation en détail;
- tout autre traitement - description des méthodes et indicateurs de l'ampleur des erreurs de codage, des erreurs de saisie des données, de l'incidence des vérifications, etc.;
- une description de la méthode d'imputation et exemples des principales règles d'imputation;
- les méthodes de contrôle de la qualité utilisées;
- la forme sous laquelle les données définitives sont stockées et le système de totalisation ou d'extraction utilisé, y compris les exigences et les méthodes relatives à la protection de la confidentialité;
- toutes autres méthodes spéciales ou mesures susceptibles d'être pertinentes en regard du contenu particulier du produit;
- variance totale (ou l'erreur-type totale) ou ses composantes, selon la source - variabilité globale des statistiques, incluant l'effet des erreurs d'échantillonnage, de réponse et de traitement;
- biais dû à la non-réponse - évaluation de l'effet de la non-réponse sur les résultats;
- biais de réponse - indications des problèmes découlant du biais de réponse et imputables à une mauvaise interprétation de la part du répondant, à des difficultés liées au questionnaire ou à d'autres sources;
- désaisonnalisation - description de la méthodologie et mesures de l'incidence et de l'importance de la correction, avec une explication sur la façon d'interpréter ces mesures (par exemple, la variation (en pourcentage) moyenne absolue des révisions de l'année précédente du facteur saisonnier ou la statistique MCD - mois à dominance cyclique);
- validation et évaluation de la qualité des données - résultats et descriptions des méthodologies utilisées dans le cadre des études, procédés ou méthodes servant à évaluer ou à mesurer l'exactitude des données.
Les Lignes directrices concernant la qualité de Statistique Canada constituent une source utile d'information pour aider à définir les questions liées à la qualité qui devraient être incluses dans la documentation complémentaire, ainsi que les sources d'erreur potentiellement significatives qu'il faudrait examiner plus en détail.Dans le cas des produits électroniques pour lesquels il existe déjà de la documentation complémentaire sur la qualité des données et la méthodologie, des liens vers cette documentation seront normalement inclus dans le produit ou accompagneront le produit. D'autres produits feront mention d'un renvoi explicite à cette documentation.
E.3. Exigences spéciales en fonction du type de données
Les normes de la section E.1 s'appliquent à toutes les formes de données statistiques et résultats d'analyse diffusés. Il existe toutefois des exigences particulières qui s'appliquent à des types précis de produits. En complément aux normes générales, les points énoncés ci-après doivent être inclus, lorsqu'il y a lieu, dans la documentation se rapportant aux types de produits en question.
- Dans le cas d'indices fondés sur des prix ou des quantités, la base conceptuelle est une autre dimension qui entre dans la description de la qualité des données et de la méthodologie.
Une attention particulière doit être portée à toute substitution effectuée durant l'élaboration des estimations, notamment aux changements touchant le produit ou la qualité de ce produit.Une attention particulière doit aussi être portée aux aspects conceptuels et méthodologiques particuliers des indices. Dans bien des cas, une description exacte de ces aspects peut s'avérer plus importante pour les utilisateurs qu'une stricte évaluation de la qualité des données d'entrée. Les renseignements suivants devront être fournis :
- définitions - définitions précises des concepts économiques sous-jacents, censés être mesurés par les indices. Préciser également toute application ou catégorie d'applications (p. ex. déflation des agrégats macro-économiques) pour lesquelles les indices ne conviennent pas.
- méthodologie choisie - la documentation doit préciser notamment la formule de l'indice, le système de pondération, le mode de calcul de l'indice à différents niveaux d'agrégation, la période de référence, le changement de l'année de référence, le couplage des indices, ainsi que la manière de traiter les changements concernant la gamme ou la qualité des produits offerts sur le marché. Il faut également comparer la méthodologie choisie aux concepts sous-jacents et discuter des distorsions possibles.
- Dans le cas des comptes nationaux et des données résultant d'autres exercices d'intégration, tenir compte de l'incidence, à la fois, des problèmes liés à la qualité des données de base et des méthodes d'analyse, d'intégration, d'étalonnage et de correction utilisées. En raison de la multiplicité des sources de données et de la complexité des méthodes, des cotes d'exactitude des données devront parfois être utilisées ici. Il peut notamment s'avérer nécessaire et souhaitable de regrouper, en une série unique, les cotes d'exactitude de toutes les composantes ou sources d'erreur importantes et évaluables.
La documentation portant sur les données et les résultats d'analyse obtenus par intégration (incluant le Système de comptabilité nationale) doit traiter notamment des aspects suivants :
- le cadre conceptuel d'analyse et d'intégration;
- les principaux concepts et définitions utilisés et la manière dont ils sont définis au niveau des opérations;
- les sources de données utilisées et dans quelle mesure celles-ci permettent de mesurer les concepts visés, ainsi que les lacunes qu'elles comportent. Toute absence de comparabilité entre les éléments d'information provenant de sources différentes doit être précisée; indiquer également la qualité des données primaires qui sous-tendent l'analyse;
- les méthodes d'intégration et d'analyse des données provenant de sources diverses, y compris (s'il y a lieu) les corrections apportées à ces données; les méthodes de déflation des prix, de désaisonnalisation et d'étalonnage utilisées, ainsi qu'une description du processus de révision, et
- tout écart qui survient durant l'intégration ou l'analyse des données provenant de sources diverses, ainsi que les méthodes utilisées pour traiter ces écarts (p. ex. l'écart statistique observé durant l'estimation des comptes des revenus et des dépenses).
- En ce qui a trait aux statistiques établies à partir de données administratives ou de données non recueillies par Statistique Canada, la documentation doit traiter, dans la mesure du possible, des points mentionnés en E.1. Cependant, comme ces statistiques peuvent être basées sur des données qui n'ont pas été recueillies à l'origine à des fins statistiques, les aspects énoncés ci-après revêtent une importance particulière et doivent être traités :
- les sources de données;
- les fins auxquelles les données ont été recueillies à l'origine;
- les points forts et les lacunes des données en regard des fins statistiques pour lesquelles elles sont utilisées (p. ex. en regard du biais conceptuel et du biais de couverture);
- la manière dont les données reçues sont traitées et toute mesure prise pour corriger les problèmes décelés dans les données initiales, et
- la fiabilité des estimations, incluant toute mise en garde jugée nécessaire.
- La documentation sur les produits géographiques ou cartographiques doit inclure une description des sources de données et des transformations apportées aux données, ainsi qu'une description de la méthodologie et des indicateurs de l'exactitude des données qui correspondent à ces sources, ou un renvoi à cette information. La documentation doit également inclure une description ou des indicateurs de la précision de localisation, de la cohérence logique et de l'intégralité des données.
- Dans le cas d'un produit qui inclut principalement ou uniquement des résultats d'analyse, la documentation doit traiter à la fois des données de base et de la méthode d'analyse. Les exigences relatives à la documentation sur les données de base sont similaires à celles qui s'appliquent aux autres produits et on peut y satisfaire en incluant l'information sur la ou les sources des données, ou en incluant des liens ou des renvois à cette information. La documentation sur les méthodes d'analyse peut être intégrée au corps du rapport, avec la présentation des résultats d'analyse, ou être présentée dans des « zones de texte » distinctes. Ces zones de texte peuvent également contenir de l'information sommaire sur la source de données (en plus de liens ou de renvois à la documentation de base). La documentation sur la méthode d'analyse doit également préciser que la Politique concernant l'évaluation des produits d'information sert de méthode d'assurance de la qualité.
Enfin, dans le cas des produits qui consistent en une série de rapports d'analyse portant sur un même thème général, l'information obligatoire commune à la totalité ou à la plupart de ces rapports peut être présentée ou incluse au début du produit général; l'information propre à chaque rapport serait ensuite incluse dans le rapport en question.
De façon plus précise, la documentation sur les méthodes d'analyse, pour les produits présentant des résultats d'analyse, doit traiter des points suivants :
- la ou les source(s) de données utilisée(s);
- les principales caractéristiques de la méthodologie et l'exactitude des données de base pertinentes à l'analyse;
- les objectifs, concepts et variables de l'analyse;
- les méthodes d'analyse utilisées, ainsi que toutes hypothèses et mises en garde qui s'y rapportent;
- la signification statistique des résultats et tout résultat contradictoire ou corroborant pertinent, et,
- l'usage approprié des résultats.
- Pour les produits élémentaires de données (i.e. les produits qui consistent en micro-données ou en agrégats détaillés qui sont destinés à être utilisés à des niveaux plus agrégés ou encore à des fins d'analyse plutôt que pour un usage direct), la documentation requise pour faciliter une utilisation appropriée du produit devrait être fournie. Par exemple, la documentation devrait inclure une explication sur l'usage adéquat des poids et sur les conséquences de procéder autrement. Cela devrait inclure une explication de l'usage des poids d'après la nature de l'estimation ou de l'analyse (par exemple, totaux, taux / pourcentages, régression, variance ou coefficient de variation) et les exigences relatives aux logiciels des clients.
- Pour les produits d'enquête longitudinale ou de suppléments d'enquête, l'exactitude des données et les questions spécifiques reliées à la méthodologie de ce type d'enquête devrait être évaluées, décrites et commentées en conséquence. Les indicateurs de l'exactitude devraient inclure les indicateurs transversaux et cumulatifs lorsque la situation s'applique. Par exemple, les taux de réponse pour le cycle courant d'une enquête longitudinale et les taux cumulatifs pour l'échantillon longitudinal devrait être définis et présentés (voir les Normes et lignes directrices pour la déclaration des taux de non-réponse).
Annexe : exemples de documentation sommaire obligatoire en format normalisé
Au sujet des exemples
Les exemples fictifs donnés dans la présente annexe visent à illustrer l'application des exigences en matière de documentation sommaire qui figurent à la section E des Normes et lignes directrices. Les exemples ne montrent pas explicitement l'application des normes à tous les types de programmes statistiques, méthodologie, ou encore que de questions et de résultats liés à la qualité. On s'attend toutefois à ce que les exemples montrent bien le type d'information et le niveau de détail requis.
Premier exemple : Il est d'abord question d'une enquête relativement simple à l'égard de laquelle les objectifs qualitatifs ont été atteints.
Deuxième exemple : Puis, il s'agit d'un programme statistique qui comporte d'importantes erreurs quant à certaines données clés et questions courantes relatives à la qualité. Compte tenu de la nature du programme et des objectifs qualitatifs à atteindre, il faut discuter plus avant des concepts, de la méthodologie, de l'exactitude des données, et de la comparabilité avec les sources de données connexes.
Troisième exemple : Il est enfin question d'une enquête par sondages. Les objectifs qualitatifs principaux ont été atteints. Compte tenu de la nature de l'enquête, il faut discuter du plan d'échantillonnage, de l'erreur d'échantillonnage et de la comparabilité avec les sources de données connexes.
Limites des exemples : Ces exemples ne visent qu'à illustrer les exigences en matière de documentation. Ils sont seulement fictifs. Compte tenu de la vaste gamme de services spécialisés, de techniques et de résultats de Statistique Canada, on peut établir inévitablement des parallèles avec les secteurs d'activité ou programmes existants. Rien ne vise ou devrait être inféré au-delà le but d'illustration.
Exemple 1 : un rapport fictif aux fins de l'illustration uniquement
Enquête sur les lingots de cuivre
Concepts, méthodologie et qualité des données
Les renseignements qui suivent devraient être utilisés pour s'assurer de bien comprendre les concepts fondamentaux sur lesquels s'appuie la définition des données présentées ici, les méthodes qui sous-tendent l'enquête et les principaux aspects de la qualité des données. Ces renseignements vous aideront à mieux comprendre les points forts et les limites des données et la façon de bien les utiliser et les analyser. Ils pourraient être particulièrement importants lors de la comparaison des données à celles provenant d'autres enquêtes ou d'autres sources, ou lors de leur analyse afin de tirer des conclusions quant à leur évolution au fil du temps.
Sources des données et méthodologie
L'enquête sur les lingots de cuivre a pour objet de mesurer, trimestriellement, la production et la livraison de lingots de cuivre. Elle a pour population cible tous les producteurs de lingots de cuivre affiné du Canada, indépendamment de l'activité principale de l'entreprise ou de l'établissement (note en bas de page, référence ou lien à une référence). Les renseignements sont recueillis auprès de tous les producteurs repérés.
Période de référence
Les renseignements que contient ce produit de données reflètent la production achevée et les livraisons faites durant la période allant du 1er janvier 2000 au 31 mars 2000.
Méthodologie générale
Les données sont transmises électroniquement par les producteurs, sous une présentation commune et conformément aux pratiques comptables de la branche d'activité, dans les 30 jours qui suivent la fin du trimestre. Les données reçues sont vérifiées afin de déceler les erreurs et les incohérences, et, le cas échéant, font l'objet d'un suivi auprès des répondants. On effectue également un suivi en cas de données manquantes.
Révisions
Les données sont révisées si la transmission des premières données ou des données révisées par les entités répondantes est tardive ou si l'on repère de nouveaux répondants. Les révisions sont rares et les données révisées sont diffusées le trimestre suivant.Pour éviter la divulgation de données confidentielles, seules les estimations nationales sont diffusées.
Concepts et variables observées
Les données statistiques présentées dans le produit décrit ici ont trait au bien XYZW.PR.GH décrit dans la Classification type des biens (CTB) (note en bas de page ou référence).
Quantités produites (en tonnes métriques) : production achevée durant la période de référence, indépendamment de la date à laquelle elle a débuté. Son exclus le cuivre affiné de nouveau ou recyclé, ainsi que les lingots achetés par le producteur ou transférés au producteur, mais non affinés par celui-ci.
Quantités livrées (en tonnes métriques) : livraisons hors de l'usine faites durant la période de référence, indépendamment de leur arrivée à destination. Sont exclus le cuivre affiné de nouveau ou recyclé, ainsi que les lingots non affinés par le producteur.
Cuivre importé et exporté : Les quantités produites de cuivre importé et de cuivre canadien correspondent aux lingots affinés provenant de gisements étrangers et canadiens, respectivement.
Valeur des livraisons : Recettes brutes des ventes, auxquelles est ajoutée la « valeur marchande courante » du cuivre (basée sur la moyenne des revenus bruts de la vente) transféré ou utilisé dans l'entreprise, sans qu'il y ait de vente, ou utilisé autrement sans être vendu directement sous forme de lingot.
Exactitude des données
La méthodologie de cette enquête a été conçue pour contrôler les erreurs et pour réduire les effets potentiels de ceux-ci. Cependant, les résultats de l'enquête restent sujet à erreur - par exemple, erreur de couverture, de réponse et de traitement, et erreur dû à la non-réponse.
La population cible est définie à partir de la Base de données du registre central (BDRC) de Statistique Canada (référence, note en bas de page ou lien à une référence concernant la méthodologie et la qualité de la BDRC). Ce registre des entreprises est tenu à jour au moyen de renseignements administratifs sur les entreprises transmis mensuellement par l'Agence canadienne des douanes et du revenu, de renseignements provenant d'autres enquêtes de Statistique Canada et des profils d'activité des entreprises. Toute entreprise existante dont la production débute ou cesse est généralement repérée, grâce à des renseignements rétroactifs, un trimestre au plus tard après le changement. Au cours des cinq dernières années, cette situation s'est présentée six fois. Dans tous les cas, les données ont été révisées et diffusées le trimestre suivant. Dans le cas peu probable où la mise à jour a lieu plus d'un trimestre après que la production a démarré ou cessé, les données ne sont révisées que pour le trimestre précédent. Cette situation ne s'est produite qu'une seule fois au cours des cinq dernières années, avant la mise en oeuvre du système plus rigoureux de la BDRC. L'erreur résultante représente moins de 1 % de la quantité produite sur une période de quatre mois, donc n'a pas d'effet significatif sur les comparaisons au fil du temps. La BDRC est considérée comme tout à fait complète pour cet élément de la branche d'activité (note en bas de page, référence ou lien à une référence concernant la classification des industries) et est mise à jour grâce aux renseignements rétroactifs des producteurs.
Avec la collaboration des répondants, ainsi que les méthodes de suivi, de vérification et d'imputation, le niveau des erreurs de réponse et de traitement, aussi que l'erreur dû à la non-réponse sont limitées. Tous les membres de la population cible fournissent régulièrement des renseignements. Dans 98 % des cas, le suivi montre que ces renseignements sont complets et cohérents. Des corrections fondées sur les renseignements antérieurs et les tendances observées auprè#232;s d'entreprises de taille comparable sont apportées pour tenir compte des erreurs résiduelles. Ces données « corrigées » représentent moins de 0,25 % des quantités finales et des valeurs monétaires.
Aux répondants qui produisent des lingots de source mixte, on demande d'estimer les quantités d'après les résultats de la détermination de la pureté relative (selon le cas) et les volumes. D'après les données de l'Enquête annuelle des manufactures (EAM), la précision de cette estimation varie fortement, mais elle ne concerne que quelques producteurs et a un effet négligeable sur les données statistiques.
Des travaux de recherche ont indiqué que l'estimation des stocks à partir de ces données produit des résultats analytiques valables. Ces résultats confirment aussi la précision de la déclaration. Cependant, l'utilisateur devrait noter que, étant donné le plan de sondage, la présente enquête n'inclut pas le cuivre affiné de nouveau ou recyclé. Il est impossible d'estimer la production totale et les stocks de cuivre affiné uniquement à partir de ces données.
Comme les données sont recueillies exhaustivement auprès de tous les producteurs, elles ne sont entachées d'aucune erreur d'échantillonnage, contrairement aux enquêtes mensuelles et trimestrielles sur les industries manufacturières et sur les branches d'activité pour lesquelles cela est parfois le cas.
Comparabilité des données et sources connexes
Les données sont conformes aux définitions de l'EAM et de l'Enquête mensuelle sur les industries manufacturières. L'Enquête sur les lingots de cuivre a bénéficié des améliorations apportées à ces enquêtes, dont les bases de sondage sont la source de la population cible, principalement en ce qui concerne l'actualité et la complétude de la couverture. L'amélioration de la couverture pourrait influer sur la comparabilité des résultats provenant de la présente enquête à ceux obtenus avant 1994.
Certaines sources connexes de données statistiques et de produits :
Pour des renseignements supplémentaires sur la qualité des données et la méthodologie, s'adresser à (note en bas de page, référence ou lien à une référence).
Exemple 2 : Un rapport fictif aux fins de l'illustration uniquement
Enquête sur les coûts liés aux soins de santé
Notes aux utilisateurs :
- Coûts liés aux soins de santé et indices des composantes : Les totaux des coûts de décembre 1999, les indices et les indices des composantes qui s'appliquent aux services médicaux et chirurgicaux au niveau national et à tous les niveaux géographiques en Nouvelle-Écosse ont été révisés afin de tenir compte d'une erreur de déclaration et de traitement de certaines données. Les corrections apportées d'après les révisions au niveau national sont minimes. Le taux correspondant de révision par rapport aux données pour la Nouvelle-Écosse varie : dans la plupart des cas, il est inférieur à 1 %, mais dans certaines régions géographiques, il est aussi élevé que 5 % pour les «Autres services médicaux». Les totaux et les indices révisés pour décembre sont présentés.
La source d'erreur était aussi présente dans les données préliminaires de janvier, mais pas au-delà. Cependant, l'erreur a eu une incidence sur les indices des trois premiers mois de la présente année jusqu'aux résultats préliminaires de mars 2000. Les résultats définitifs quant à ces trois mois tiendront compte des corrections apportées, en commençant par ceux de janvier ci-inclus. Les résultats préliminaires d'avril et les résultats annuels de 1999, également ci-inclus, ne sont pas touchés.
Les erreurs ont très peu influé les résultats préliminaires de février et de mars au niveau national. Il faut toutefois utiliser avec prudence les résultats concernant la Nouvelle-Écosse. Il faut éviter de se servir, pour ces mois-là, des données préliminaires à l'égard des Autres services médicaux en Nouvelle-Écosse.
- Augmentation des coûts liés aux soins de santé : L'augmentation des dépenses annuelles globales et, en particulier, celles de diverses composantes des «opérations chirurgicales urgentes» est largement attribuable pour 1999 aux changements dans les grilles de frais de services médicaux conformément aux lois provinciales et territoriales sur la santé.
Concepts, méthodologie et qualité des données
Les renseignements qui suivent devraient être utilisés pour s'assurer de bien comprendre les concepts fondamentaux sur lesquels s'appuie la définition des données présentées, les méthodes qui sous-tendent l'enquête et les principaux aspects de la qualité des données. Ces renseignements vous aideront à mieux comprendre les points forts et les limites des données et la façon de bien les utiliser et les analyser. Ils pourraient être particulièrement importants lors de la comparaison des données à celles provenant d'autres enquêtes ou d'autres sources, ou lors de leur analyse afin de tirer des conclusions quant à leur évolution au fil du temps, les différences entre les régions géographiques et les différences entre les sous-groupes de la population cible.
Sources de données et méthodologie
L'Enquête sur les coûts liés aux soins de santé (ECSS) mesure, sur une base mensuelle, les dépenses en soins de santé dans le cadre du système canadien de soins de santé. Les données fournies portent sur les services aux patients hospitalisés et les soins ambulatoires, de même que sur les services médicaux assurés. Les résultats d'enquête comprennent divers indices des coûts qui s'appliquent aux provinces et aux territoires, de même que des groupes de population selon l'âge et le sexe qui permettent de suivre les fluctuations des coûts au fil du temps.
La population cible constitue l'ensemble des dépenses de tous les fournisseurs de soins de santé offrant des services médicaux assurés directement ou indirectement aux Canadiens dans le cadre d'un programme de soins de santé provincial ou territorial. En sont exclues les dépenses pour des services fournis par les installations des Anciens combattants, la Défense nationale et le Solliciteur général du Canada, de même que les frais liés aux services médicaux fournis aux membres des Forces canadiennes et de la GRC, ainsi qu'aux détenus des pénitenciers fédéraux. Les données sur les coûts liés aux soins de santé sont tirées des données administratives fournies par les programmes de soins de santé concernés du gouvernement, par l'entremise de l'Institut canadien d'information sur la santé (ICIS) (note en bas de page, référence ou lien à une référence).
Période de référence
La période de référence pour la collecte et le rassemblement des données est le mois civil. Les résultats préliminaires sont diffusés environ 150 jours (cinq mois) après la fin du mois de référence. Les données définitives sont diffusées trois mois plus tard. Les données annuelles pour l'année civile précédente sont diffusées au mois d'octobre suivant.
Méthodologie générale
Tous les mois, les gouvernements provinciaux et territoriaux communiquent des données agrégées sur les sommes que le gouvernement versent aux hôpitaux et sur les réclamations d'honoraires à l'acte sous les auspices du Conseil national d'information sur la santé. On rassemble ces données extraites, selon une entente, des bases de données sur la santé tenues respectivement par les provinces et les territoires. Les données sont fournies sur support électronique selon un format préétabli (les détails concernant les exigences en matière de données se trouvent à l'annexe 1 (ou lien à une référence)). Les données reçues sont vérifiées afin d'en assurer la cohérence et l'intégralité. On corrige les erreurs potentielles et les incohérences se rapportant aux sommes versées aux hôpitaux et aux paiements à l'acte (dans le cas d'écarts critiques) dans le cadre d'un suivi auprès du bureau provincial ou territorial compétent. On corrige les erreurs résiduelles ou les incohérences liées aux paiements à l'acte en effectuant des ajustements statistiques selon les données historiques ou des données administratives. Des ajustements statistiques sont par la suite effectués pour que les données sur les sommes versées aux hôpitaux s'appliquent à des périodes mensuelles plutôt qu'à d'autres périodes de paiements.
Révisions et désaisonnalisation
Les données pour le dernier mois sont des données préliminaires. Ces données sont mises à jour et corrigées à la source. Les données définitives pour le mois tiennent compte des changements et sont diffusées le trimestre suivant accompagnées des résultats préliminaires du trimestre. Le taux mensuel global de révision (des données préliminaires aux données définitives) a été d'environ +5 % au cours des trois dernières années. Il y a parfois des taux supérieurs au niveau provincial ou territorial à l'égard de niveaux inférieurs d'agrégation.
Le rassemblement et l'application des données annuelles varieront pour les 12 mois associés. Ces données sont corrigées à la source, y compris l'application de limites budgétaires négociées sur les paiements à l'acte et les sommes supplémentaires versées aux hôpitaux. Au total, la révision peut parfois dépasser ± 5 % au niveau national et varie habituellement de -10 % à +15 % en ce qui concerne les provinces/territoires. (Voir les détails à l'annexe 1 (ou lien à une référence).)
Les événements et les cycles saisonniers habituels (p. ex., le cycle météorologique normal et les congés fixes) entraînent des variations prévisibles dans les données. La série de données diffusée comprend à la fois les données désaisonnalisées (à l'exclusion des influences saisonnières prévisibles) et les données non corrigées.
Concepts et variables observées
Caractéristiques : Les principaux concepts et variables observés sont les coûts et les services médicaux.Les coûts perçus ou calculés sont les suivants :
- Coûts liés aux services hospitaliers - les sommes que verse le gouvernement provincial ou territorial aux hôpitaux pour la prestation de services médicaux de base, de services aux patients hospitalisés et de soins ambulatoires, conformément aux prescriptions de la Loi canadienne sur la santé, et englobant les frais de fonctionnement et les coûts des investissements (à l'exclusion des dons et des subventions d'équipement) nécessaires à la prestation de ces services.
- Coûts des honoraires à l'acte - les paiements faits aux médecins d'après la formule de rémunération à l'acte, ou l'équivalent s'appliquant aux services médicaux assurés, y compris les frais de services médicaux fournis en centres hospitaliers (à l'exclusion des paiements visés par une couverture supplémentaire et des frais payés par les régimes privés de soins de santé)
Les paiements hors province/territoire et hors Canada à l'égard des services médicaux assurés sont présentés à part des coûts susmentionnés. Tous les coûts sont présentés en dollars arrondis au millier près.
Les services médicaux sont classés selon la classification des opérations chirurgicales (non urgentes et urgentes), le service de diagnostic et les autres services médicaux. Ceux-ci ne comprennent que les services assurés en fonction des prescriptions de la Loi canadienne sur la santé. En sont exclus les services supplémentaires et les services visés par les régimes privés de soins de santé.
En outre, des renseignements sur les coûts et les services médicaux sont fournis selon l'âge et le sexe des patients, de même que selon les régions géographiques (Canada, province/territoire, région sanitaire et district de santé, région métropolitaine de recensement et groupe de taille de la population urbaine/région rurale) en fonction de l'emplacement de la prestation de service (le calcul est donné à l'annexe 1 (ou lien à une référence)).
On trouve également à l'annexe 1 (ou lien à une référence) des classifications détaillées sous Services médicaux, les listes de classifications géographiques utilisées et d'autre documentation explicative.
Indices : En plus des totaux, des indices des coûts sont présentés pour les paiements mensuels et annuels à l'acte et pour les coûts annuels des services hospitaliers. Ces indices, appelés indices de la composante des soins de santé (ICSS), correspondent à la formule de base suivante :
Coût total actuel pour la catégorie X 100
Coût total de la base de référence pour la catégorie
La base de référence s'appliquant à tous ces indices est le coût de 1991 correspondant à la catégorie et à la période de déclaration (mois ou année). Des indices distincts sont aussi déclarés pour les principaux niveaux géographiques à partir du coût actuel ajusté, qui équivaut au coût actuel ajusté selon les dollars constants de 1991. On trouve plus de détails sur les indices et la méthodologie connexe à l'annexe 1 (ou lien à une référence).
Exactitude des données
La méthodologie de cette enquête a été conçue pour contrôler les erreurs et pour réduire les effets potentiels de ceux-ci. Cependant, les résultats de l'enquête restent sujet à erreur - p. ex., erreur de couverture, de mesure et de traitement.
Dans le cas de l'enquête, l'exactitude et la complétude de la couverture de la population cible dépend de l'actualité des mises à jour des bases de données provinciales et territoriales. Il y a, dans une certaine mesure, un retard qui affecte presque exclusivement les données préliminaires, et rarement les données définitives. L'importance de l'erreur pour ce qui est des données préliminaires se traduit par le taux de révision des données mensuelles. Les révisions effectuées dans le cadre du calcul des données annuelles ne sont pas habituellement attribuables à des questions de couverture, mais à des redressements à l'égard du budget de fin d'exercice ou à des modifications aux contrats.
L'enquête s'appuie sur la coopération des provinces et des territoires, de même que sur l'exactitude de leurs données. Depuis longtemps ces secteurs de compétence fournissent des données concernant toutes les composantes de l'enquête; la non-réponse n'est pas un problème. Les données statistiques tiendront compte des effets de toute erreur de codage, de déclaration et de traitement qui ne peuvent pas être détectées et ne sont pas corrigées à la source. Le mauvais classement des données à la source peut également entraîner des erreurs de couverture; autrement dit, les erreurs peuvent donner lieu à un classement erroné des services médicaux (dans le champ ou hors du champ de l'enquête). Les erreurs qui sont corrigées à la source sont incluses aux révisions. En plus des vérifications et des comparaisons mensuelles, les procédures d'enquête comprennent des comparaisons et des ajustements de fin d'exercice pour que les données d'enquête correspondent dans l'ensemble aux données des sources provinciales/territoriales.
Le 1er décembre 1999, on a appliqué une structure révisée de la classification des services médicaux de la Nouvelle-Écosse et, par ricochet, un système d'extraction révisé qui fournit les données agrégées de la Nouvelle-Écosse aux fins de la présente enquête. Les changements apportés à la classification n'ont pas été uniformément appliqués probablement parce qu'ils ont eu lieu peu avant la période des fêtes. Dans le système d'extraction des données, on n'a pas tenu compte des données additionnelles dont on disposait concernant la province qui permettaient d'effectuer les paiements. Par conséquent, le système d'extraction a converti bon nombre des services médicaux assurés mal classés en services exclusivement couverts par des régimes privés de soins de santé. Cela a, de fait, posé un problème de couverture pour l'enquête. Le problème a été cerné lors de vérifications de cohérence de fin d'exercice. L'incidence de ces erreurs est résumé ci-dessus dans les Notes aux utilisateurs. (Soulignons aussi que le taux accru de révision pour les mois touchés découle ou découlera directement de ces erreurs.)
Des modifications ont été apportées au système et aux procédures qui éviteront l'occurrence de problèmes et de résultats semblables.
Comparabilité des données et sources connexes
Ces données sont conformes à la structure générale des règlements relatifs à la protection médicale et à la tarification prévus par les lois provinciales sur la santé (note en bas de page, référence ou lien à une référence), même si l'on a procédé à des regroupements de classifications. De même, les données correspondent aux classifications des diagnostics et des opérations chirurgicales de l'Enquête sur la consommation des soins hospitaliers (ECSH) (note en bas de page, référence ou lien à une référence) et de l'Enquête sur l'utilisation de la salle d'urgence (EUSU) (note en bas de page, référence ou lien à une référence). Les données ne se comparent pas facilement à celles des enquêtes qui se fondent sur des données recueillies auprès de ménages ou de personnes (p. ex., l'Enquête nationale sur la santé de la population (note en bas de page, référence ou lien à une référence)). On peut intégrer les renseignements sur les coûts de l'ECSH et de l'EUSU à ceux de l'ECSS pour obtenir une analyse plus complète de la ventilation des coûts. Cependant, comme les populations cibles et les données sur les coûts diffèrent, il faut bien maîtriser les méthodes appropriées. Ce type d'analyse est publiée sur une base annuelle dans .... (référence ou référence et lien ou note en bas de page), accompagnée d'une analyse fondée sur les indices des coûts de l'ECSS.
Les indices présentés ne sont pas typiques ou comparables aux indices des prix produits par Statistique Canada (p. ex., l'indice des prix à la consommation, l'indice des prix de produits agricoles, l'indice des prix des produits industriels (notes en bas de page, références ou lien à des références)). Les ICSS se fondent sur les coûts de toutes les dépenses connexes plutôt que sur un échantillon pour un «panier» de services, dans le cas qui nous occupe. Par conséquent, les changements de la composition et de la fréquence de la consommation des services médicaux et hospitaliers peuvent plus facilement entraîner un changement d'indice plutôt que les changements attribuables aux fluctuations des coûts ou des prix des services ou des budgets des hôpitaux (qui sont habituellement établis annuellement). C'est pourquoi les ICSS ne sont pas des indicateurs directs des changements de prix. Ils n'indiquent pas directement l'inflation quant aux coûts liés aux soins de santé ou les nouveaux besoins en matière de services de soins de santé. Ils constituent l'une des nombreuses composantes d'information servant à évaluer l'état de santé des Canadiens et les questions économiques liées au système de soins de santé.
Les erreurs dans les données de décembre 1999 concernant la Nouvelle-Écosse n'ont pas influé sur la comparabilité des données définitives vu que les corrections ont été appliquées.
Les changements apportés aux règlements quant à la protection médicale et à la tarification conformément aux lois provinciales/territoriales sur la santé ont largement contribué à l'augmentation des dépenses annuelles de 1999 par rapport à 1998 (valeur monétaire et indices) dans l'ensemble et, en particulier, en ce qui concerne diverses composantes d'«opérations chirurgicales urgentes». Le changement est peu attribuable aux fluctuations de la composition et du volume des services fournis : en fait, le volume a même diminué.
Certaines sources connexes de données statistiques et de produits :
Pour plus de renseignements sur la qualité des données et sur la méthodologie, consulter l'Annexe 1 : Renseignements supplémentaires sur les techniques d'enquête et la qualité des données.
Exemple 3 : un rapport fictif aux fins de l'illustration uniquement
Enquête mensuelle sur les prestataires d'assurance-emploi et sur la transition
Concepts, méthodologie et qualité des données
Les renseignements qui suivent devraient être utilisés pour s'assurer de bien comprendre les concepts fondamentaux sur lesquels s'appuie la définition des données présentées, les méthodes qui sous-tendent l'enquête et les principaux aspects de la qualité des données. Ces renseignements vous aideront à mieux comprendre les points forts et les limites des données et la façon de bien les utiliser et les analyser. Ils pourraient être particulièrement importants lors de la comparaison des données à celles provenant d'autres enquêtes ou d'autres sources, ou lors de leur analyse afin de tirer des conclusions quant à leur évolution au fil du temps, les différences entre les régions géographiques et les différences entre les sous-groupes de la population cible.
Sources des données et méthodologie
L'Enquête sur les prestataires d'assurance-emploi et sur la transition (EPAET) sert à mesurer, sur une base mensuelle, dans le contexte du marché du travail, les caractéristiques, les capacités, les préférences et les plans des personnes qui touchent des prestations d'assurance-emploi. Ces données, l'un des éléments d'information sur les caractéristiques et les besoins en effectifs expérimentés du marché du travail, sont utilisées en vue de la planification et du développement des entreprises et de l'industrie et en vue de l'élaboration de politiques, de stratégies de formation et de programmes du gouvernement.
La population cible est constituée de personnes qui ont touché des prestations d'assurance-emploi (ou pour lesquelles le paiement a été autorisé) durant le mois de référence de l'enquête.
Période de référence
La période de référence aux fins de la collecte des données est le mois civil. Les données sont recueillies de 30 à 40 jours après la fin du mois de référence. Les résultats sont diffusés 90 jours environ après la fin du mois de référence. Les données annuelles pour l'année civile antérieure sont diffusées en même temps que les données pour le mois de mars de l'enquête.
Méthodologie générale
Les données sont recueillies dans le cadre d'une enquête téléphonique portant sur un échantillon de demandeurs pour lesquels Développement des ressources humaines Canada a autorisé le versement de prestations d'assurance-emploi. (Les répondants apprennent au moment de la demande de prestations qu'ils feront peut-être partie de l'échantillon.) Un échantillon aléatoire est tiré par Statistique Canada selon la date (le mois) d'autorisation du premier versement de la prestation d'assurance-emploi. L'échantillon est stratifié de façon à permettre des estimations pour les régions métropolitaines de recensement, les régions urbaines et rurales, la province ou la région. La période maximale d'admissibilité autorisée est également considérée afin que l'on puisse assurer une certaine uniformité de la taille de l'échantillon et de la charge de travail.
Les personnes sélectionnées font partie de l'échantillon pendant 12 mois consécutifs de l'enquête ou jusqu'à la fin du mois marquant la fin des prestations, selon la première de ces dates. Chaque mois, l'échantillon est complété par un échantillon de personnes pour lesquelles, durant ce mois, le versement de prestations a été autorisé. La taille totale de l'échantillon pour un mois donné est de 30 000 personnes environ. La collecte des données est assistée par ordinateur, des vérifications de base étant exécutées afin d'assurer la validité, la cohérence et l'intégralité. Dans la mesure du possible, les données sont corrigées avec l'assistance du répondant. Les erreurs résiduelles, des données manquantes ou les incohérences sont résolues à l'aide de rajustements statistiques grâce à des données historiques ou administratives, ou avec l'imputation des données cohérentes provenant de répondants ayant des caractéristiques semblables. Le codage de l'occupation aux classifications numériques est complété avec une combinaison des méthodes automatisés et des procédures manuelles.
Les résultats définitifs sont pondérés de façon à représenter la population cible totale. Pour renseignements supplémentaires sur les méthodes de la ponération et de l'estimation, aussi bien que les autres aspects de la méthodologie de l'étude, s'adresser à (note en bas de page, référence ou lien à une référence)
Révisions et désaisonnalisation
Les données pour le plus récent mois terminé sont considérées comme définitives. Les données annuelles peuvent différer d'un simple rassemblement des données pour les 12 mois en question, à cause de rajustements statistiques et du recours à des données administratives pour améliorer la qualité des données des résultats annuels.
Des événements saisonniers (annuels) et des cycles ordinaires (p. ex. le cycle météorologique normal et les congés fixes) entraînent des fluctuations prévisibles des données. Les séries de données diffusées englobent à la fois des données désaisonnalisées (donc excluant les influences annuelles prévisibles) et des données non désaisonnalisées.
Concepts et variables observées
Caractéristiques recueillies
L'enquête permet de recueillir les caractéristiques ou les données suivantes pour les prestataires sélectionnés :
- caractéristiques démographiques (âge, sexe, état matrimonial)
- nombre d'enfants à charge (dans le ménage)
- emploi le plus récent
- type de prestations d'assurance-emploi
- niveau de scolarité et diplômes, avec mention de l'année
- période d'admissibilité autorisée et réelle (source administrative)
- admissibilité actuelle et motif
- nombre de périodes de prestations au cours des 5 dernières années (source administrative)
- préférences et attentes en matière de travail et de réinstallation
- plan de formation ou intérêts
- année et type de formation liée au travail
- accès à Internet
- accès à un ordinateur personnel
- aptitudes techniques et autres capacités spécialisées
L'enquête recueille également des données sur les caractéristiques démographiques de base (l'âge et le sexe) de chacun des autres membres du ménage, le revenu total du ménage et le mode d'occupation du logement (possession, location-bail ou location par la personne sélectionnée ou le conjoint).
Caractéristiques calculées
Certaines caractéristiques sont calculées à partir des données recueillies a) l'évolution d'un mois à l'autre des attentes de la personne sélectionnée et de ses préférences (travail ou réinstallation), des plans de formation ou des aptitudes acquises par voie de formation, et b) le résultat de la période d'assurance-emploi ou de la transition (p. ex. maintenant sur formation à plein temps, ou maintenant a employé à plein temps).
On trouvera à l'annexe 1 (ou lien à une référence) des définitions ou une ventilation des variables pour ces caractéristiques, de même que de la documentation supplémentaire.
Exactitude des données
La méthodologie de cette enquête a été conçue pour contrôler les erreurs et pour réduire les effets potentiels de ceux-ci. Cependant, les résultats de l'enquête restent sujet à l'erreur attribuable à l'utilisation d'échantillonnage, aussi bien qu' à l'erreur non due à l'échantillonnage - p. ex., erreur de couverture, de réponse et de traitement, et l'erreur dû à la non-réponse.
L'erreur d'échantillonnage
Puisque les données se fondent sur un échantillon, il peut y avoir une erreur d'échantillonnage. En effet, les estimations fondées sur un échantillon peuvent varier d'un échantillon à l'autre, et le plus souvent elles diffèrent des résultats d'un recensement. L'ampleur de cette différence a été estimée pour des données clés. Les résultats sont abordés et discutés à l'annexe 1 (ou lien à une référence).
L'erreur non due à l'échantillonnage
La couverture de la population cible est près de 100 % complet; c.-à-d., que la liste à partir de laquelle l'échantillon est sélectionné est presque toujours complète. Des comparaisons avec les données annuelles de Développement des ressources humaines Canada confirment ce résultat.
La seule erreur de réponse importante identifiée est pour le revenu du ménage (voir Comparabilité ci-dessous). Quant à la non-réponse, quelque 10 % des personnes faisant partie de l'échantillon initial choisissent de ne pas participer. Au cours de la période de participation à l'enquête, il existe une certaine attrition. Plus de 80 % des personnes qui acceptent de faire partie de l'échantillon initial continuent de participer tout au long du cycle d'enquête. Sur les trois années passées le taux de réponse moyen mensuel, parmi les personnes qui ont accepté initialement de participer à l'enquête, a été de 90 %. Le taux de réponse peut varier selon la date, la province, l'âge et d'autres caractéristiques. Des rajustements (l'imputation et la pondération) servant à réduire l'effet de la non-réponse et de la non-participation sont effectués. Ceux-ci assurent que les totaux de la population de l'enquête correspondent aux totaux connus pour les provinces, territoires et les plus grandes régions métropolitaines de recensement. Cependant, au degré que les non-répondants (ou non-participants) et les répondants se distinguent à l'égard de la caractéristique de l'intérêt, il peut y avoir des effets résiduels sur l'exactitude des estimations. (On trouvera des renseignements supplémentaires à l'annexe 1 (ou lien à une référence).)
Comparabilité des données et sources connexes
Variables et caractéristiques : Dans la mesure du possible, les concepts utilisés pour l'EPAET sont des définitions standards (note en bas de page, référence ou lien à une référence) ou communes avec les définitions utilisées en d'autres programmes de Statistique Canada, par exemple pour les données démographiques, les variables géographiques et l'emploi. Pour les cas où les comparaisons directes avec les autres enquêtes sont possibles pour cette population cible, à l'exception de revenu aucune question relative à l'exactitude des données ne pose problème. Les comparaisons indiquent que le revenu est sous rapporté dans l'EPAET en particulier pour les ménages avec trois personnes ou plus dont l'age est de 19 ans ou plus. La comparabilité est examinée de plus près à l'annexe 1 (ou lien à une référence).
Population cible : La population cible de l'EPAET n'est pas généralement comparable à celle d'autres sources de données :
- L'EPAET représente toutes les personnes qui touchent des prestations d'assurance-emploi pendant une partie du mois au moins. Elle ne représente pas une semaine de référence particulière au cours du mois, comme c'est le cas pour le programme de la statistique de l'assurance-emploi (note en bas de page, référence ou lien à une référence).
- Elle ne représente pas toutes les personnes actives qui sont sans emploi, et elle inclut des personnes qui reçoivent des prestations spéciales (p. ex., les prestations parentales) qui ne sont pas comptés comme en chômage (note en bas de page, référence ou lien à une référence).
- Contrairement à l'Enquête sur la couverture de la population par le Régime d'assurance-emploi (note en bas de page, référence ou lien à une référence), l'EPAET ne comprend pas les personnes qui sont admissibles à l'assurance-emploi mais qui ne présentent pas de demande, ni les personnes sans emploi qui ne sont pas admissibles à l'assurance-emploi (note en bas de page, référence ou lien à une référence).
- Comme c'est le cas pour l'Enquête sur la couverture de la population par le Régime d'assurance-emploi, les estimations de l'EPAET ne reflètent pas la même population cible que l'Enquête sur les changements à l'égard de l'emploi (note en bas de page, référence ou lien à une référence).
- Contrairement aux estimations mensuelles de l'EPAET, les estimations annuelles surreprésentent le nombre de personnes ayant touché des prestations d'assurance-emploi. Pour les données annuelles, on compte chaque période de prestations, c'est-à-dire que si le paiement est autorisé pour une même personne à deux reprises, on aura deux occurrences dans les estimations annuelles.
Une comparaison utile des données pour les populations de ces différentes sources peut être trouvée dans le rapport analytique... (nom et référence ou lien à une référence).
Comparaisons au fil du temps : Les estimations de l'EPAET ne sont pas comparables aux estimations de périodes de référence antérieures comportant d'autres paramètres, règles et règlements relatifs à l'assurance-emploi. À cet égard, les estimations courantes ne sont pas comparables à des estimations comportant des périodes de référence antérieures au 1er janvier 1997 (note en bas de page, référence ou lien à une référence).
Sources connexes de données statistiques et de produits :
On trouvera des renseignements supplémentaires sur la qualité des données et sur la méthodologie à l'Annexe 1 : Renseignements supplémentaires sur la méthodologie et la qualité des données (ou lien à une référence).
Version PDF (PDF, 70.36 Ko)
