Réponse et nonréponse

Consulter la version la plus récente.

Information archivée dans le Web

L’information dont il est indiqué qu’elle est archivée est fournie à des fins de référence, de recherche ou de tenue de documents. Elle n’est pas assujettie aux normes Web du gouvernement du Canada et elle n’a pas été modifiée ou mise à jour depuis son archivage. Pour obtenir cette information dans un autre format, veuillez communiquer avec nous.

Contenu archivé

Cette page Web a été archivée dans le Web.

Portée et objet
Principes
Lignes directrices
Indicateurs de qualité
Bibliographie

Portée et objet

Malgré les plus grands efforts que fournissent les gestionnaires d'enquête et le personnel des opérations pour optimiser la réponse, la plupart des enquêtes, sinon toutes, doivent faire face au problème de la nonréponse.

La réponse fait référence ici à toute donnée obtenue soit directement auprès d'un répondant, soit par l'utilisation de données administratives. Cette définition au sens large de la réponse est nécessaire pour refléter l'utilisation accrue de différentes stratégies de collecte pour une même enquête, une pratique devenue de plus en plus courante. De plus, tout comme les données d'enquête, les données administratives ne sont pas à l'abri de la nonréponse, qu'elle soit partielle ou totale. Cette nonréponse découle parfois du manque de rapidité à l'obtention de toutes les données administratives.

Pour qu'une unité soit classée comme répondante, le degré de réponse d'item ou de réponse partielle (où on obtient une réponse exacte seulement à l'égard de certaines données exigées du répondant) doit correspondre à un seuil minimal en deçà duquel on considère qu'il y a une nonréponse d'unité. Dans un tel cas, la personne, le ménage, l'entreprise, l'institution, l'exploitation agricole ou toute autre unité échantillonnée est considérée comme n'ayant fourni aucune réponse.

Les mécanismes de réponse classiques sont les suivants : nonréponse uniforme [ou réponse manquant entièrement au hasard] où la probabilité de réponse est complètement indépendante des unités et du processus de mesure, et est constante sur l'ensemble de la population ; nonréponse dépendant d'une variable auxiliaire [ou réponse manquant au hasard] où le mécanisme de réponse dépend de certaines données auxiliaires ou des variables disponibles pour toutes les unités mesurées et nonréponse dépendant de la variable d'intérêt [ou réponse ne manquant pas au hasard] où la probabilité de réponse dépend de la variable d'intérêt.

La nonréponse peut avoir deux effets sur les données : premièrement, elle introduit un biais dans les estimations lorsque les non-répondants diffèrent des répondants par rapport aux caractéristiques mesurées; deuxièmement, elle contribue à faire augmenter la variance totale des estimations, car la taille observée de l'échantillon est réduite par rapport à la taille initialement prévue.

Principes

Le degré des efforts fournis pour obtenir une réponse d'un non-répondant est fonction des contraintes de budget, de temps et du personnel, de son incidence sur la qualité générale et du risque de biais de nonréponse. Si la nonréponse persiste, diverses approches existent pour diminuer l'effet de la nonréponse. Les décisions concernant le degré de recherche convenable à instaurer pour élaborer des techniques de correction de la nonréponse seront fonction des mêmes contraintes mentionnées précédemment.

Lors d'entrevues téléphoniques ou personnelles, ou lors d'un suivi, tenter de recueillir autant que possible des informations de base sur le répondant pour éviter de faire des ajustements basés sur des hypothèses un peu plus tard.

Pour traiter la nonréponse, tirer parti autant que possible de l'information auxiliaire disponible.

Un programme efficace de relations avec les répondants, un questionnaire bien conçu, l'utilisation de la gestion active pour un suivi régulier sur les opérations de collecte et une collecte adaptative de données (Laflamme, 2008), sont des éléments essentiels à l'optimisation de la réponse.

Lignes directrices

Établir le taux de réponse anticipé

Un des points pour déterminer la taille d'échantillon et gérer la collecte est l'établissement du taux de réponse anticipé. Pour ce faire, utiliser, entre autres moyens, les résultats des cycles précédents de l'enquête, ceux d'un essai préalable ou ceux d'enquêtes semblables.

Réduire la nonréponse

S'assurer d'un degré de qualité acceptable durant toutes les étapes de planification et de mise en œuvre de l'enquête pour l'obtention d'un bon taux de réponse. Pour ce faire, il faut garder à l'esprit les facteurs suivants :

• Lors de la conception de l'enquête : L'expérience antérieure du même type d'enquête, le budget total, et l'affectation du budget entre les diverses opérations;

• La qualité de la base de sondage (en ce qui concerne la couverture de la population et la facilité à établir le contact avec le répondant), la population observée et la méthode d'échantillonnage;

• La méthode de collecte des données (par exemple, par la poste, par une interview personnelle ou par une interview téléphonique assistée par ordinateur, par la collecte électronique de données (CED), par l'Internet, ou par la combinaison de quelques méthodes), la période de l'année et la longueur de la période de collecte;

• La stratégie de communication qui sera utilisée pour informer les répondants de l'importance de l'enquête et pour maintenir les relations avec les répondants;

• L'utilisation et l'efficacité des mesures incitatives pour les répondants;

• Le fardeau de réponse imposé (longueur de l'interview, difficulté du sujet, choix du moment et périodicité de l'enquête); la nature et la délicatesse du sujet; la longueur et la complexité du questionnaire; la langue du questionnaire et les  antécédents culturels des répondants;

• L'expérience antérieure et les compétences du personnel de collecte en relations interpersonnelles; leur charge de travail; les facteurs liés aux intervieweurs eux-mêmes, comme leur formation; et le roulement potentiel du personnel;

• L'efficacité et la portée de la méthodologie de suivi, ainsi que les difficultés prévues dans le dépistage des répondants qui ont déménagé.

Instaurer une collecte adaptative permettant à la stratégie de collecte d'évoluer avec le temps. Ceci requiert l'instauration d'une gestion active pour un suivi régulier sur les opérations de collecte et d'une collecte adaptative de données aux quatre phases de la collecte : avant le contact initial, après quelques essais, au milieu de la période de la collecte, et vers la fin de la collecte.

Mettre en place des procédures de suivi auprès des non-répondants au cours de la collecte

Effectuer un suivi auprès des non-répondants (tous ou un sous-échantillon de ces derniers). Le suivi auprès des non-répondants augmente le taux de réponse et peut aider à vérifier si les répondants et les non-répondants sont dotés de caractéristiques mesurées semblables. La stratégie d'enquête devrait tenir compte d'emblée de la nonréponse en adoptant une perspective de sélection à deux phases.

Établir la priorité des activités de suivi. Par exemple, dans les enquêtes auprès des entreprises, effectuer d'abord un suivi des grandes unités ou des unités influentes, possiblement au risque de manquer les plus petites unités. De même, accorder une plus grande priorité aux unités non-répondantes dans les domaines connus comportant un fort potentiel de biais de nonréponse. On peut utiliser une fonction de caractérisation pour établir la priorité du suivi.

Un suivi est particulièrement important dans le cadre des enquêtes longitudinales, où l'échantillon est assujetti à l'attrition croissante (et possiblement au biais) en raison de la nonréponse dans chacun des cycles d'enquête. Dans ce cas, il faut faciliter le dépistage de grande qualité; obtenir des données de contact additionnelles pour les unités échantillonnées à chaque cycle d'enquête; fournir une carte de changement d'adresse et demander à l'unité échantillonnée d'informer le Bureau si un déménagement a lieu entre les cycles d'enquête. Cela permettra d'obtenir des données de contact actualisées. En outre, les données administratives, les annuaires municipaux et téléphoniques, et de nombreuses autres sources, dont le savoir local, sont précieux pour le personnel de dépistage.

Évaluer l'existence d'un biais potentiel de nonréponse

Diverses approches existent pour déterminer s'il y a des différences entre les répondants et les non-répondants et évaluer le biais potentiel de nonréponse : suivi spécifique d'unités, suivi de non-répondants, et analyse des caractéristiques connues des répondants et des non-répondants.  Les renseignements sur les non-répondants peuvent soit parvenir des vagues précédentes d'information (dans le cas d'enquêtes longitudinales ou avec groupes de renouvellement), ou en utilisant des sources de données externes (par exemple, les fichiers de données administratives ou de paradonnées).

Déterminer le mécanisme de réponse

L'analyse des caractéristiques des répondants et des non-répondants servira également à établir un modèle de nonréponse en vue de réduire autant que possible le biais dû à la nonréponse et à guider le choix de la méthode appropriée pour compenser la nonréponse.

Pour les enquêtes longitudinales, il faut tenir compte de la structure de nonréponse dans le temps (Hedeker et Gibbons,2006).

Déterminer une méthode de traitement de la nonréponse

Les principales approches servant à composer avec les données manquantes sont l'imputation et la repondération.

Le traitement devrait être choisi en fonction du type de nonréponse (totale ou partielle), de la disponibilité de variables auxiliaires et de la qualité du modèle de réponse.  De façon générale, la repondération est utilisée pour le traitement de la nonréponse totale. L'imputation est surtout utilisée pour le traitement de la nonréponse partielle, quoiqu'elle peut l'être pour le traitement de la nonréponse totale si des données auxiliaires sont disponibles (enquêtes répétées, données administratives ou autres)

La repondération vise à éliminer, ou du moins à réduire, le biais de nonréponse totale.  On peut considérer la repondération sous deux angles : par modèle de nonréponse ou par calage (Särndal, 2007).

Pour l'approche du modèle de nonréponse, un modèle est développé pour estimer les probabilités de réponse inconnues. Les poids de sondage sont alors ajustés par l'inverse des probabilités de réponse estimées (Oh et Scheuren, 1983; Lynn, P., 1996). Pour obtenir une certaine protection contre l'inadéquation du modèle, il est suggéré de former des groupes de réponses homogènes c'est-à-dire de regrouper les unités ayant les mêmes caractéristiques et la même propension à répondre (Haziza et Beaumont, 2007).  Plusieurs méthodes peuvent être utilisées à cet effet : les algorithmes d'arbres de décision, comme CHAID dans le logiciel Knowledge Seeker (Kass, 1980; Angoss Software, 1995), les modèles de régression logistique, la méthode de score, l'utilisation de données auxiliaires telles que les paradonnées (Beaumont, 2005; Eltinge, Yansaneh, 1997), etc.

Des systèmes développés à Statistique Canada permettent d'évaluer et de mesurer l'impact de la nonréponse et de l'imputation : GENESIS (GENEralized SImulation System) quantifie la performance relative de méthodes d'imputation par l'utilisation d'études de simulation et SEVANI (Système pour l'Estimation de la VAriance due à la Nonréponse et à l'Imputation) calcule la variance due à la nonréponse (Beaumont, 2007). À noter que si la variance due à la nonréponse est importante comparativement à la variance d'échantillonnage pour une région donnée, il pourrait peut-être indiqué, pour respecter le budget, de réduire la taille souhaitée de l'échantillon afin de consacrer davantage de ressources à la prévention de la nonréponse.

Évaluer et publier les taux de nonréponse

Suivre les Normes et lignes directrices pour la déclaration des taux de nonréponse (Statistique Canada, 2001d) afin de faciliter la comparabilité entre les enquêtes. Ces normesdécrivent les exigences pour la déclaration des taux de nonréponse, conformément à la Politique visant à informer les utilisateurs sur la qualité des données, pour les recensements ou enquêtes-échantillons qui sont fondés strictement sur la collecte de données directement auprès des répondants.  Parmi les sujets abordés, il y a les taux de nonréponse pondérés ou non, les taux de réponse à la collecte des données et à l'estimation, la nonréponse pour les enquêtes secondaires ou longitudinales, le biais dû à la nonréponse, la surveillance des opérations d'enquête, l'évaluation des méthodes de collecte des données, les mesures de la couverture de la base de sondage, la création d'une base de données longitudinales, la déclaration des cas de nonréponse et les exigences en matière de déclaration dans la base de métadonnées intégrées.

Se référer au besoin à des mises en application particulières des normes en fonction de spécificités d'enquêtes. Par exemple, des articles récents traitent des enquêtes utilisant des données administratives pour certaines unités et des données d'enquête pour d'autres (Trépanier et al. 2005), de celles où un mode de collecte mixte est utilisé pour une même unité (Leon, 2007) ou des enquêtes à composition aléatoire (Marchand, 2008).

Déterminer et analyser les raisons de la nonréponse

Noter les raisons de la nonréponse au moment de la collecte (p. ex., refus, non-contact, absence temporaire, problème technique) puisque le degré de biais de nonréponse peut différer en fonction de la raison.

Indicateurs de qualité

Principal élément de la qualité : exactitude

Évaluer les taux de réponse et de nonréponse

Rédiger une note sur le taux de réponse. Celui-ci peut être calculé de différentes façons, avec interprétations pour des objectifs différents. Se référer aux Normes et lignes directrices pour la déclaration des taux de nonréponse (Statistique Canada, 2001d). Rapporter les taux de réponse pondérés pour illustrer la contribution aux estimations, et utiliser les taux de réponse non-pondérés pour refléter le taux de participation dans la population d'enquête.

Rapporter le taux de nonréponse ventilé par différents types de nonréponse. Cette information peut être utilisée ultérieurement lors de la conception d'autres enquêtes et est utile pour les utilisateurs des données qui doivent interpréter les données. Les pourcentages des unités échantillonnées ayant refusé de répondre, identifiées comme hors champs, n'ayant pu être contacté pendant la période de collecte et ayant répondu partiellement pourraient également être d'intérêt.

Préciser si les estimations d'enquête sont ajustées ou non en vue de compenser la nonréponse. Si les estimations sont ajustées, une description de la procédure de correction doit être jointe.

Évaluer la variance due à la nonréponse

Rapporter la variance due à la nonréponse. Pour ce faire, utiliser SEVANI lorsque le total ou la moyenne d'un domaine ou des méthodes de rééchantillonnage est estimé. 

Étudier le biais

Étudier le biais de nonréponse en fonction du mode de collecte et du type de nonréponse.

Dans le cas des enquêtes périodiques, effectuer des études périodiques du biais de nonréponse. Les résultats de ces études doivent être inclus dans les renseignements déclarés aux utilisateurs conformément à la politique.

S'il y a lieu, tenter d'évaluer la mesure dans laquelle les procédures corrigent le biais potentiel.

Bibliographie

ANGOSS SOFTWARE. 1995. Knowledge SEEKER – User's Guide, ANGOSS Software InternationalLTD.

BEAUMONT, J.-F. et J. BISSONNETTE. 2007. « Variance Estimation Under Composite Imputation Using an Imputation Model », conférence présentée à l'Atelier sur le calage et l'estimation dans les enquêtes, Ottawa.

BEAUMONT, J.-F. 2005. « L'utilisation de renseignements sur le processus de collecte des données pour traiter la nonréponse totale au moyen de l'ajustement de poids », Techniques d'enquête, vol. 31, no2, p. 249 à 254.

ELTINGE, J. L. et I. S. YANSANEH.  1997. « Méthodes diagnostiques pour la construction de cellules de correction pour la nonréponse avec application à la nonréponse aux questions sur le revenu de la U.S. Consumer Expenditure Survey », Techniques d'enquête, vol. 23, no1, p. 37 à 45.

FULLER, W.A. 1993. Measurement Error Models, New York, Wiley, 440 p.

Hedeker, D. et R.D. Gibbons, 2006. Longitudinal Data Analysis, New York, Wiley, 360 p.

Groves, R.M., D.A. Dillman, J. L. Eltinge et R. J. A. Little. 2001. Survey Nonresponse, New York, Wiley, 520 p.

Haziza, D. et J.-F. Beaumont. 2007. « On the Construction of Imputation Classes in Surveys », International Statistical Review, vol. 75, no1, p. 25 à 43.

KASS, G.V. 1980. « An Exploratory Technique for Investigating Large Quantities of Categorical Data », Applied Statistics, vol. 29, no2, p. 119 à 127.

Laflamme, F. 2008. « Using Paradata to Actively Manage Data Collection Survey Process », Proceedings from the American Statistical Society 2008 Joint Statistical Methods Conference, Denver, Colorado, American Statistical Association.

LEON, C. A. 2007. « Reporting Response Rates in Characteristic Surveys », Proceedings from the Statistical Society of Canada 2007 Conference, St. John's, Terre-Neuve, Société statistique du Canada.

Lynn, P. 1996. « Weighting for Non-reponse. Survey and Statistical Computing », Proceedings from the Association for Survey Computing 1996 Survey and Statistical Computing conference, Londres.

MARCHAND, I., R. Chepita, P. St-Cyr et D. Williams. 2008. « La nonréponse dans le cadre d'une enquête à composition aléatoire : l'expérience du cycle 21 (2007) de l'Enquête sociale générale », conférence présentée au Symposium international sur les questions de méthodologie de Statistique Canada, 25 au 28 octobre 2008, Ottawa.

Oh, H.L. et F. J. Scheuren. 1983. « Weighting Adjustment for unit nonresponse », Incomplete data in Sample Surveys, Vol. 2. Theory and Bibliographies, W.G. Madow, I. Olkin et D. B. Rubin, New York, Academic Press, p. 143 à 184.

Särndal, C.-E. et S. Lundström, 2005. Estimation in Surveys with Nonresponse, Wiley, New York, 212 p.

Statistique Canada. 2000d. « Politique visant à informer les utilisateurs de la qualité des données et la méthodologie », Manuel des politiques de Statistique Canada.

Statistique Canada. 2001d. « Normes et lignes directrices pour la déclaration des taux de nonréponse », Rapport technique de Statistique Canada.

TRÉPANIER, J., C. JULIEN et J. KOVAR. 2005. « Reporting response Rates When Survey and Administrative Data are Combined », Federal Committee on Statistical Methodology Research Conference.