Annexe 4

Consulter la version la plus récente.

Comparaison de l'EJET et du SIEP (et autres vérifications proposées)

La présente annexe rend compte des résultats de certaines vérifications effectuées relativement aux résultats figurant dans la présente étude, par rapport à l'ensemble de données de l'EJET-B, décrit précédemment comme étant probablement la meilleure autre source de données pour l'étude de la persévérance dans les études postsecondaires au Canada et comme base pour d'autres travaux entrepris par les auteurs (Finnie et Qiu (2008)). Nous suggérons en outre d'autres vérifications qui pourraient être effectuées, y compris deux couplages de fichier qui pourraient être intéressants.

Ensemble de données de l'EJET et du SIEP

Les forces et les faiblesses générales des ensembles de données de l'EJET et du SIEP ont été mentionnées dans le corps du document. Elles découlent principalement des caractéristiques générales des données administratives (SIEP) et des données d'enquête (EJET-B), et ont trait à la couverture, à l'attrition et aux variables disponibles. Par ailleurs, dans ce cas, l'EJET-B est un ensemble de données au niveau national, tandis que le SIEP utilisé pour l'analyse se limite à la région de l'Atlantique.

Le tableau A.4.1 en annexe (ci-après) montre les taux de transition la première année, sur la base du SIEP, qui sont présentés précédemment, ainsi qu'un ensemble de résultats fondés sur l'EJET qui sont à peu près comparables à ceux figurant dans Finnie et Qiu (2008), mais qui sont rajustés pour être davantage comparables avec ceux du SIEP.

De façon plus particulière, l'analyse fondée sur l'EJET a été limitée aux étudiants fréquentant des établissements de la région de l'Atlantique (plutôt qu'ailleurs au Canada), et la définition de la migration a été modifiée, afin que les migrants à l'intérieur des établissements, définis comme tels dans l'analyse originale fondée sur l'EJET, soient reclassés comme persévérants. C'est donc dire que nous considérons l'obtention d'un diplôme, la poursuite des études ou l'abandon des études dans un établissement donné comme la dynamique d'intérêt, comme cela a été fait dans l'analyse fondée sur le SIEP, plutôt que l'obtention d'un diplôme, la poursuite des études ou l'abandon du programme initial¸ comme c'était le cas pour les travaux originaux de l'auteur à partir de l'EJET.

Par ailleurs, les changements d'établissement à l'extérieur de la région de l'Atlantique, qui sont définis comme des migrations dans l'analyse fondée sur l'EJET, sont maintenant reclassés comme des décrochages aux fins de ces comparaisons. Cette classification intentionnellement erronée correspond donc au traitement effectué dans l'analyse fondée sur le SIEP, du fait qu'elle tient compte des étudiants de la région de l'Atlantique seulement (ce qui signifie que ceux qui poursuivent leurs études, mais quittent la région pour le faire, sont considérées comme des décrocheurs).

Il subsiste toutefois d'autres différences dans les deux ensembles de données, ce qui fait que dans tous les calculs connexes, cela doit être pris en compte. Tout d'abord, l'analyse fondée sur l'EJET repose sur le premier programme d'EPS suivi par les personnes incluses dans l'échantillon de l'EJET, qui étaient âgées entre 18 et 20 ans en 2000. Cela aurait pu se produire à tout moment au cours de la période couverte par les données, à partir de 1996 (identification rétroactive au moment de la première interview) jusqu'au cycle IV de l'enquête, effectuée en 2006, qui vient d'être disponible. Par conséquent, l'accent qui est mis sur les premiers programmes dans l'analyse de l'EJET est plus ambigu que dans l'analyse fondée sur le SIEP, la répartition des âges est légèrement différente, de même que la période couverte par l'analyse.

En deuxième lieu, l'EJET est sujette à un biais de réponse lié à l'échantillon, comme il est indiqué dans le corps du document, tandis que le SIEP ne devrait pas l'être, étant donné qu'il inclut toutes les personnes inscrites à des programmes d'EPS (dans la région de l'Atlantique seulement, toutefois) pour la période couverte. Nous devrions par conséquent nous attendre à ce que les taux de décrochage, plus particulièrement, soient sous-estimés dans l'EJET, étant donné que les décrocheurs seront probablement plus difficiles à suivre au fil du temps, ce qui fait que des dynamiques seront laissées de côté et que les estimations connexes de la transition seront biaisées en conséquence.

Toutefois, outre ce biais de réponse, un nombre substantiel de profils d'EPS sont difficiles à classer dans l'EJET, en raison des données contradictoires recueillies d'une enquête à l'autre (par exemple, la personne indique qu'elle était inscrite à des EPS à la fin d'un cycle, mais indique au moment de l'interview suivante que cela n'était pas le cas), et les taux de persévérance estimés varient considérablement selon le traitement particulier de ces cas.

Enfin, la taille des échantillons dans la région de l'Atlantique est faible dans l'EJET, et les estimations de la persévérance sont par conséquent sujettes à des variances plus importantes.

C'est pour ces raisons et d'autres raisons connexes que nous ne devrions pas nous attendre à ce que les deux ensembles de résultats soient identiques. La question qui se pose est la suivante : se rapprochent-ils, et leurs différences correspondent-elles à ce à quoi on s'attendait? Peuvent-elles nous indiquer la direction des autres vérifications qui pourraient être effectuées?

Comparaison des taux de persévérance à partir de l'EJET et du SIEP

Les taux de persévérance la première année sont en fait très proches dans les deux ensembles de résultats. Dans le cas des étudiants au baccalauréat, ils se situent à 79,8 % dans le SIEP et à 81,2 % dans l'EJET, tandis qu'au collégial, ils sont de 52,6 % et 50,4 % dans le SIEP et l'EJET, respectivement. Le nombre de diplômés est aussi assez proche : négligeable au baccalauréat et de 24 % à 27 % au collégial. Cette similitude dans les résultats est rassurante pour les deux analyses.

Les taux de décrochage et de migration, toutefois, diffèrent un peu plus. Les taux de décrochage la première année se situent à 15,1 % dans le SIEP et à 10,5 % dans l'EJET chez les étudiants au baccalauréat, même s'ils sont beaucoup plus proches, à 22,6 %, comparativement à 20,4 %, chez les diplômés au collégial. Cela est conforme à notre attente concernant des taux de décrochage possiblement plus faibles selon l'EJET, en raison de son biais de réponse/d'attrition probable, comme il est indiqué précédemment et ailleurs dans le document. En outre, le fait que ces différences soient plus grandes chez les étudiants au baccalauréat que chez les étudiants au collégial peut venir de ce que les premiers sont un groupe plus mobile, pour qui l'abandon des études (par exemple) – et ainsi peut-être le déménagement après avoir quitté l'école et leur disparation de l'échantillon – est plus courant que dans le cas des étudiants au collégial.

Les taux de migration sont par contre un peu plus élevés dans l'EJET par rapport au SIEP chez les étudiants au baccalauréat : 5,1 % pour le SIEP comparativement à 7,8 % pour l'EJET (alors qu'ils sont partout faibles pour les diplômés au collégial). La raison de cette différence est moins évidente.

Parmi nos préoccupations figurait le fait que le SIEP ne tient pas compte de tous les migrants, peut-être parce qu'il ne peut pas suivre tous les étudiants d'une année à l'autre, lorsque ceux-ci changent d'établissement. De façon plus particulière, si un étudiant est passé d'un établissement à un autre et que son enregistrement n'a pas fait l'objet d'un couplage pour ces deux années, selon les méthodes d'appariement utilisées par Statistique Canada, il sera compté comme un décrocheur plutôt que comme un migrant dans notre analyse, ce qui en théorie pourrait expliquer les différences dans les taux de décrochage et de migration : les taux de décrochage dans le SIEP étant plus élevées et les taux de migration plus faibles.

Lorsqu'on lui a présenté ces résultats, Statistique Canada a pris nos préoccupations à cœur et a vérifié encore une fois ses programmes de couplage (y compris des vérifications exhaustives des micro-enregistrements sous-jacents) et a conclu encore une fois que l'exercice d'appariement qui a servi à créer le fichier longitudinal utilisé pour l'analyse permettait de déterminer dans les faits les couplages souhaités, et que le problème décrit précédemment (c'est-à-dire l'absence de couplage pour les étudiants qui ont changé d'établissement) n'était probablement pas à la source des différences observées, contrairement à l'hypothèse élaborée.

Compte tenu de la puissance des indicateurs individuels du fichier (NAS, nom complet et date de naissance) et de l'excellente réputation en général de Statistique Canada en ce qui a trait à ce type de couplages, en raison des années d'expérience acquises à ce sujet à partir d'une gamme variée de différents ensembles de données, il aurait probablement été surprenant que les couplages manqués constituent en fait un problème majeur. Les vérifications effectuées vont dans le sens de cette supposition. Pour le moment, par conséquent, nous concluons que les différences entre l'EJET et le SIEP ne peuvent être expliquées, et de loin, par les problèmes d'appariement longitudinaux qui ont été suggérés.

Si l'on part du principe que les personnes pour lesquelles Statistique Canada a reçu des enregistrements ont dans les faits été correctement couplées, cela laisse la possibilité d'un rapport incomplet de la part d'au moins certains établissements pour au moins certaines années. Si, toutefois, il s'agissait d'une erreur de rapport irrégulière au fil du temps, certaines personnes étant laissées de côté certaines années, mais pas d'autres dans un établissement donné, parce qu'elles n'ont pas été déclarées dans cet établissement ou parce que l'ensemble de l'établissement n'a pas produit de rapport, nous devrions nous attendre à ce que les taux de persévérance soient plus faibles et que les taux de décrochage soient plus élevées dans le SIEP, sans répercussions évidentes sur les taux de migration. Toutefois, nous sommes en face de taux de persévérance similaires, de taux de décrochage plus élevés et de taux de migration plus faibles dans le SIEP. C'est donc dire que cela ne semble pas expliquer le problème, même si une gamme variée de biais différents peuvent se compenser les uns les autres, y compris le biais de réponse sous-jacent qui devrait affecter les résultats de l'EJET, dans une certaine mesure à tout le moins.

En l'absence d'explications évidentes des différences observées dans les taux de migration – sauf que les taux de décrochage plus faibles dans l'EJET peuvent peut-être être expliqués au moins en partie par le biais de réponse de l'enquête – nous concluons que, même si certaines différences subsistent entre les résultats de l'EJET et ceux du SIEP, les taux de persévérance estimés sont généralement suffisamment rapprochés pour ne pas remettre en doute la qualité des données du SIEP ou l'analyse qui a été effectuée à partir de ces données, de façon fondamentale.

Comparaisons des taux de retour

Examinons maintenant les taux de retour chez les décrocheurs. Les taux de retour la première année chez les étudiants au baccalauréat se situent à 20,0 % (tableaux 13 et 14), ce qui est considérablement plus faible que le taux de 35,6 % la première année déterminé à partir de l'EJET pour l'ensemble du Canada et figurant dans Finnie et Qiu (2008). Toutefois, les ventilations détaillées sont intéressantes et peut-être révélatrices du point de vue de la détermination des sources possibles des différences dans les résultats entre les deux ensembles de données.

Le nombre de personnes qui reviennent dans le même établissement est très similaire dans les deux analyses : 12,5 % dans l'EJET comparativement à 11,9 % ici à partir du SIEP. Toutefois, nous voyons des taux considérablement plus faibles dans les données du SIEP, notamment dans le cas de ceux qui changent d'établissement, y compris le changement d'établissement à l'extérieur de la province d'origine.

Parmi les raisons qui expliquent ces différences figurent le fait que les données de l'EJET concernent l'ensemble du Canada (il n'est pas possible de ventiler les résultats pour cette dynamique pour la région de l'Atlantique en raison des tailles d'échantillons limitées de l'EJET), de même que les autres différences fondamentales dans les données de l'EJET décrites précédemment (c'est-à-dire qu'elles sont limitées aux personnes qui en sont à leur premier programme, etc.).

Parmi les autres raisons des différences entre les deux ensembles de résultats figure le fait que les étudiants qui déménagent pour s'inscrire à de nouveaux programmes dans des établissements à l'extérieur de la région de l'Atlantique ne sont pas, comme il est mentionné précédemment, pris en compte dans le SIEP, et qu'il peut s'agir d'un groupe important parmi les décrocheurs/raccrocheurs. Après tout, ceux qui abandonnent les études postsecondaires et qui reviennent devraient être un groupe géographiquement mobile de façon générale, compte tenu de l'instabilité des autres aspects de leur vie. (Encore une fois, les chiffres pertinents ne peuvent pas être déterminés avec précision dans l'EJET, en raison des tailles d'échantillons plus limitées dans un contexte où relativement peu de personnes sont touchées dans l'ensemble.)

Autrement dit, les chiffres du SIEP sous-estiment le nombre de personnes qui reviennent aux études postsecondaires après les avoir abandonnées, dans le cas de celles qui quittent la région de l'Atlantique. Ceci étant dit, les résultats de l'EJET seraient eux-mêmes (encore une fois) sujets à un biais d'échantillonnage. C'est donc dire que ce que nous observons est notamment le résultat de ces limites et problèmes possibles de données.

Pour résoudre cette question, il faudrait, comme dans le cas de la surestimation générale des décrocheurs et la sous-estimation des migrants, qui sont inhérentes au fait que le SIEP se limite à la région de l'Atlantique, élargir le fichier pour inclure les données des autres provinces où les étudiants de l'Atlantique s'installent lorsqu'ils reviennent aux études (ce qui aurait des répercussions sur les taux de retour), de même que lorsqu'ils passent d'un programme à un autre (ce qui aurait des répercussions sur les taux de décrochage et de migration).

Vérifications possibles grâce aux couplages des données

Parmi les autres façons de vérifier le SIEP figure son couplage avec d'autres ensembles de données et sa comparaison directe avec les profils d'EPS des étudiants provenant des deux sources différentes. Parmi ces possibilités figure le couplage du SIEP et de l'EJET. Étant donné que le SIEP représente essentiellement un recensement de tous les étudiants postsecondaires de la région de l'Atlantique, il devrait être possible de retrouver toutes les personnes comprises dans l'EJET dans le SIEP, à condition qu'elles se trouvent dans l'une ou l'autre de ces quatre provinces au cours de la période pertinente.

Les profils d'études postsecondaires des étudiants du SIEP et de l'EJET pourraient ainsi être suivis indépendamment dans les deux ensembles de données, afin de déterminer s'il y a des différences dans les profils de persévérance, et pourquoi. Les tailles d'échantillon seraient limitées en raison du nombre relativement faible de personnes de la région de l'Atlantique dans l'EJET (étant donné qu'il s'agit d'un ensemble de données d'enquête au niveau national), mais un tel exercice pourrait néanmoins être révélateur, et à tout le moins indicateur des sources possibles des différences dans les résultats entre les deux ensembles  de données, y compris celles mentionnées précédemment.

Aucune proposition de couplage de la sorte n'a été lancée, mais si la démonstration de son bien-fondé pouvait être faite, un tel projet pourrait à tout le moins être entrepris en principe. L'objectif du couplage pourrait demeurer limité aux vérifications du SIEP, ou pourrait aller plus loin, en vue d'inclure le fichier couplé disponible pour l'analyse, si les avantages de procéder ainsi pouvaient être démontrés avec succès.

Parmi les autres possibilités intéressantes figurent le couplage du SIEP et de la banque de données administratives longitudinales ou DAL. La DAL est une banque de données longitudinales établie à partir des dossiers fiscaux des personnes, qui comprend des renseignements sur la participation aux études postsecondaires sur la base des crédits d'impôt disponibles déclarés par les étudiants. La DAL englobe une proportion aléatoire de 20 % de la population, ce qui signifie que 20 % des personnes comprises dans le SIEP pourraient en principe être couplées à la DAL, ce qui donnerait encore lieu à des tailles d'échantillons raisonnables.

Grâce au couplage de la DAL et du SIEP, les personnes pourraient, comme pour le couplage du SIEP et de l'EJET mentionné précédemment – être suivies conjointement dans le SIEP et dans la DAL, et leurs profils d'EPS comparés. Encore une fois, les préoccupations soulevées précédemment pourraient être résolues. Est-ce que certaines des personnes identifiées comme des décrocheurs dans le SIEP poursuivent réellement leurs études, mais ne font pas l'objet d'un couplage d'une année à l'autre, lequel est nécessaire pour rendre compte de cette dynamique? Quelle est l'étendue des lacunes du SIEP, du fait que sa couverture se limite à la région de l'Atlantique, et combien de personnes quittent en fait la région de l'Atlantique tout en poursuivant leurs études postsecondaires et devraient, par conséquent, être classées comme des migrants plutôt que comme des décrocheurs? Et qu'en est-il de ceux qui reviennent aux études directement, après avoir quitté un programme sans obtenir de diplôme, ou après avoir obtenu un diplôme? De cette façon, toutes les incertitudes actuelles en ce qui a trait à ces dynamiques dans le SIEP pourraient essentiellement être vérifiées.

En fait, il existe déjà une proposition de couplage d'enregistrements en cours à Statistique Canada, en vue d'un appariement de la DAL et du SIEP de la région de l'Atlantique. La proposition a été lancée initialement par le projet MEAFE sur les EPS auxquelles les auteurs participent, avec l'appui du Centre de la statistique de l'éducation de Statistique Canada et de la Division des données régionales et administratives, qui assure la gestion de la DAL. Un soutien extérieur additionnel pour ce couplage aurait toutefois pour effet (comme c'est le cas pour le couplage du SIEP et de l'EJET mentionné précédemment) d'augmenter ses chances d'être accepté puisque les avantages du couplage pour le public – comme pourraient le prétendre les partenaires externes - doit être démontrés de façon appropriée.

Un couplage de la DAL et du SIEP aurait comme avantage additionnel –accessoire aux fins de la recherche présentée ici, mais fondamental quant aux avantages globaux du couplage de la DAL et du SIEP conçu à l'origine –de nous permettre de joindre les données longitudinales sur les antécédents familiaux disponibles dans la DAL à toute analyse de la persévérance effectuée à partir du SIEP. Le revenu de la famille, le type de la famille, l'endroit où vivait la personne avant la poursuite des EPS et d'autres renseignements de la sorte figurent parmi les variables qui pourraient être ajoutées à l'analyse.

En outre, les personnes incluses dans tout couplage de la DAL et du SIEP pourraient continuer d'être suivies après avoir quitté les EPS, grâce à leurs dossiers fiscaux (fondés sur la DAL), permettant ainsi de coupler les expériences des EPS et les résultats futurs, y compris les expériences sur le marché du travail, les profils démographiques (mariage et grossesse), l'épargne, etc. Il s'agit en fait des principaux objectifs du couplage de la DAL et du SIEP, dans sa conception originale, l'utilisation de la DAL pour aider à vérifier les données du SIEP étant une idée plus récente. Tous ces objectifs pourraient être atteints si le couplage était effectué et le fichier couplé était disponible : (i) pour vérifier le SIEP et (ii) pour effectuer l'analyse.