3 Sélection fondée sur la pseudo-vraisemblance avec le BIC

Chen Xu, Jiahua Chen et Harold Mantel

Précédent | Suivant

3.1  Le BIC dans les enquêtes

Sous la spécification du modèle décrite à la section 2, il est clair que, si la mesure $\left(y_i\mathrm{,}{x}_i\right)$ est observée pour chaque unité de la population $D,$ le caractère aléatoire des données introduit par le plan de sondage probabiliste a complètement disparu. Dans cette situation, la sélection de variables influentes est fondée sur la population complète et les critères de sélection classiques élaborés dans des conditions ne faisant pas appel au sondage (fondées purement sur le modèle) demeurent valides pour l'inférence sous le modèle et le plan. En particulier, soit $s\subseteq \left\{\mathrm{1,}\dots \mathrm{,}p\right\}$ un ensemble arbitraire de $\tau \left(s\right)$ covariables, qui correspond à un modèle possible de la forme (2.1). Le BIC fondé sur la population complète (Schwarz 1978) sélectionne le modèle (covariables) qui minimise

$${\text{BIC}}_N\left(s\right)=-2l_N\left({\stackrel{⌣}{\beta }}_s\right)+\tau \left(s\right)\log N\mathrm{,}\left(3.1\right)$$

où $l_N\left(\beta \right)={\displaystyle {\sum }_{i=1}^N}\log f\left(y_i;x_i\beta \right)$ est la fonction de vraisemblance pour la population complète et ${\stackrel{⌣}{\beta }}_s$ est le maximiseur de $l_N\left(\beta \right)$ fondé sur $s.$ On peut constater que le BIC (3.1) est une fonction décroissante de la vraisemblance maximisée et une fonction croissante du nombre de variables incluses dans le modèle. Donc, un plus petit BIC implique un modèle plus simple (moins de variables explicatives), un meilleur ajustement (vraisemblance maximisée plus élevée), ou les deux. La préférence est donnée à un modèle présentant un équilibre entre la complexité et la qualité de l'ajustement.

Nous notons que le BIC sous population complète (3.1) est conceptuel, parce que l'observation de $\left(y_i\mathrm{,}{x}_i\right)$ pour toutes les unités de $D$ est habituellement impossible dans les applications. Souvent, on tire plutôt de $D$ un échantillon représentatif $d=\left\{i_1\mathrm{,}\dots \mathrm{,}{i}_n\right\}\subset \left\{\mathrm{1,}\dots \mathrm{,}N\right\}$ contenant $n$ unités et les mesures sont observées en se basant sur les unités échantillonnées. En raison de la structure de dépendance intrinsèque des unités échantillonnées, il n'est généralement pas possible de calculer une vraisemblance complète sur $d.$ Comme solution de rechange, pour l'inférence sous le modèle et le plan, on utilise fréquemment une fonction de pseudo-log-vraisemblance, qui prend la forme

$$l_n\left(\beta \right)={\displaystyle \sum _{i\in d}{w}_i\log f\left(y_i;\beta \right)}\left(3.2\right)$$

où $w_i=k/P\left(i\in d\right)$ désigne le poids de sondage de la $i^{\text{e}}$ unité. Le paramètre d'échelle $k$ dans $w_i$ n'a aucune incidence analytique sur l'inférence fondée sur la pseudo-vraisemblance. Pour simplifier l'exposé, nous choisissons $k=n/N$ tel que $n^{-1}{l}_n\left(\beta \right)$ est sans biais sous le plan jusqu'à $N^{-1}{l}_N\left(\beta \right).$ La maximisation de $l_n\left(\beta \right)$ sur $\beta$ mène à un estimateur du maximum de pseudo-vraisemblance (EMPV) $\widehat{\beta }$ pour $\beta ,$ c.-à-d.

$$\widehat{\beta }=\text{arg}\underset{\beta }{\max }{l}_n\left(\beta \right)\mathrm{.}$$

Sous les plans de sondage appropriés, $\widehat{\beta }$ est souvent convergent en $n^{-\frac{1}{2}}$ vers $\beta$ dans le cadre de randomisation conjointe. L'idée d'utiliser la pseudo-vraisemblance pour l'inférence sur les paramètres du modèle est largement répandue dans la littérature (voir, p. ex., Binder 1983; Godambe et Thompson 1986; Molina et Skinner 1992).

Dans le présent article, nous tentons d'élaborer un analogue du critère BIC fondé sur la pseudo-vraisemblance. Partant de la formulation de la super-population décrite à la section 2, soit ${\beta }_s,$ le coefficient $\tau \left(s\right)­$dimensionnel du modèle $s$ et soit ${\nu }_s,$ la densité a priori de ${\beta }_s.$ Alors, une fonction de pseudo-densité marginale des données est donnée par

$$P_n\left(y|s\right)={\displaystyle \int }{L}_n\left(y;{\beta }_s\right){\nu }_s\left({\beta }_s\right)d{\beta }_s$$

avec $L_n\left(y;{\beta }_s\right)=\exp \left\{l_n\left(y;{\beta }_s\right)\right\}.$ Donc, nous pouvons considérer l'expression qui suit comme étant la pseudo-probabilité a posteriori du modèle $s:$

$$P_n\left(s|y\right)=\frac{P_n\left(y|s\right)P\left(s\right)}{{\displaystyle \sum _{s\in S}P\left(s\right)P_n\left(y|s\right)}}\mathrm{,}\left(3.3\right)$$

où $S$ désigne l'ensemble de tous les modèles possibles. Dans l'esprit de l'analyse bayésienne, le modèle ayant la $P_n\left(s|y\right)$ la plus élevée est considéré comme étant celui que les données soutiennent le plus. Puisque ${\displaystyle {\sum }_{s\in S}P\left(s\right)P_n\left(y|s\right)}$ ne dépend d'aucun modèle particulier, la $P_n\left(s|y\right)$ la plus élevée est donnée par le modèle qui maximise la $P_n\left(y|s\right)P\left(s\right)$ correspondante. Lorsque l'on utilise le prior uniforme $P\left(s\right)=\zeta$ et que l'on choisit le facteur d'échelle de pondération comme étant $k=n/N,$ on obtient une approximation de Laplace sous certaines conditions de régularité (voir Xu et Chen 2012) :

$$-2\log \left\{P_n\left(y|s\right)\right\}=-2l_n\left({\widehat{\beta }}_s\right)+\tau \left(s\right)\log n+O_p\left(1\right)\mathrm{.}$$

D'où, nous choisissons le modèle $s$ qui minimise

$${\text{BIC}}_n\left(s\right)=-2l_n\left({\widehat{\beta }}_s\right)+\tau \left(s\right)\log n\mathrm{.}\left(3.4\right)$$

Comparativement au BIC sous population complète (3.1), le premier terme du BIC (3.4) est la pseudo-vraisemblance pondérée par les poids de sondage maximale, qui pourrait être utile pour éviter les erreurs dues à l’échantillonnage susceptibles de donner lieu à des inférences biaisées pour la population cible. Nous considérons (3.4) comme une version du BIC fondée sur la pseudo-vraisemblance dans le contexte des sondages. Dans le cadre de randomisation conjointe, nous établissons la cohérence de sélection lorsqu’on utilise le BIC (3.4) par une procédure d’application via la pseudo-vraisemblance pénalisée (PVP), comme nous le verrons à la section 4.

3.2  Application du BIC au moyen de la pseudo-vraisemblance pénalisée

Dans la pratique, un moyen simple d'appliquer le BIC consiste à sélectionner le meilleur sous-ensemble, en évaluant et comparant le BIC pour chaque modèle possible. Cependant, cette procédure peut aboutir à des calculs impossibles quand le nombre de covariables est grand. Pour la remplacer, des méthodes basées sur la vraisemblance pénalisée ont été utilisées récemment comme procédures de calcul efficaces pour appliquer un critère de sélection. Pour exclure des variables du modèle, ces méthodes estiment que les coefficients de ces variables sont nuls et réduisent les autres coefficients en conséquence. En faisant varier la pénalité appliquée à la vraisemblance, nous pouvons obtenir une série de modèles de parcimonie variable. Afin d'éviter une recherche exhaustive sur l'entièreté de l'espace des modèles, on utilise un critère de sélection pour choisir un modèle optimal parmi ces modèles parcimonieux. L'efficacité de cette stratégie a été illustrée dans un contexte ne faisant pas appel au sondage pour le critère BIC (Wang, Li et Tsai 2007; Liu, Wang et Liang 2011) et pour le critère GCV (Fan et Li 2001; Xie, Pan et Shen 2008) entre autres.

Dans le même esprit, nous proposons une procédure fondée sur la pseudo-vraisemblance pénalisée (PVP) pour appliquer le BIC (3.4) aux données d'enquête. En particulier, partant de la pseudo-vraisemblance (3.2) avec $k=n/N,$ nous définissons l'estimateur pénalisé pondéré par les poids de sondage ${\widehat{\beta }}_{\lambda },$ qui minimise la fonction de pseudo-vraisemblance pénalisée.

$$Q_n\left(\beta \right)=l_n\left(\beta \right)-n{\displaystyle \sum _{j=1}^p{\varphi }_{\lambda }}\left(\left|{\beta }_j\right|\right)\mathrm{,}\left(3.5\right)$$

où ${\varphi }_{\lambda }\left(\mathrm{.}\right)$ est une fonction de pénalité indicée par un paramètre d'ajustement $\lambda$ qui contrôle la taille de la pénalité. Moyennant un choix approprié de ${\varphi }_{\lambda }\left(\mathrm{.}\right),{\widehat{\beta }}_{\lambda }$ contient des estimations nulles pour certains coefficients et produit donc automatiquement un modèle parcimonieux. La parcimonie souhaitable de ${\widehat{\beta }}_{\lambda }$ exige habituellement que la fonction ${\varphi }_{\lambda }\left(\mathrm{.}\right)$ correspondante soit singulière à l'origine. Certains choix fréquents de ${\varphi }_{\lambda }\left(\mathrm{.}\right)$ comprennent la pénalité $L_{\gamma }$ (Frank et Friedman 1993; Tibshirani 1996), c.-à-d. ${\varphi }_{\lambda }\left(\left|\beta \right|\right)=\lambda {\left|\beta \right|}^{\gamma }$ avec $\gamma \in (0\mathrm{,}1],$ et la pénalité SCAD (Fan et Li 2001), qui est définie par la dérivée suivante :

$${{\varphi }^{\prime }}_{\lambda }\left(\left|\beta \right|\right)=\lambda \left\{I\left(\left|\beta \right|\le \lambda \right)+\frac{{\left(a\lambda -\left|\beta \right|\right)}_{+}}{\left(a-1\right)\lambda }I\left(\left|\beta \right|>\lambda \right)\right\}\left(3.6\right)$$

pour laquelle $a=$ 3,7 est un choix fréquent.

En utilisant des valeurs différentes de $\lambda$  pour une fonction ${\varphi }_{\lambda }\left(\mathrm{.}\right)$ spécifiée correctement, ${\widehat{\beta }}_{\lambda }$ produit des modèles de parcimonie variable. Ces modèles parcimonieux (par rapport à $\lambda$ ) forment naturellement une série des modèles possibles. Le BIC (3.4) peut alors être utilisé pour choisir un modèle optimal parmi cette série. Plus précisément, soit $\Omega$ l'intervalle de valeurs de $\lambda$ et soit $s_{\lambda }$ un modèle produit par ${\widehat{\beta }}_{\lambda }.$ Nous traitons $S_{\Omega }=\left\{s_{\lambda }:\lambda \in \Omega \right\}$ comme la série de modèles possibles prise en considération et nous choisissons le modèle $s*\in S_{\Omega }$ tel que ${\text{BIC}}_n\left(s*\right)={\min }_{\lambda \in \Omega }\text{BIC}\left(s_{\lambda }\right).$ Nous appelons cette procédure de sélection la méthode du BIC fondée sur la pseudo-vraisemblance pénalisée (BIC-PVP). Comparativement à la sélection classique du meilleur sous-ensemble, la procédure BIC-PVP est axée sur les modèles qui sont produits par les estimateurs analysés pondérés par les poids de sondage et, par conséquent, peut demander nettement moins de calculs.

Précédent | Suivant