Une généralisation du paradigme de Fellegi-Holt pour la localisation automatique des erreurs 7. Étude par simulationsUne généralisation du paradigme de Fellegi-Holt pour la localisation automatique des erreurs 7. Étude par simulations

• Précédent
• Suivant

Pour mettre à l’essai l’utilité potentielle de la nouvelle méthode de localisation des erreurs, on a mené une étude par simulations de petite envergure dans l’environnement R pour calcul statistique (R Development Core Team 2015). Une mise en œuvre prototype de l’algorithme de la figure 6.1 a été créée dans R. Dans le cadre de cet exercice, on a largement utilisé la fonctionnalité de vérification automatique fondée sur le paradigme de Fellegi-Holt du progiciel editrules (van der Loo et de Jonge 2012; de Jonge et van der Loo 2014). Le programme n’était pas optimisé pour assurer l’efficacité du calcul, mais il s’est révélé suffisamment rapide pour les problèmes de localisation des erreurs d’envergure relativement petite de l’étude par simulations. (Remarque : L’auteur peut fournir le code R utilisé sur demande.)

L’étude par simulations a été réalisée à l’aide d’enregistrements contenant cinq variables numériques qui devaient satisfaire les neuf règles de vérification linéaires suivantes :

$$\begin{array}{lll}{x}_1+x_2\hfill & =x_3,\hfill & \hfill \\ x_3-x_4\hfill & =x_5,\hfill & \hfill \\ x_j\hfill & \ge 0,\hfill & j\in \left\{1,2,3,4\right\},\hfill \\ x_1\hfill & \ge x_2,\hfill & \hfill \\ x_5\hfill & \ge -0\text{,}1x_3,\hfill & \hfill \\ x_5\hfill & \le 0\text{,}5x_3.\hfill & \hfill \end{array}$$

On trouve généralement ce genre de règles de vérification pour les SSE, dans le cadre d’un ensemble de règles de vérification beaucoup plus vaste (Scholtus 2014).

Un ensemble aléatoire de données exempt d’erreurs contenant 2 000 enregistrements a été bâti à partir d’une distribution normale multivariée (à l’aide du progiciel mvtnorm) selon les paramètres suivants :

$$\mu =\left(\begin{array}{c}500\\ 250\\ 750\\ 600\\ 150\end{array}\right) \text{et} \Sigma =\left(\begin{array}{rrrrr}\hfill \text{10 000}& \hfill \text{-1 250}& \hfill \text{8 750}& \hfill \text{7 500}& \hfill \text{1 250}\\ \hfill \text{-1 250}& \hfill \text{5 000}& \hfill \text{3 750}& \hfill \text{4 000}& \hfill \text{-250}\\ \hfill \text{8 750}& \hfill \text{3 750}& \hfill \text{12 500}& \hfill \text{11 500}& \hfill \text{1 000}\\ \hfill \text{7 500}& \hfill \text{4 000}& \hfill \text{11 500}& \hfill \text{11 750}& \hfill \text{-250}\\ \hfill \text{1 250}& \hfill \text{-250}& \hfill \text{1 000}& \hfill \text{-250}& \hfill \text{1 250}\end{array}\right).$$

Seuls les enregistrements satisfaisant à toutes les règles de vérification susmentionnées ont été inclus dans l’ensemble de données. Soulignons que $\Sigma$ est une matrice singulière de covariances comprenant les deux règles de vérification fondées sur une égalité. Techniquement, les données obtenues suivent une distribution normale singulière multivariée tronquée; voir de Waal et coll. (2011, pages 318ff) ou Tempelman (2007).

Les neuf opérations de vérification autorisées retenues dans le cadre de l’étude sont présentées au tableau 7.1. Soulignons que les cinq premières lignes correspondent aux opérations FH pour cet ensemble de données. Comme il est précisé dans le tableau, chaque opération de vérification est associée à un type d’erreur. Un ensemble de données synthétiques à vérifier a été créé par l’ajout aléatoire d’erreurs de ces types à l’ensemble de données exempt d’erreur susmentionné. La probabilité de chaque type d’erreur est indiquée dans la quatrième colonne du tableau 7.1. Le poids « idéal » qui y est associé selon (4.2) est précisé dans la dernière colonne.

Pour restreindre l’ampleur des calculs à effectuer, seuls les enregistrements exigeant trois opérations de vérification ou moins ont été pris en compte. Les enregistrements ne contenant aucune erreur ont aussi été retirés. Il restait donc 1 025 enregistrements à vérifier, chacun contenant une, deux ou trois des erreurs énumérées au tableau 7.1.

Plusieurs méthodes de localisation des erreurs ont été appliquées à l’ensemble de données. On a tout d’abord utilisé la méthode de localisation des erreurs fondée sur le paradigme de Fellegi-Holt (c’est-à-dire à l’aide des opérations de vérification FH1 $–$ FH5 uniquement) et sur le nouveau paradigme (c’est-à-dire à l’aide de toutes les opérations de vérification du tableau 7.1). Les deux méthodes ont été mises à l’essai une fois à l’aide des poids « idéaux » indiqués dans le tableau 7.1 et une fois à l’aide de poids tous fixés à 1 (« aucun poids »). Ce dernier cas simule une situation où les opérations de vérification pertinentes sont connues, mais pas leurs fréquences respectives. Enfin, pour vérifier la robustesse de la nouvelle méthode de localisation des erreurs en cas de manque d’information à propos des opérations de vérification pertinentes, la méthode a aussi été appliquée en retirant l’une des opérations non-FH du tableau 7.1 de l’ensemble des opérations de vérification autorisées.

La qualité de la localisation des erreurs a été évaluée de deux façons. Tout d’abord, on a évalué dans quelle mesure les chemins optimaux des opérations de vérification trouvés par l’algorithme correspondaient à la distribution réelle des erreurs, en utilisant le tableau de contingences ci-dessous pour toutes les $\text{1 025}\times 9=\text{9 225}$ combinaisons possibles des enregistrements et des opérations de vérification :

À partir de ce tableau, on a calculé des indicateurs mesurant la proportion de faux négatifs (FN), de faux positifs (FP) et de l’ensemble des mauvaises décisions, respectivement :

$$\alpha =\frac{FN}{VP+FN}; \beta =\frac{FP}{FP+VN}; \delta =\frac{FN+FP}{VP+FN+FP+VN}$$

Des indicateurs similaires sont présentés dans de Waal et coll. (2011, pages 410-411). On a aussi calculé $\overline{\rho }=1-\rho ,$ où $\rho$ correspond à la fraction des enregistrements de l’ensemble de données pour lesquels l’algorithme de localisation des erreurs a trouvé exactement la bonne solution. Un bon algorithme de localisation des erreurs devrait donner des notes faibles pour les quatre indicateurs.

Il importe de souligner que les indicateurs de qualité ci-dessus désavantagent la méthode originale de Fellegi-Holt, qui ne fait pas appel à toutes les opérations de vérification énumérées au tableau 7.1. On a donc aussi calculé un deuxième ensemble d’indicateurs de qualité $\alpha ,\beta ,\delta$ et $\overline{\rho }$ portant sur les valeurs erronées plutôt que sur les opérations de vérification. Dans ce cas, $\alpha$ mesure la proportion des valeurs de l’ensemble de données comportant des erreurs, mais non modifiées par la solution optimale au problème de localisation des erreurs, et de même pour les autres mesures.

Le tableau 7.3 présente les résultats de l’étude par simulations pour les deux ensembles d’indicateurs de qualité. Dans les deux cas, on constate une amélioration notable de la qualité des résultats de la localisation des erreurs de la méthode faisant appel à toutes les opérations de vérification, comparativement à la méthode utilisant uniquement les opérations FH. En outre, le fait d’omettre une seule opération de vérification pertinente de l’ensemble des opérations de vérification autorisées compromettait la qualité de la localisation des erreurs. Dans certains cas, cet effet était assez important $–$ particulièrement en ce qui concerne les opérations de vérification utilisées $–$ , mais les résultats de la nouvelle méthode de localisation des erreurs demeurent considérablement supérieurs à ceux de la méthode de Fellegi-Holt. Contrairement aux attentes, le fait de ne pas utiliser des poids de confiance différents a contribué à améliorer légèrement la qualité des résultats de la localisation des erreurs pour cet ensemble de données selon la méthode de Fellegi-Holt (pour les deux ensembles d’indicateurs) et aussi, dans une certaine mesure, selon la nouvelle méthode (second ensemble d’indicateurs seulement). Enfin, il semble que l’utilisation de toutes les opérations de vérification ait contribué à accroître le temps de calcul nécessaire par rapport à l’utilisation des opérations FH uniquement, mais pas de façon spectaculaire.

• Précédent
• Suivant