Modélisation des stocks de fermeture de mars et de juillet à l'aide des données d’enquête et des données administratives

1. Introduction

Le présent rapport fournit le contexte, les méthodes générales et les résultats du modèle utilisé pour produire les estimations des stocks des principales grandes cultures en mars et en juillet. Le travail a été réalisé par la Division de l'agriculture et la Division des méthodes de la statistique économique à Statistique Canada.

La méthodologie générale du modèle, qui énumère les combinaisons ciblées culture-province, est décrite à la section 2. La section 3 contient les sources de données utilisées pour créer l'ensemble de prédicteurs. La section 4 présente les méthodes de modélisation et les mesures d'évaluation utilisées, et la section 5 donne les résultats.

2. Méthodologie générale de modélisation des stocks de fermeture

Une méthodologie de modélisation des stocks à la ferme des principales grandes cultures a été élaborée et mise à l'essai sur les combinaisons culture-province qui sont habituellement publiées à partir de la Série de rapports sur les grandes cultures, comme le montre le tableau 1. Ces combinaisons culture-province représentent presque la totalité des grandes cultures entreposées dans les fermes canadiennes.

L'objectif du modèle est de produire des estimations officielles et exactes des stocks de fermeture à la ferme en mars et en juillet pour certaines combinaisons culture-province au moyen de l'information provenant de sources de données existantes. La qualité des estimations du modèle sera examinée plus en détail dans la sous-section 4.3 et la section 6.

3. Sources de données utilisées dans le modèle

La méthodologie de modélisation a utilisé trois sources de données : 1) données de la Série de rapports sur les grandes cultures de Statistique Canada; 2) données de l'Indice des prix des produits agricoles de Statistique Canada; 3) données de la Commission canadienne des grains (CCG).

3.1 Données de la Série de rapports sur les grandes cultures

La Série de rapports sur les grandes cultures de Statistique Canada obtient de l'information sur l'industrie céréalière canadienne (pour obtenir des détails sur la méthodologie de la Série de rapports sur les grandes cultures, veuillez consulter la page Web de la Série de rapports sur les grandes cultures). Les enquêtes visant à recenser les stocks à la ferme ont traditionnellement été menées chaque année en mars (annulées en 2023), en juillet (en juin depuis 2020), en septembre (annulées en 2016), en novembre et en décembre. À mesure que la campagne agricole avance, différents aspects de l'industrie céréalière sont recueillis. Certaines de ces mesures ont été utilisées directement (comme les intentions d'ensemencement, les stocks de fermeture à la ferme, la production des grandes cultures), et d'autres ont servi à calculer de nouveaux prédicteurs (comme le pourcentage de ressources qui ont été produites et le pourcentage des utilisations qui ont été livrées).

3.2 Données de l'Indice des prix des produits agricoles

L'Indice des prix des produits agricoles diffuse des estimations du prix de divers produits agricoles, y compris presque toutes les céréales et les grandes cultures pour lesquelles les stocks de fermeture sont publiés. Les prix sont publiés mensuellement pour chaque province. Comme cette analyse porte sur une période de plus de 15 ans, l'inflation occulterait la relation entre le prix et les stocks de fermeture. C'est pourquoi le prix sous sa forme brute n'était pas un prédicteur convenable. Les prix provinciaux mensuels bruts pour chaque grain et chaque grande culture ont été transformés en deux prédicteurs (différence en pourcentage d'une année à l'autre et différence en pourcentage d'un trimestre à l'autre) qui convenaient mieux au modèle.

3.3 Autres données de la Commission canadienne des grains

La Commission canadienne des grains (CCG) recueille des données sur de nombreux aspects de l'industrie céréalière au Canada. Elle recueille notamment les livraisons de grandes cultures des fermes aux silos. Les livraisons sont diffusées chaque semaine dans le cadre du programme Statistiques hebdomadaires des grains de la CCG à l'échelle provinciale.

Compte tenu de la fréquence de publication des données de la CCG, cinq prédicteurs ont été établis : le nombre total de livraisons et le volume total des livraisons d'aliments pour animaux au cours des périodes d'enquête de la Série de rapports sur les grandes cultures de décembre à mars et de mars à juillet, ainsi que le volume cumulatif des livraisons d'aliments pour animaux depuis le début de la campagne agricole.

3.4 Bassin de prédicteurs plus vaste en juillet qu'en mars

Comme les données d'entrée du modèle de juillet présentent une plus grande variabilité que celles de mars, le modèle de juillet nécessite des prédicteurs supplémentaires pour atteindre une forte capacité prédictive. Les vérifications ont confirmé que ces prédicteurs supplémentaires n'amélioraient pas le rendement du modèle de mars; ils ont donc été exclus du modèle de mars afin d'éviter toute complexité inutile. On a constaté que ces différents bassins de prédicteurs donnaient les meilleurs résultats pour chaque modèle.

Alors que le modèle de mars utilise le pourcentage des ressources restantes (stocks de fermeture et aliments pour animaux, déchets et impuretés) qui correspondaient aux stocks de fermeture lors de la période d'enquête précédente, le modèle de juillet utilise cette valeur pour les trois périodes d'enquête précédentes.

Les modèles diffèrent également au chapitre de leurs prédicteurs relatifs à la livraison des aliments pour animaux. Les deux modèles tiennent compte du volume total des livraisons d'aliments pour animaux depuis la période d'enquête précédente. Le modèle de juillet va plus loin en intégrant la proportion de livraisons correspondant à des livraisons d'aliments pour animaux au cours de cette même période, ainsi que deux prédicteurs décalés : le total des livraisons d'aliments pour animaux et la proportion de livraisons correspondant à des livraisons d'aliments pour animaux lors des deux périodes d'enquête précédentes. En revanche, le modèle de mars tient compte du total des livraisons d'aliments pour animaux et de la proportion de ces livraisons par rapport à l'ensemble des livraisons effectuées depuis le début de la campagne agricole.

4. Modélisation des stocks de fermeture de mars et de juillet

4.1 Méthodes de modélisation

Le modèle est construit à partir des relations historiques entre l'estimation publiée des stocks de céréales à la ferme et les diverses caractéristiques des cultures et des industries céréalières. Les données à partir de 2006 sont utilisées pour l'élaboration du modèle.

Les stocks de céréales à la ferme sont estimés à l'aide du langage de programmation statistique R. Deux algorithmes d'apprentissage sont utilisés : Elastic-Net, du paquet glmnet, pour la sélection des caractéristiques, et la régression robuste, du paquet MASS, pour la prédiction.

La procédure Elastic-Net a permis de sélectionner les paramètres optimaux du modèle à l'aide d'une validation croisée par exclusion d'un élément, afin de trouver un juste équilibre entre l'ajustement du modèle et le rendement prédictif. Les prédicteurs qui n'ont pas été rétrécis à zéro au moyen d'Elastic-Net sont traités par la régression robuste. La régression robuste utilise l'estimateur MM.

4.2 Définition de la cible

L'estimation des stocks de céréales à la ferme la plus exacte est l'estimation publiée. Sur le plan historique, l'estimation publiée était calculée à partir de l'estimation de l'enquête de la Série de rapports sur les grandes cultures, qui était ajustée au moyen de l'équation des ressources et des utilisations ainsi que d'autres sources de données servant de référence. Ce processus est décrit plus amplement ici : Bilan des grains au Canada.

Le bilan est établi comme suit :

$\mathrm{UTILISATION}=\mathrm{LIVRAISONS}+\mathrm{SEMENCES}+\mathrm{STOCK DE FERMETURE}+\mathrm{ALIMENTS POUR ANIMAUX, DÉCHETS, IMPURETÉS}$

et

$\mathrm{APPROVISIONNEMENT}=\mathrm{STOCK D\text{'}OUVERTURE}+\mathrm{PRODUCTION}$

où

$\mathrm{APPROVISIONNEMENT}=\mathrm{UTILISATION}$

$$ Les estimations des $\mathrm{LIVRAISONS}$ sont tirées des données administratives de la CCG.

Les estimations de $\mathrm{PRODUCTION}$ proviennent de l'Enquête sur les grandes cultures de novembre pour les modèles de mars et de juillet.

Les $\mathrm{STOCKS D\text{'}OUVERTURE}$ correspondent aux stocks de fermeture indiqués dans l'Enquête sur les grandes cultures de décembre et dans celle de mars, respectivement pour les modèles de mars et de juillet.

Les estimations des $\mathrm{STOCKS DE FERMETURE}$ avaient été tirées à partir de l'Enquête sur les grandes cultures de mars et de celle de juillet, respectivement pour les modèles de mars et de juillet.

Les estimations de l' $\mathrm{UTILISATION DES SEMENCES}$ sont tirées de l'Enquête sur les grandes cultures de novembre et de celle de mars, respectivement pour les modèles de mars et de juillet.

Les estimations des $\mathrm{ALIMENTS POUR ANIMAUX}$ , $\mathrm{DÉCHETS}$ et $\mathrm{IMPURETÉS}$ sont le résidu de l'équation donnée ci-dessus.

Quand vient le moment d'estimer les stocks de céréales à la ferme, les estimations de toutes les variables, sauf les aliments pour animaux, les déchets et les impuretés, sont disponibles. Par conséquent, l'équation peut être réécrite ainsi :

$\mathrm{APPROVISIONNEMENT}-\mathrm{LIVRAISONS}-\mathrm{SEMENCES}=\mathrm{STOCK DE FERMETURE}+\mathrm{ALIMENTS POUR ANIMAUX, DÉCHETS, IMPURETÉS}$

ou

$\mathrm{RESTANTS}=\mathrm{STOCK DE FERMETURE}+\mathrm{ALIMENTS POUR ANIMAUX, DÉCHETS, IMPURETÉS}$

Le modèle est finalement conçu pour remplacer les estimations des stocks à la fermeture dans les fermes de mars et de juillet. Cependant, étant donné que la quantité restante est connue, il sert à stabiliser la cible. La cible du modèle est le pourcentage de reste que représentent les stocks à la fermeture.

Comme l'estimation de l'enquête, l'estimation modélisée peut faire l'objet d'ajustements au moyen de l'équation de bilan et d'autres sources de données utilisées servant de référence.

4.3 Méthodes d'évaluation du modèle

Pendant la phase de recherche du projet, de nombreux paramètres de modèle ont été examinés. Ils comprenaient les algorithmes d'apprentissage utilisés aux fins de prédiction, la taille du groupe de prédicteurs et la forme de la cible.

On a évalué la réussite du modèle en mesurant l'exactitude et le biais des différents choix de paramètres. Pour y parvenir, on a comparé les prédictions avec les estimations publiées des stocks de fermeture à la ferme pour mars et juillet, tant au niveau des cultures qu'au niveau des provinces et des cultures. Dans les deux cas, l'erreur absolue moyenne pondérée en pourcentage (EAMPP) a été utilisée comme mesure de l'exactitude et l'erreur moyenne relative (EM) comme mesure du biais. L'évaluation de ces deux mesures permet de s'assurer que les prédictions sont non seulement proches des valeurs réelles en moyenne, mais aussi exemptes d'erreurs directionnelles systématiques susceptibles de fausser les estimations.

Voici la formule pour l'erreur absolue moyenne pondérée en pourcentage :

$\mathit{EAMPP}=\frac{\sum _{i=1}^n\mathit{|}{\mathit{publiée}}_i\mathit{-}{\mathit{prédiction}}_i\mathit{|}}{\sum _{i=1}^n{\mathit{publiée}}_i}$

Voici la formule pour l'erreur moyenne relative :

$\mathit{EM Relative}=\frac{\sum _{i=1}^n\left({\mathit{publiée}}_i,-,{\mathit{prédiction}}_i\right)}{\sum _{i=1}^n{\mathit{publiée}}_i}$

où $\mathit{prédiction}$ est la prédiction du modèle, $\mathit{publiée}$ est l'estimation publiée, $\mathit{i}$ est une observation donnée et $\mathit{n}$ est le nombre total d'observations dans une culture ou un groupe province-culture.

5. Résultats

Dans l'ensemble, ce modèle se compare favorablement aux résultats des enquêtes de mars et de juillet.

Pour la période de mars, à l'exception de deux cultures, c'est-à-dire l'orge et le maïs, le modèle donne de meilleurs résultats que l'enquête. L'enquête ne surpasse que très légèrement le modèle en ce qui concerne l'orge et le maïs. Une analyse plus approfondie a été menée pour l'orge (les données sur les livraisons d'aliments pour animaux publiées par la CCG ont été examinées et des experts en la matière ont été consultés). Cependant, rien n'a permis d'expliquer de manière satisfaisante cet écart.

Pour la période de juillet, le modèle donne de meilleurs résultats que l'enquête pour toutes les cultures. Les améliorations sont encore plus marquées que celles observées pour la période de mars. La répartition des biais pour l'ensemble des cultures s'améliore considérablement en mars et en juillet, les valeurs devenant plus regroupées et centrées autour de zéro.

6. Indicateurs de la qualité des données

6.1 Intervalle de confiance (IC)

Tous les modèles prédictifs sont sujets à l'erreur. Il est par conséquent important de mesurer le degré d'incertitude dans les estimations des modèles. Cela est effectué au moyen de l'intervalle de confiance.

Voici un guide concis de l'estimation bootstrap de la variance pour le modèle des stocks à la fermeture de mars et de juillet. Le principal objectif de cette estimation est de saisir la variance de l'ensemble du processus de modélisation. Par conséquent, l'élément clé du bootstrap, soit l'échantillonnage avec remise, se produit au début du processus de modélisation.

Étape 1 : Échantillonnage aléatoire stratifié avec remise

L'ensemble de données d'entraînement, qui contient toutes les observations à partir desquelles le modèle original est construit, est stratifié par province, puis échantillonné au hasard avec remise au niveau de l'observation. S'il y avait 10 observations au départ, le nouvel ensemble bootstrap contiendra également 10 observations, mais il pourrait y avoir des récurrences de la même observation en raison de l'échantillonnage aléatoire stratifié avec remise.

Étape 2 : Régression Elastic-Net pour déterminer la taille de pénalité optimale

On effectue une validation croisée sur une régression Elastic-Net (à 4 blocs, en essayant 100 tailles de pénalité différentes) sur l'ensemble de modélisation bootstrap pour trouver la taille de pénalité optimale. Cette taille de pénalité optimale est ensuite utilisée à l'étape suivante.

Étape 3 : Régression Elastic-Net pour créer un bassin réduit de prédicteurs

Elastic-Net est réentraîné en utilisant la taille de pénalité optimale obtenue à l'étape 2. Le modèle optimal qui en résulte peut rétrécir certains coefficients de prédiction à zéro. Dans ce cas, les prédicteurs seraient retirés du groupe initial de prédicteurs, ce qui créerait un bassin réduit de prédicteurs.

Étape 4 : Entraîner une régression robuste avec le bassin réduit de prédicteurs

L'ensemble de modélisation bootstrap est limité au bassin réduit de prédicteurs, puis ajusté au moyen d'une régression robuste. Cette régression robuste est le modèle qui fournit l'estimation finale.

Étape 5 : Établir une prédiction au moyen du modèle de régression robuste entraîné

La régression robuste entraînée est appliquée à l'ensemble de prédiction.

Étape 6 : Répéter 1 000 fois les étapes 1 à 5

Les étapes 1 à 5 sont répétées 1 000 fois, chaque nouvel échantillon aléatoire stratifié fournissant une mutation différente de l'ensemble de modélisation initial.

Étape 7 : Calculer l'IC au moyen de la méthode des centiles

Une fois que les 1 000 prédictions ont été sauvegardées, le résultat final est créé comme suit :

• Lancer les 1 000 répétitions.
• Sauvegarder les valeurs des 2,5 et 97,5 centiles (25^e et 975^e plus grandes répétitions).

Étape 8 : Répéter les étapes 1 à 7 pour chaque culture

Toutes les étapes précédentes doivent être répétées pour chaque culture.

On peut établir un intervalle de confiance à l'aide de 1 000 répétitions bootstrap. On utilise de nouveau la méthode des centiles et supprime les 25 répétitions bootstrap les plus basses et les 25 répétitions bootstrap les plus élevées, ce qui nous donne l'intervalle de confiance à 95 %.

Le domaine spécialisé peut utiliser ces intervalles dans le cadre de son processus de validation et pendant le processus d'offre et utilisation.

6.2 Coefficient de variation robuste (CV)

Conformément à notre approche fondée sur les intervalles de confiance, on utilise une mesure robuste de la variabilité afin de réduire l'influence des estimations extrêmes issues de la méthode bootstrap, lesquelles pourraient gonfler de manière disproportionnée la variabilité estimative pour les combinaisons province-culture dont la taille de l'échantillon est réduite. Le coefficient de variation (CV) robuste pour chaque combinaison province-culture est défini comme suit :

$\mathit{CV robuste}=\frac{\mathit{MAD(estimations bootstrap)}*{\displaystyle \frac{1}{{\Phi }^{-1}\mathrm{(0.75)}}}}{\mathit{prédiction}}$

où $\mathit{MAD()}$ désigne l'écart absolu médian des estimations bootstrap par rapport à leur médiane, ${\Phi }^{-1}\mathrm{(0.75)}$ correspond au troisième quartile de la distribution normale standard, et $\mathit{prédiction}$ représente l'estimation obtenue à partir de la régression robuste. Le produit figurant au numérateur fournit un estimateur convergent de l'écart-type, en fonction de l'hypothèse d'une distribution bootstrap approximativement normale. En divisant cette quantité par l'estimation prédite, on obtient un coefficient de variation fiable.

7. Critères de diffusion

Un ensemble de règles fondées sur les coefficients de variation robustes pour chaque combinaison province-culture a été établi afin de déterminer quels stocks de fermeture modélisés présentent un niveau de qualité acceptable en vue de la publication. Selon ces règles, les estimations non conformes aux normes de qualité peuvent ne pas être diffusées.