Conseils et astuces pour accéder aux données de Statistique Canada et les utiliser

Il existe plusieurs façons d'accéder aux données de Statistique Canada et d'en extraire, selon le logiciel dont vous disposez. Tels que Excel, ou Tableau et Power BI.

1. Il existe une API de données Web qui renvoie les données vectorielles (raccourcis vers les données) au format JSON. Généralement, vous avez besoin d'un programmeur pour configurer ce type d'accès.

Les guides de l'utilisateur se trouvent ici : Service de données Web (SDW). Nous avons quelques exemples d'Excel, Python, R, AJAX, SAS sur demande.

2. Les utilisateurs peuvent également récupérer le téléchargement complet du tableau en format CSV, compressé dans un fichier ZIP, y compris des données et des métadonnées.

Exemple:

https://www150.statcan.gc.ca/n1/en/tbl/csv/14100287-eng.zip
https://www150.statcan.gc.ca/n1/fr/tbl/csv/14100287-fra.zip

Le guide du format CSV se trouve ici : Guide de l'utilisateur sur le téléchargement d'un tableau CSV complet

3. Vous pouvez récupérer des fichiers CSV personnalisés directement à partir du site Web externe en appliquant les méthodes suivantes : Téléchargez les données telles qu'elles sont affichées à l'écran. La sortie d'une extraction CSV après la personnalisation manuelle de la vue. (Exemple de salaire horaire LFS : Répartition des salaires horaires selon la profession, données mensuelles non désaisonnalisées)

Pour votre communauté d'utilisateurs, l'utilisation du nouveau format de données sélectionné de téléchargement constitue un moyen plus simple pour les utilisateurs de filtrer et de télécharger directement en format CSV. Reportez-vous aux exemples suivants qui ne sont pas annoncés mais qui sont toujours possibles sur notre site et destinés aux utilisateurs experts qui pourraient réutiliser ces raccourcis pour faciliter la liaison vers des fichiers CSV générés.

Une fois qu'un tableau a été personnalisé dans la section Ajouter / Enlever, lorsque vous cliquez sur les options de téléchargement, vous pouvez cliquer sur le bouton droit de la souris sur Télécharger les données sélectionnées et utiliser le « Enregistrer l'emplacement du lien… » ou dans Internet Explorer « Copier le raccourci » pour extraire le lien personnalisé pour générer le fichier CSV à la volée.

Une récupération CSV avec un paramètre de période inclus ressemble à ceci :

https://www150.statcan.gc.ca/t1/tbl1/fr/dtl!downloadDbLoadingData-nonTraduit.action?pid=1010013201&latestN=&startDate=20180101&endDate=20180301&csvLocale=fr&selectedMembers=%5B%5B1%5D%2C%5B1%2C2%2C3%2C4%2C5%2C6%2C7%5D%5D

Cette récupération affiche les N (5) dernières périodes. Au lieu d'une période, elle se présente comme suit :

https://www150.statcan.gc.ca/t1/tbl1/en/dtl!downloadDbLoadingData-nonTraduit.action?pid=1010013201&latestN=5&startDate=&endDate=&csvLocale=en&selectedMembers=%5B%5B1%5D%2C%5B5%2C7%2C1%2C6%2C4%2C2%2C3%5D%5D

4. De plus, un utilisateur peut également créer un signet sur l'URL à l'aide de l'option Enregistrer mes sélections afin que votre communauté puisse facilement revenir au même tableau personnalisé, mois après mois.

Enregistrer mes sélections ressemble à ceci pour le même exemple de tableau, mais revient à l'interface graphique en ligne pour permettre la modification des filtres.

https://www150.statcan.gc.ca/t1/tbl1/en/cv!recreate.action?pid=1010013201&selectedNodeIds=1D1,2D1,&checkedLevels=&refPeriods=20180101,,20181001&dimensionLayouts=layout2,layout3,layout2&vectorDisplay=false

5. L'utilisation de la fonction Recherche par vecteur permet également de télécharger rapidement plusieurs points de données à partir de divers tableaux. Voici un exemple :

https://www150.statcan.gc.ca/t1/tbl1/en/sbv?vectorNumbers=v37151%2C+v1558664%2C+v1576432%2C+v1592178%2C+v2062811%2C+v2062815%2C+v4327078%2C+v4331088%2C+v41552794%2C+v41552796%2C+v41690973%2C+v41690974%2C+v41691233%2C+v42169911%2C+v42169920%2C+v52367097%2C+v53384992%2C+v61913615%2C+v61915304%2C+v61915306%2C+v61915308%2C+v61915313%2C+v61915327%2C+v62305724%2C+v62305731%2C+v62305733%2C+v62305742%2C+v62305745%2C+v62305748%2C+v62305752%2C+v62305783%2C+v62305984%2C+v62425528%2C+v62425550%2C+v62425572%2C+v62425630%2C+v65201226%2C+v65201499%2C+v66496802%2C+v66496805%2C+v66496811%2C+v79310246%2C+v79310643%2C+v87008839%2C+v87008840%2C+v87008851%2C+v87008955%2C+v87008956%2C+v87008967%2C+v108785713%2C+v108785714%2C+v108785715&searchOption=2&latestN=1&vectorList_length=100&request_locale=en

6. Autres moyens d'extraire des données :

  • Un fichier Delta quotidien contenant tous les points de données modifiés pour la journée. Cette méthode serait destinée aux utilisateurs à volume élevé qui souhaitent recréer notre base de données dans leurs systèmes. Vous trouverez des informations sur cette méthode dans nos pages destinées aux développeurs : (Par exemple : Fichier Delta)
  • Télécharger le tableau complet au format SDMX (XML).
  • Téléchargez des centaines d'indicateurs de contenu à numéro unique via une API d'indicateurs JSON, disponible en bas de la page : Développeurs
  • Abonnez-vous aux tableaux à envoyer par courrier électronique lorsqu'ils sont mis à jour via « Mon Statcan » à l'adresse suivante : Mon StatCan

De plus, si l'option 3 ne fonctionne pas pour vous, vous pouvez vous séparer de plusieurs options et utiliser les grands fichiers CSV de table complète pour les charger dans Excel comme suit :

Pour les gros fichiers CSV téléchargés avec le tableau complet, vous pouvez envisager :

Ouverture de grands fichiers .csv à l'aide de l'interrogation de puissance en excel

Exigences :

Excel 2016 - Power Query est livré en standard

Anciennes versions d'Excel - Power Query doit être téléchargé et installé en tant que complément avant de pouvoir être utilisé.

Télécharger :

Power Query for Excel peut être téléchargé à partir du Centre de téléchargement Microsoft. Les instructions d'installation sont également fournies à cet endroit.

L'URL actuelle de cette page Web est la suivante : Télécharger Microsoft Power Query pour Excel

Instructions :

Une fois que Power Query a été installé, vous pouvez ouvrir et extraire des parties de gros fichiers .csv en procédant comme suit :

  1. Sélectionnez "Power Query", "From File", "From CSV".
  2. Sélectionnez le fichier que vous souhaitez visualiser ou manipuler (une nouvelle fenêtre s'ouvrira, affichant les premières lignes de ce fichier avec tous les en-têtes de colonne).
  3. Dans la fenêtre "Query Editor", vous pouvez filtrer les informations à l'aide des sélections déroulantes de chaque colonne.
  4. Une fois que les filtres appropriés ont été appliqués, vous pouvez extraire cette partie du fichier en utilisant l'option "Keep Rows","Keep Top Rows".
  5. Cette option demandera ensuite combien de lignes vous souhaitez conserver pour une extraction future.
  6. Vous pouvez ensuite extraire ces informations à l'aide de l'option "Close & Load", "Close & Load To".
  7. Enfin, vous aurez la possibilité de placer ces lignes dans une nouvelle feuille de calcul Excel aux fins d'analyse ou de manipulation.

Plus d'information :

De nombreuses autres fonctions et options de manipulation qui n'ont pas été décrites ci-dessus sont disponibles dans Power Query, permettant ainsi à l'utilisateur d'ouvrir et d'extraire des parties de gros fichiers .CSV.

Plus d'informations sur ce sujet sont disponibles en ligne.

Selon votre niveau de familiarité avec les tableaux croisés dynamiques dans Excel, vous pouvez également utiliser la fonction de source de modèle de données dans Excel pour utiliser le fichier CSV en tant que source de modèle de données de tableau croisé dynamique. Chargement de fichiers CSV/texte comportant plus d'un million de lignes dans Excel (anglais seulement)

Microsoft Power BI DaX :

let

GetCoord = (prodid as text, coord as text, period as text) => let

Json = Json.FromValue({[productId=prodid, coordinate=coord, latestN=period]}),

Getdata = Json.Document(Web.Contents("https://www150.statcan.gc.ca/t1/wds/rest/getDataFromCubePidCoordAndLatestNPeriods", [Headers=[#"Content-Type"="application/json"], Content=Json])),

#"Converted to Table" = Table.FromList(Getdata, Splitter.SplitByNothing(), null, null, ExtraValues.Error)

in

#"Converted to Table"

in

GetCoord
Date de modification :