Meilleures pratiques daffaires Power Query

Sophie Marchand, M.Sc., CPA, CGA, MVP
Experte en modélisation d’affaires
Site web: lecfomasque.com
Cell.: 514-605-7112
Courriel: smarchand@lecfomasque.com
MEILLEURES
PRATIQUES
D’AFFAIRES AVEC
POWER QUERY

Cell.: 514-605-7112
 Sophie Marchand, M.Sc., CPA, CGA, MVP
 Le CFO masqué
 Fondatrice du CFO masqué
 Vaste experience en finance corporative
 Modélisation d’affaires avancée
 Excel / Power tools / Power BI
 Consultation, formation et coaching
 Vente en ligne
 Responsable du groupe Montreal Modern Excel and Power BI
QUI SUIS-JE?

Cell.: 514-605-7112
PLAN DE PRÉSENTATION
 Introduction
 Meilleures pratiques d’affaires avec Power Query
 Comprendre les prérequis
 Optimiser l’importation de données
 Optimiser les requêtes
 Charger les données
 Conclusion
 Questions
À télécharger: Présentation et vidéo du webinaire Power Query, Power Pivot et cie.

Cell.: 514-605-7112
INTRODUCTION

Cell.: 514-605-7112
INTRODUCTION
 Que permet de faire Power Query?
 Importer des données de diverses sources
 Transformer les données non structurées (mini ETL)
 Fusionner les données de diverses sources (Append/Merge)
 Créer des calculs non disponibles dans les sources
 Programmer le rafraîchissement des données
 Créer des sources de données à analyser avec Power Pivot, Excel ou
Power BI

Cell.: 514-605-7112
INTRODUCTION
 Comment se procurer Power Query?
 Excel 2016
 Data / Get & Transform
 Versions O365 Pro Plus, Office Professional Plus et Stand Alone ont plus
d’options
 Excel 2010 & Excel 2013
 Add-in à télécharger sur le site de Microsoft
 https://www.microsoft.com/en-ca/download/details.aspx?id=39379
 Power BI Desktop
 Application dissociée d’Excel mais semblable à Power Query

Cell.: 514-605-7112
COMPRENDRE LES
PRÉREQUIS

Cell.: 514-605-7112
COMPRENDRE LES PRÉREQUIS
 Quincaillerie requise
 Pour tirer le maximum de Power Query
 Windows 64 bit, Office 64 bit
 Processeur 4 coeurs
 Mémoire vive suffisante, au minimum 8 GB de RAM, mais 16 GB est
largement préférable
 Un SSD (Solide State Drive) est préférable
Note: La mémoire virtuelle est une combinaison de mémoire physique (RAM) et d’espace disque. C’est là qu’un
SSD va beaucoup aider!

Cell.: 514-605-7112
 Comprendre les limites et les spécifications
 Power Query
 Taille des données qui peuvent être analysées par l’engin
 64-bit: Limité à la mémoire virtuelle disponible
 32-bit: Limité à environ 2GB (1 GB pour Excel et 1 GB pour PQ)
 Obligé d’utiliser 32-bit?
 Messages du type: Excel running out of memory?
 Depuis juin 2016, pour Excel 2013 et 2016: Large Address Aware
Functionality (LAA)
 Permet d’utiliser le double de mémoire virtuelle sur un O/S 64-bit, et 50%
de plus sur un O/S 32-bit

Cell.: 514-605-7112
 Philosophie de base
 BI en mode libre-service vs team BI
 Idéalement, quand un individu a créé une requête Power Query
intéressante, elle devrait être partagée
 Pouquoi?
 Éviter la duplication d’efforts (pertes de temps)
 Éviter la duplication de requêtes (uniformiser l’information à travers
l’organisation)
 Comment?
 Option disponible à partir d’Excel (exige compte Power BI)
 En BI corporative, cette requête serait reprise par un système en
back-end comme SSIS

Cell.: 514-605-7112
Il faut être connecté
à Power BI pour
enregistrer des
requêtes dans le
catalogue de
données.

Cell.: 514-605-7112
Quand vous partagez une requête, vous en demeurez l’administrateur.
Quand vous effectuez des changements, ces changements sont
disponibles pour tous ceux qui utilisent cette requête.

Cell.: 514-605-7112
 Philosophie de base
 BI en mode libre-service
 Power Query fonctionne en mode RESFRESH ALL.
 Il réimporte chaque fois l’ensemble des données (pas de
conservation d’historique).
 Ne pas remplacer Access par Power Query si l’objectif est de
conserver des historiques.

Cell.: 514-605-7112
OPTIMISER
L’IMPORTATION DE
DONNÉES

Cell.: 514-605-7112
OPTIMISER L’IMPORTATION DE DONNÉES
 Les informations de connexion
 Ne pas dupliquer les informations de connexion
 Permettre de pointer facilement vers une nouvelle source de
données
 Solutions possibles:
1. Changer la source via les paramètres de Power Query
2. Créer des requêtes de connexion
3. Créer des références à une requête de connexion
4. Créer des paramètres dans Excel
5. Changer la source via les paramètres de Power BI Desktop

Cell.: 514-605-7112
Solution no.1 (voir démo)

Cell.: 514-605-7112
Solution no.2

Cell.: 514-605-7112
Solution no.3

Cell.: 514-605-7112
Solution no.4

Cell.: 514-605-7112
Power BI Desktop
Les paramètres existent seulement
dans PBI Desktop, au moment de la
rédaction de cette présentation
mais il est plausible de penser que
cette fonctionnalité sera ajoutée à
Power Query sous peu.

Cell.: 514-605-7112
Power BI Desktop

Cell.: 514-605-7112
 Source: Serveur SQL
 On se connecte à des tables entières et ensuite, on fait des
manipulations (suppression de colonnes, filtres sur des lignes,
etc.)
 On peut rédiger un code M ou un script SQL pour importer des
données d’un serveur SQL ou utiliser une table de paramètres
 Toutefois, ces actions (en plus de certaines fonctionnalités qui
n’ont pas d’équivalents sur le système source) brisent le Query
Folding
 Ce n’est donc pas recommandé lorsqu’il y a des problèmes de
performance

Cell.: 514-605-7112
 Comprendre le Query Folding
 Le serveur source exécute lui-même des transformations
demandées par PowerQuery
 Le Query Folding se produit selon les circonstances, les sources
et les transformations impliquées. L’usager n’a pas vraiment de
contrôle…
 Il est facile pour un usager de « briser » le Query Folding, ce qui
peut affecter considérablement la performance de la requête

Cell.: 514-605-7112
 Il est préférable de construire les requêtes de sorte que toutes
les actions pouvant bénéficier du Query Folding soient
effectuées en premier puisque lorsqu’une action qui ne peut
bénéficier du Query Folding est rencontrée, il n’y a plus de
Query Folding possible
 Il est désormais possible de voir quand le Query Folding est
brisé

Cell.: 514-605-7112
Option « View Native Query » maintenant disponible.
Quand une étape de transformation ne montre pas
d’option « View Native Query », c’est que le Query
Folding est interrompu.

Cell.: 514-605-7112
On voit ici qu’une requête
SQL brise le Query Folding
dès le départ.

Cell.: 514-605-7112
On voit ici que l’utilisation de paramètres dans Excel brise le
Query Folding dès le départ.

Cell.: 514-605-7112
 Source: Cubes tabulaires et multidimensionnels
 On choisit les colonnes que l’on souhaite importer

Cell.: 514-605-7112
 Fast Data load
Permet de charger les données
plus rapidement, mais, ce
faisant, il se pourrait qu’Excel
soit hors d’usage pour toute la
période
d’importation/rafraîchissement
de données.

Cell.: 514-605-7112
 Fast Combine
Améliore la performance de vos requêtes, mais celles-ci ignorent alors le niveau
de confidentialité que vous avez attribué à vos sources de données.

Cell.: 514-605-7112
 Cache
Plus de mémoire permet
de présenter plus
rapidement les résultats
de Query Preview, car
l’info est conservée sur
disque.

Cell.: 514-605-7112
 Décocher Enable Background
En décochant cette case, vous
pouvez potentiellement réduire le
temps de rafraîchissement des
requêtes mais ce faisant, vous ne
serez pas en mesure de travailler
dans Excel, pendant le
rafraîchissement.

Cell.: 514-605-7112
OPTIMISER LES
REQUÊTES

Cell.: 514-605-7112
OPTIMISER LES REQUÊTES
 Optimiser les requêtes
 Penser à ce qui peut survenir dans l’avenir et enrichir les
requêtes afin d’empêcher de futurs problèmes
 Par exemple, Ken Puls propose d’utiliser le | lorsque vient le
temps de fusionner des colonnes qui devront être séparées par
la suite
 Comme le | est rarement utilisé, il est peu probable qu’on sépare des
données qui ne devraient pas être séparées
 « Remove columns » vs « Remove other columns »
 « Unpivot columns » vs « Unpivot other columns »

Cell.: 514-605-7112
 Excel.CurrentWorkbook()
 Attention, la requête va aussi chercher la table de résultats dans
la liste, si celle-ci est chargée dans Excel
 Excel.Workbook([Content]) n’est pas récursif mais va chercher
les feuilles, les plages de données et les tables

Cell.: 514-605-7112
 Toujours terminer une requête en attribuant les bons Data types

Cell.: 514-605-7112
 Type de données : Any
 Quand PQ ne sait pas de quel type de données il s’agit
 Peut prendre diverses formes quand téléchargé dans Excel ou Power
Pivot ou référé par une autre requête
 Certaines fonctions Power Query comme REPLACE VALUES ne
fonctionneront pas correctement sur ce type de données
 Si on utilise APPEND dans PQ et que les 2 tables de données n’ont pas
le même TYPE de données, on va obtenir une colonne de données ANY
 Solution: toujours assigner un type de données en guise de dernière
étape dans une requête

Cell.: 514-605-7112
 Attention aux formats de dates

Cell.: 514-605-7112
 Créer des fonctions qui pourront être réutilisées

Cell.: 514-605-7112
 Utiliser la fonction Buffer
 Enregistre en mémoire les résultats d’une opération
Attention! Le
Query Folding
ne s’applique
pas dans ce cas.

Cell.: 514-605-7112
 Écrire le code sur plusieurs lignes (plus facile à comprendre et
débugger)

Cell.: 514-605-7112
 Organiser les requêtes
 Donner des noms significatifs aux étapes de transformation
 Préférer les noms descriptifs mais en un seul mot

Cell.: 514-605-7112
 Donner un nom significatif aux bases de données sous-jacentes

Cell.: 514-605-7112
 Créer des requêtes intermédiaires (connection only)
 Chargées seulement lorsqu’une requête qui s’attache à celle-ci
est rafraîchie
 Optimise la mémoire
 Pas d’impact sur la taille du fichier

Cell.: 514-605-7112
 Créer des références aux requêtes intermédiaires

Cell.: 514-605-7112
 Créer des groupes de requêtes

Cell.: 514-605-7112
 Rafraîchir les requêtes dans un ordre déterminé
 Utiliser VBA
 Utiliser Power Planner

Cell.: 514-605-7112
CHARGER
LES DONNÉES

Cell.: 514-605-7112
CHARGER LES DONNÉES
 Charger les données dans Excel
 Erreurs à ne pas faire
 Charger les données dans Excel et
dans Power
 Augmenter la taille du fichier
 Duplique les champs disponibles
pour les tableaux croisés
dynamiques

Cell.: 514-605-7112
 Charger les données dans Power Pivot
 Excel 2010 et 2013
 Possibilité de corrompre le modèle de données lorsque les données
proviennent de Power Query, par exemple, en renommant une table
directement dans Power Pivot (en 2016, on a un message qui nous dit
de faire ça dans Power Query)
 On ne s’en rend pas compte tout de suite mais suite à une action
précise, on a éventuellement un message d’erreur
 Pour voir si un modèle est endommagé, Excel / Data / Connections /
choisir la Requête / Properties / Definition: Some properties cannot be
changed because this connection was modified using Power Pivot Add-
in…

Cell.: 514-605-7112
 Excel 2010 et 2013 (suite)
 Quoi faire pour rétablir?
 Supprimer la table (incluant ses mesures et ses colonnes calculées)
 Reconstruire la table, les mesures, les colonnes calculées
 Quoi ne pas faire pour éviter la problématique?
 Changer le nom d’une table dans Power Pivot
 Renommer une colonne importée de Power Query dans Power Pivot
 Supprimer une colonne importée de Power Query dans Power Pivot
 IMPACT: NON REFRESHING Power Pivot

Cell.: 514-605-7112
 Excel 2010 et 2013 (suite)
 Ce qui peut être fait sans problème
 Ajouter/modifier/supprimer des colonnes calculées ds Power Pivot
 Ajouter/modifier/supprimer des relations ds Power Pivot
 Ajouter/modifier/supprimer des mesures ds Power Pivot
 Faire quelque modification que ce soit à la table dans Power Query
 En somme, si les tables proviennent de Power Query, faire
toutes les transformations de ces tables, dans Power Query

Cell.: 514-605-7112
CONCLUSION

Cell.: 514-605-7112
CONCLUSION
 Apprendre Power Query
 Formation Excel – Power Tools
 En ligne
 En classe
 En entreprise
 Module – Power Query (en ligne)
 Rejoindre le groupe Montreal Modern Excel and Power BI
 Prochain webinaire: Meilleures pratiques d’affaires avec Power
Pivot

Cell.: 514-605-7112
QUESTIONS?

Cell.: 514-605-7112
lecfomasque.com

Meilleures pratiques daffaires Power Query

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (14)

More from Sophie Marchand, M.Sc., CPA, CGA, MVP

More from Sophie Marchand, M.Sc., CPA, CGA, MVP (15)

Meilleures pratiques daffaires Power Query

Editor's Notes