ajout de documentation pou le script d'analyse de la source de données

incubateur-ademe · Dec 17, 2024 · 5871d45 · 5871d45
1 parent 7a90ddd
commit 5871d45
Show file tree

Hide file tree

Showing 6 changed files with 845 additions and 1 deletion.
diff --git a/dev-requirements.in b/dev-requirements.in
@@ -18,4 +18,5 @@ pytest-dotenv
 python-Levenshtein
 ratelimit
 ruff
-shapely
+shapely
+ydata_profiling
diff --git a/dev-requirements.txt b/dev-requirements.txt
diff --git a/docs/_static/resume-champs-source.png b/docs/_static/resume-champs-source.png
diff --git a/docs/_static/resume-siret-example.png b/docs/_static/resume-siret-example.png
diff --git a/docs/comment-faire/auditer-une-source-de-donnees.md b/docs/comment-faire/auditer-une-source-de-donnees.md
@@ -0,0 +1,17 @@
+# Script d'audit d'une source de données
+
+`scripts/source_data_audit.py` permet de gagner du temps dans la création du `DAG` en explorant la donnée au préalable pour anticiper/prévenir des potentiels problèmes.
+
+## Execution du script
+
+_To be continued_
+
+## Exemple: un résumé des champs pour le mapping
+
+![image](../_static/resume-champs-source.png)
+
+## Exemple: problèmes de données
+
+On peut voir qu'on a des problèmes sur le `siret`
+
+![image](../_static/resume-siret-example.png)
diff --git a/scripts/source_data_audit.py b/scripts/source_data_audit.py
@@ -2,6 +2,9 @@
 Script pour auditer la donnée d'une source, détecter
 des problèmes potentiels, et accélérer le développement
 des DAGs (en identifiant les problèmes en amont).
+
+Ce script est un outil de développement, et n'est pas destiné à être exécuté en
+production.
 """
 
 import os