Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Script d'analyse d'une source de données de la plateforme data #1151

Open
wants to merge 2 commits into
base: main
Choose a base branch
from

Conversation

kolok
Copy link
Contributor

@kolok kolok commented Dec 17, 2024

Description succincte du problème résolu

Isolation du script d'analyse proposé dans la PR #1138
Ajout de la dépendance de développement ydata-profiling
Le script est désormais executable chmod +x

Reste à faire :

  • Je n'ai pas réussi à le faire tourner en local
 ➜ from scripts : python source_data_audit.py 
Traceback (most recent call last):
  File "/Users/nicolasoudard/workspace/beta.gouv.fr/quefairedemesobjets/scripts/source_data_audit.py", line 22, in <module>
    from dags.sources.tasks.business_logic.source_data_download import source_data_download
ModuleNotFoundError: No module named 'dags'
➜ from quefairedemesobjets : python scripts/source_data_audit.py 
Traceback (most recent call last):
  File "/Users/nicolasoudard/workspace/beta.gouv.fr/quefairedemesobjets/scripts/source_data_audit.py", line 22, in <module>
    from dags.sources.tasks.business_logic.source_data_download import source_data_download
  File "/Users/nicolasoudard/workspace/beta.gouv.fr/quefairedemesobjets/dags/sources/tasks/business_logic/source_data_download.py", line 9, in <module>
    from utils import logging_utils as log
ModuleNotFoundError: No module named 'utils'
  • compléter la documentation du script dans docs/comment-faire/auditer-une-source-de-donnees.md

Type de changement :

  • Bug fix
  • Nouvelle fonctionnalité
  • Mise à jour de données / DAG
  • Les changements nécessitent une mise à jour de documentation
  • Refactoring de code (explication à retrouver dans la description)

Auto-review

Les trucs à faire avant de demander une review :

  • J'ai bien relu mon code
  • La CI passe bien
  • En cas d'ajout de variable d'environnement, j'ai bien mis à jour le .env.template
  • J'ai ajouté des tests qui couvrent le nouveau code

Comment tester

En local / staging :

@kolok kolok requested a review from a team as a code owner December 17, 2024 07:50
@kolok kolok requested review from fabienheureux and maxcorbeau and removed request for a team December 17, 2024 07:50
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants