Split entre les données et le code des repositories *-data

[maxgfr]

L'existant

Aujourd'hui, les données du Code du travail numérique proviennent en 4 sources :

• kali-data qui inventarie les conventions collectives
• contributions-data qui recensent les données de l'outil de contribution
• fiches-vdd qui listent nos droits et démarches
• legi-data qui sont des données issues de la DILA

Chacun de ses repositories ont deux rôles, le premier concerne le cronjob qui permet via du scrapping ou via une api de récupérer les données et de le mettre à jour sur les repositories de ceux-ci.

Le second, concerne une librairie permettant d'exploiter le document généré par le cronjob via des méthodes permettant de récupérer la donnée de manière ciblée.

Etant donnée qu'à chaque nouvelle version de données, une release est déployée, le système de manière automatique va gérer la gestion des mises à jour.

Or ce système de mise à jour automatique se base sur du semantic versionning et influe donc la version du package.json.

Ainsi, les librairies qui dépendent de ces sources de données, pour la plupart nécessitent d'être mise à jour et redéployer pour pouvoir disposer de la nouvelle source de données.

Le problème est que la mise à jour automatique des packages de dépendance peuvent s'effectuer de manière asynchrone, ou ne pas se produire en cas de problème sur la CI, empêchant ainsi d'avoir une cohérence globale des sources de données.

Solution

La partie fonctionnelle via la librairie changent très peu, en revanche les données eux sont à même à changer quotidiennement.

Ainsi, il serait intéressant de dissocier les deux . D'un côté, de disposer du cronjob qui permet de mettre à jour la source de données, et donc de ne plus passer par le versionning de package, car ce que l'on souhaite est de disposer en ISO les dernières données.

De l'autre, il faudrait avoir le package fonctionnel qui permet d'utiliser des fonctions permettant d'exploiter ces données, et qui lui est basé sur un versionning traditionnel.

Qu'en pensez-vous ?

[m-maillot]

Je suis pas tout à fait d'accord. Les méthodes dispo dans la librairie, sont des méthodes pour accéder aux données dans cette même librairie. Ce sont des helpers et non une librairie à part entière.

Je les vois comme des packages de données simplement. Je n'arrive pas à voir dans quel cas concret, cela va simplifier notre code et/ou workflow. As tu un cas spécifique ?

[maxgfr]

Le postulat, selon moi, est d'éviter npm pour avoir une version à jour. En sachant que le but de la donnée est de disposer d'une donnée MAJ en dernière version.

Le fait de garder où non les fonctions pour exploiter les données est discutable, il serait intéressant de gérer ça en monorepo, avant de garder les deux projets assez lié