Aller au contenu
PRAGMATICUS
#Knowledge6 min de lectureNiveau fondation

Ce que fait vraiment un pipeline.

Déplacer des données ne suffit pas à les rendre utilisables.

Lire la fiche
PRG / FICHE 08Knowledge
RÉVÉLER LE MÉCANISMEUn volume transparent révèle son mécanisme intérieur : plusieurs points sont reliés autour d’un noyau commun, visible à travers la structure. RÉVÉLER LE MÉCANISME
Lis le trajet avec quatre questions.

01Objectif

Savoir lire une chaîne de données sans être ingénieur.

Un pipeline n'est pas un tuyau. C'est une suite de décisions.

Le mot évoque un transport : les données partent d'un endroit et arrivent à un autre. Cette image cache l'essentiel, car chaque étape applique des règles qui changent ce que la sortie signifie.

Cette fiche donne une grille de lecture pour suivre un trajet de données et poser les quatre questions qui font apparaître les endroits où la confiance se gagne ou se perd.

02Principe

La valeur ne vient pas du déplacement, mais des règles appliquées.

Entre la source et l'écran final, des choix ont été faits : ce qui est exclu, ce qui est corrigé, ce qui est agrégé, ce qui est considéré comme un doublon. Ces choix sont des décisions métier déguisées en traitements techniques.

Comprendre un pipeline consiste donc à retrouver ces décisions et à savoir qui les a prises. C'est ce qui permet de dire pourquoi deux chiffres divergent, et lequel répond réellement à la question posée.

Deux sorties différentes peuvent être exactes et ne pas répondre à la même question.
  1. Source

    Ce qui produit la donnée, et à quel rythme.

  2. Collecte

    Ce qui est récupéré, et ce qui est laissé.

  3. Transformation

    Filtres, calculs, corrections, jointures.

  4. Stockage

    Ce qui est conservé, et sous quelle forme.

  5. Usage

    Qui lit la sortie, et pour quelle décision.

03Approche

Partir de l’usage, puis remonter le trajet.

La lecture se fait avec la personne qui exploite la chaîne. L'objectif n'est pas d'auditer le code, mais de rendre visibles les règles et leurs propriétaires.

  1. Pars de la sortie, puis remonte.

    Commencer par l'écran final oblige à formuler l'usage réel avant de discuter des traitements.

  2. Identifie la source et sa fréquence.

    Une source qui se met à jour une fois par jour interdit toute promesse de temps réel en aval.

  3. Fais expliciter les règles de transformation.

    Exclusions, déduplication, corrections manuelles. Ce sont elles qui expliquent les écarts entre deux chiffres.

  4. Demande qui voit les erreurs.

    Un traitement qui échoue en silence produit une sortie plausible et fausse, ce qui est pire qu'une absence de sortie.

  5. Vérifie la reprise après incident.

    Rejouer un traitement sans double comptage ne s'improvise pas le jour de la panne.

04Points d’attention

Reconnaître une chaîne tenue d'une chaîne subie.

Ces signaux se constatent sans accès au code, en écoutant la façon dont l'équipe parle de sa chaîne.

Bon signal

  • Les règles de transformation sont écrites et citées avec la sortie.
  • Les échecs sont visibles par une personne nommée.
  • La fraîcheur en sortie tient compte de l’âge à la source et des délais de collecte, de traitement et de publication.

À surveiller

  • Les écarts entre chiffres s'expliquent au cas par cas, oralement.
  • Les corrections manuelles ne laissent aucune trace.
  • Une panne se découvre parce qu'un utilisateur trouve le chiffre étrange.

05À retenir

Un pipeline transporte des données et applique des règles qui déterminent leur usage.

C'est pourquoi la bonne question n'est pas « où est stockée la donnée ? », mais « qui a décidé de cette règle, et où est-elle écrite ? ».

06En pratique

Fais raconter une chaîne et contrôler sa sortie.

L’exercice se fait avec l’équipe qui exploite la chaîne. Il doit rendre visibles les règles et vérifier l’âge réellement disponible en sortie.

Le livrable

Une chaîne réelle, pas un schéma d'architecture.

Si une ligne reste vide, elle indique exactement où regarder ensuite.

Source
Le système d'origine et sa fréquence de mise à jour.
Transformations
Les deux ou trois règles qui changent le sens de la donnée.
Erreurs
Qui les voit, par quel canal, en combien de temps.
Usage
La décision que la sortie doit éclairer.
Fraîcheur
L’âge des données réellement disponibles en sortie, avec les délais de collecte, de traitement et de publication. La fréquence de la source seule ne le garantit pas.

Le modèle à reprendre

USAGE : [sortie / décision]
SOURCE : [système / fréquence]
TRANSFORMATIONS : [règles / propriétaire]
FRAÎCHEUR EN SORTIE : [âge / contrôle / cible]
INCIDENTS : [alerte / responsable / reprise]

Les termes soulignés renvoient au glossaire.

07Références

Les notes de terrain

À lire.
Et à mettre en pratique.

Une règle non écrite, une méthode concrète,
directement dans ta boîte mail.

L’inscription se poursuit sur Substack.
Désinscription en un clic.