Aller au contenu
Blogue Krizaka

23

Les trains, deuxième version : des rails, une voie de garage et un train de réparation

1–3 nov. 202614 min de lecture

Ce que j'ai affronté, Des PR vertes qui n'arrivaient pas et un main rouge qui bloquait tout le monde; Ce qu'on a construit, une file par produit, une voie de garage, un train de réparation, zéro token

Une gare de triage au crépuscule après la première neige, dessinée à l'encre et à l'aquarelle pâle : une petite crécerelle perchée sur un poteau de signalisation qui surveille les voies, une draisine de réparation avec sa lanterne sur la voie du milieu, un petit canard rouge à lunettes à côté, un wagon sous une lampe et la petite gare aux fenêtres éclairées

Au chapitre 19, j'ai raconté nos premiers trains : un petit script qui fusionne les pull requests une par une, sans token de modèle. Il a tenu une semaine. Du 1er au 3 novembre, il a cassé de quatre façons que je n'avais pas prévues, et je l'ai reconstruit. Ce chapitre montre la nouvelle version avec des dessins de trains, parce que c'est comme ça que je la vois dans ma tête.

Une précision avant de commencer. Nos produits portent ici des noms de code : Produit A, Produit B, Produit C, et la plateforme. Ce qui compte, c'est la mécanique, pas les noms.

Quatre moments de la fin de semaine

Des PR vertes qui n'arrivaient jamais

Le 1er novembre, des PR attendaient depuis des heures, tous les checks verts, et rien ne les portait. Les trains de l'époque n'avaient pas d'ordre : plusieurs se disputaient le même dépôt, une PR en avait deux, et certains tournaient depuis deux jours sur une PR bloquée en cachant celles qui étaient prêtes derrière.

Un main rouge qui bloque tout le monde

Quand la branche principale d'un dépôt devient rouge, toutes les PR ouvertes le deviennent aussi, même celles qui n'y sont pour rien. Le 2 novembre au soir, sur la plateforme, trois PR étaient rouges pour la même raison : une mise à jour automatique de la semaine avait fait dépasser un budget de taille sur main. Aucune des trois ne pouvait passer, et les relancer ne servait à rien.

La réparation refusée par notre propre outil

La session qui a corrigé main a voulu ouvrir sa PR. L'outil d'ouverture l'a refusée : elle touchait les mêmes fichiers que les PR qu'elle venait débloquer. C'est une bonne règle d'habitude, elle évite deux PR qui se marchent dessus. Mais ici, elle bloquait la seule PR qui pouvait tout remettre en route.

Une session morte sans bruit

Le 2 novembre vers 9 h 45, heure de Montréal, une de nos sessions s'est arrêtée net sur la limite d'usage hebdomadaire du modèle. Rien n'a sonné. Sa fiche est restée ouverte pendant des heures, la passation suivante disait qu'aucune session ne tournait, et son coût n'a jamais été enregistré.

Les rails

La nouvelle version tient en une image. Chaque produit a son rail. Sur chaque rail, une seule file, ordonnée : la PR la plus ancienne devant. Trois PR au plus sont actives par dépôt, les autres attendent hors de la fenêtre. La gare, c'est main.

  • en file
  • en route, CI verte
  • arrivée sur main
  1. Une session ouvre sa PR, puis s'arrête. L'outil d'ouverture range la PR dans la file de son produit, derrière les plus anciennes.
  2. Trois PR au plus sont actives par dépôt. Les autres attendent, et entrent quand une PR arrive.
  3. Toutes les trois minutes, le chef de train regarde la PR de tête : à jour avec main, checks verts. Il l'approuve et la met dans la merge queue.
  4. La merge queue refait passer les checks sur le résultat fusionné. La PR arrive sur main en un seul commit, et sa branche est supprimée.
  5. La suivante part. Les trois rails roulent en même temps, et aucun n'attend l'autre.
Le cas heureux, sur trois rails : chaque produit a sa file, la PR de tête part quand sa CI est verte, arrive sur main, et la suivante avance.

Le chef de train ne juge pas le code. La relecture se fait avant, par la session qui a écrit la PR. Lui fait le travail de quai : attendre, mettre à jour, approuver, mettre en file. Et surtout, il ne reste jamais bloqué derrière une PR qui ne partira pas.

Le pire

C'est là que la nouvelle version change tout. Avant, une PR rouge en tête arrêtait le train, et tout ce qui était derrière attendait. Maintenant, la PR rouge est sortie du rail, mise sur une voie de garage avec sa raison écrite, et la suivante part.

Le main rouge a sa propre règle. Si main est rouge, une PR verte ne prouve plus rien : ses checks ont tourné sur une base cassée. Le rail est gelé. Seul un train a le droit de passer, le train de réparation, une PR dont le titre commence par fix(main). Il passe devant tout le monde, hors plafond, et depuis le 3 novembre l'outil d'ouverture ne le refuse plus quand il touche les fichiers des PR qu'il débloque : il le note, et ces PR se remettront à jour derrière lui.

  • en file
  • en route, CI verte
  • arrivée sur main
  • rouge, sur la voie de garage
  • train de réparation fix(main)
  • empilée sur la PR devant elle
  1. Produit A : la PR 2 est rouge. Le chef de train la met sur la voie de garage avec sa raison, le check rouge et son lien, et la PR 3 part. La PR 2 revient dans la file dès qu'un nouveau commit arrive.
  2. Produit B : main est rouge, le rail est gelé. Les PR 5 et 6 attendent, même vertes, et le chef de train ouvre une issue pour que ce rouge ait un responsable.
  3. Seul le train de réparation part : la PR fix(main) passe devant, hors plafond, même si elle touche les fichiers des PR qui attendent.
  4. main redevient vert. Les PR gelées reviennent d'elles-mêmes dans la file, se mettent à jour sur la réparation et repartent dans l'ordre.
  5. Produit C : la PR 8 est construite sur la branche de la PR 7. Avant de mettre la PR 7 en file, le chef de train rebranche la PR 8 sur main, pour que la suppression de la branche à la fusion ne la ferme pas.
Les pires cas : une PR rouge sur la voie de garage pendant que la suivante part, un rail gelé où seul le train de réparation passe, et une PR empilée rebranchée avant que sa base disparaisse.

Le dernier cas vient d'une vraie perte. Avant cette règle, deux PR empilées se sont fermées toutes seules : leur base avait fusionné, sa branche avait été supprimée, et GitHub ferme une PR dont la base n'existe plus. Le travail était là, la PR non.

Qui fait quoi, et ce qui coûte

Je travaille avec des agents. Un pilote lance les sessions, une par produit, une pour la plateforme, une pour la sécurité. Chaque session écrit le code, lance les checks, ouvre sa PR, écrit sa passation et s'arrête. Ces deux-là sont des modèles : ils coûtent des tokens.

Tout le reste est un script. La file et le chef de train roulent dès qu'une PR attend. Le contrôleur, qui chasse les trains en double et les têtes coincées depuis une heure, et le watchdog, qui lit et écrit ses alertes, passent toutes les quinze minutes. Aucun ne coûte de token de modèle. Deux applications GitHub ouvrent, approuvent et mettent en file. Aucun compte humain ne travaille en arrière-plan.

  • script, zéro jeton
  • modèle, coûte des jetons
  1. Le pilote lance une session. La session écrit, teste, ouvre sa PR, écrit sa passation et s'arrête. Elle n'attend jamais la CI.
  2. À partir de là, plus aucun modèle : la file range la PR, le chef de train la porte, les deux applications l'approuvent et la mettent en file.
  3. Toutes les quinze minutes, le watchdog lit l'état des dépôts et écrit une ligne d'alerte : une PR rouge sans responsable, un main rouge depuis trente minutes, un rail gelé avec des PR vertes, une session morte.
  4. Un modèle n'est réveillé que pour réparer ce que le watchdog a signalé.
  5. À la fin de la session, son coût est lu dans sa transcription, pas estimé.
Qui fait quoi : les modèles s'arrêtent à la PR ouverte ; la file, le chef de train, le watchdog et les deux applications sont des scripts qui ne coûtent aucun token.

La session morte du 2 novembre a laissé sa garde. Une session note maintenant, en démarrant, son processus et sa transcription. Le watchdog la déclare morte quand le processus a disparu ou quand la transcription finit sur une erreur, comme une limite d'usage, et figée quand elle se tait depuis plus d'une heure. Elle est fermée proprement, et son coût est lu dans ce qu'elle a vraiment fait.

Ce que disent les journaux

Chaque file écrit une ligne par événement. Entre le 1er novembre à 17 h 43 (heure de Montréal), quand les files par produit ont démarré, et le 3 novembre à minuit, soit un peu plus de 30 heures, les trains ont fait arriver 267 PR sur main. Ils en ont mis 196 de côté, chaque fois avec une raison :

RaisonFois
un check rouge141
sortie de la merge queue15
un check requis qui n'a jamais tourné13
un conflit12
main rouge, rail gelé10
déjà portée par un autre train4
un train de plus de 24 heures1

Une PR mise de côté n'est pas une PR perdue. Elle revient quand on pousse un nouveau commit, ou quand main redevient vert. Ce que montre ce tableau, c'est 196 fois où, avant, tout le rail se serait arrêté.

Le watchdog, lui, a écrit 359 lignes d'alerte depuis le soir du 1er novembre. Les plus fréquentes : 122 fois une PR rouge ou en conflit sans responsable, 56 fois un main rouge depuis plus de trente minutes, 38 fois un rail gelé avec des PR vertes qui attendaient. Aucune n'a coûté un token. Elles disent seulement à une session où regarder.

Pendant ces mêmes 30 heures, 49 sessions de modèle ont été enregistrées. Leur coût en tokens était, jusqu'au 3 novembre, une estimation tapée par la session elle-même ; depuis, il est mesuré. Je ne donne donc pas de « tokens économisés » : je n'ai pas de mesure honnête de ce qu'aurait coûté une session qui attend la CI. Ce que je sais, c'est qu'aucune n'attend plus.

Ce qui reste

Le rail gelé dit que main est rouge, il ne le répare pas : il faut encore une session pour écrire le fix(main). Le plafond de trois PR par dépôt bloque parfois une bonne PR derrière deux PR rouges, et la réponse reste humaine, faire passer ou fermer. Et le watchdog prévient, il ne décide pas. C'est voulu : un script qui ne coûte rien peut surveiller tout le temps, mais réparer reste le travail de quelqu'un.

Et le train de réparation peut lui-même rester à quai. Le 3 novembre au matin, sur le Produit A, la PR fix(main) est restée gelée avec les autres pendant environ deux heures : le chef de train reconnaît le train de réparation à un label, et l'outil d'ouverture ne l'avait pas posé. Il a fallu l'ajouter à la main. La prochaine garde : l'outil pose le label dès que le titre commence par fix(main), et un test le vérifie.

Un pompier, et le vrai goulot

Le 3 novembre au soir, j'ai ajouté un pompier. Sa règle est simple. Un dépôt qui a ses trois PR ouvertes, dont au moins une rouge, est en feu : plus personne ne peut y ouvrir de PR tant que la rouge est là. Toutes les cinq minutes, un script passe sur chaque dépôt. S'il trouve un feu, il pose un label sur la PR rouge, laisse un commentaire, m'envoie une notification et écrit le brief de la session qui ira l'éteindre. Un feu passe avant tout nouveau travail. Si personne ne le prend en trente minutes, il devient urgent.

Avant de dire s'il sert à quelque chose, j'ai voulu savoir d'où on partait. J'ai relu dans GitHub les quatorze jours d'avant : 38 dépôts, 3 871 PR. Avec la règle de trois PR, nos dépôts ont passé 1 487 heures bloqués, soit 11,6 % de leur temps. 27 dépôts sur 38 l'ont été au moins une fois.

Le premier soir, il a trouvé trois feux. Le premier est sorti de l'état de feu en deux minutes, et la vraie réparation a été fusionnée une vingtaine de minutes après l'alarme. Le deuxième s'est éteint tout seul au bout de trente minutes, sans que personne le prenne. Le troisième a été pris au bout de vingt-cinq minutes, et une session y travaillait encore quand j'ai écrit ces lignes.

Ce qu'il nous a fait gagner, je ne le sais pas encore. Trois feux en une soirée, ce n'est pas une mesure. Je me suis fixé un minimum avant de comparer : sept jours et dix feux. Je n'ai qu'une anecdote, et elle est modeste : vingt minutes pour le premier feu, c'est à peu près la durée d'un blocage ordinaire d'avant. La moitié duraient déjà moins d'un quart d'heure.

Il y a eu aussi une fausse alerte de mon côté. Pendant la première nuit, le journal du pompier s'est tu, et j'ai cru que son alarme était cassée. Il tournait, il n'avait juste rien de nouveau à dire. Il écrit maintenant l'heure de son dernier passage, et la session suivante voit tout de suite s'il s'est vraiment arrêté.

Le chouf

Le lendemain, j'ai regardé ce que coûtaient ces pompiers. Chacun avait consommé entre 110 000 et 135 000 tokens, et une bonne part ne servait pas à éteindre le feu : la session restait éveillée pour attendre que la CI passe et que le train fasse partir les PR. Un pompier qui attend devant la caserne, ça coûte quand même.

Alors j'ai séparé les deux rôles. Celui qui regarde, on l'appelle le chouf. En arabe dialectal, chouf veut dire « regarde » ; le chouf, c'est celui qui fait le guet. C'est le script qui passe toutes les cinq minutes. Il n'a pas d'IA, il ne coûte rien, et il ne fait qu'une chose : dire quand c'est le moment de réveiller le pompier.

La petite crécerelle brun-orangé perchée sur le dossier d'une chaise pliante usée au bord des voies enneigées, une lanterne allumée au sol, qui regarde la petite gare aux fenêtres éclairées au crépuscule
Le chouf : il regarde les voies, et il ne coûte rien.
Comment c'est fait
Modèle
GPT Image 2.5 Sunburst · Runway terms of use (output owned by the customer)
Moteur
Runway API (gpt_image_2_5_sunburst), text to image with 4 reference pictures (three pale covers of the series for the style, the earlier version of the picture for the scene and the characters); quality medium, ratio 1920:1088; 1 take(s), the best kept
Machine
Runway cloud
Via
Runway
Prompt
Use the first three reference pictures only for their style: a light, airy hand-drawn illustration on white paper, lots of unpainted white paper left around and inside the scene, soft pale transparent watercolor washes (pale blue, pale indigo, peach, light orange, cream), a light bright sky or none, delicate thin pen-and-ink linework of varying weight with some broken lines, gentle muted pastel colour, a few small touches of stronger colour only on the characters and one lamp. No dark night, no heavy saturated shadows, no photographic detail, no digital smoothness. Absolutely not a cartoon: no big eyes, no cel shading, no flat vector fills, no glossy gradients, no clothes on the animals. Birds are small, drawn naturalistically with a few ink strokes. No people, no text, no letters, no numbers, no logos, no watermark. The last reference picture shows the scene and the character to keep exactly (the same small orange-brown kestrel perched on the back of the same weathered wooden folding chair at the edge of the tracks, the same lantern on the ground, the same station with lit windows far away): redraw it in the light pastel style of the first three, a pale winter dusk, snow left as white paper.
Taille
1920×1088
Durée
non enregistré
Coût
non enregistré
Run Sovkora
non enregistré
Note
Hand-drawn ink and watercolor on white paper, light and pastel like chapters 1 to 20, redrawn after a cartoon look and a darker one (krizaka-internal#2455). No text, no logo; looked at in full size before use.

La règle qu'on écrit est simple. Le chouf réveille le pompier au plus une fois par heure, pour tous les feux à la fois, et seulement si un feu dure depuis plus d'un quart d'heure : beaucoup de rouges s'éteignent seuls avant. Le pompier se réveille avec un modèle léger et un plafond de tokens, et il ne passe au modèle le plus fort que si la même PR est rouge une deuxième fois. Il répare, il met la PR dans le train, et il se rendort. Il n'attend plus l'arrivée : le train et le chouf s'en occupent. Si ça redevient rouge, le prochain réveil s'en charge.

Le petit canard rouge à lunettes debout sur la voie de garage au crépuscule, un petit seau à ses pieds et un mince jet d'eau d'un tuyau enroulé qui arrose un petit feu sur le toit du wagon rouge, de la vapeur qui monte
Le pompier : il éteint, il met la PR dans le train, et il retourne dormir.
Comment c'est fait
Modèle
GPT Image 2.5 Sunburst · Runway terms of use (output owned by the customer)
Moteur
Runway API (gpt_image_2_5_sunburst), text to image with 4 reference pictures (three pale covers of the series for the style, the earlier version of the picture for the scene and the characters); quality medium, ratio 1920:1088; 2 take(s), the best kept
Machine
Runway cloud
Via
Runway
Prompt
Use the first three reference pictures only for their style: a light, airy hand-drawn illustration on white paper, lots of unpainted white paper left around and inside the scene, soft pale transparent watercolor washes (pale blue, pale indigo, peach, light orange, cream), a light bright sky or none, delicate thin pen-and-ink linework of varying weight with some broken lines, gentle muted pastel colour, a few small touches of stronger colour only on the characters and one lamp. No dark night, no heavy saturated shadows, no photographic detail, no digital smoothness. Absolutely not a cartoon: no big eyes, no cel shading, no flat vector fills, no glossy gradients, no clothes on the animals. Birds are small, drawn naturalistically with a few ink strokes. No people, no text, no letters, no numbers, no logos, no watermark. The last reference picture shows the scene and the character to keep exactly (the same small red duck with round glasses on the siding, the same little bucket at its feet, the same thin jet of water from a hose coil toward a small fire and steam on the roof of the same red wagon): redraw it in the light pastel style of the first three, a pale winter dusk, snow left as white paper.
Taille
1920×1088
Durée
non enregistré
Coût
non enregistré
Run Sovkora
non enregistré
Note
Hand-drawn ink and watercolor on white paper, light and pastel like chapters 1 to 20, redrawn after a cartoon look and a darker one (krizaka-internal#2455). No text, no logo; looked at in full size before use.

Les deux premiers pompiers se sont déjà rendormis comme ça. Le reste, l'heure de réveil et le plafond, est dans la file : je dirai ce que ça change quand je l'aurai mesuré.

Le vrai goulot

En cherchant d'où venaient ces 1 487 heures, je m'attendais à une CI trop lente. Ce n'est pas ça. Une PR rouge redevient verte en vingt-six minutes en médiane. Le temps bloqué vient d'ailleurs.

Le goulot, ce n'est pas la PR rouge du moment, c'est la rouge oubliée : une PR qui ne partira jamais, mais qui garde sa place parmi les trois. Personne n'en a la charge, alors elle reste là des jours, puis quelqu'un la ferme. Le pompier arrive vite sur un feu frais. Pour celle qui couve depuis une semaine, il ne fait rien.

Un deuxième chiffre m'a surpris. En plus de ces heures bloquées, nos dépôts ont passé 1 178 heures avec leurs trois PR ouvertes, toutes vertes, à attendre que le train les fasse partir. Ce n'est pas un feu, mais c'est aussi une place prise.

Je sépare ce qui est mesuré de ce qui est déduit. L'issue de chaque PR, depuis combien de temps elle était rouge, qui l'avait ouverte : c'est mesuré. Que 28 % des heures bloquées viennent d'une même panne partagée par plusieurs PR, comme un main rouge ou une CI commune cassée, je le déduis : le même check était rouge sur deux PR au même moment. Et GitHub ne garde les checks que du dernier commit d'une PR, donc certains chiffres sont des minimums. Les heures bloquées, elles, sont solides.

On va s'attaquer à la rouge oubliée, mais pas tout de suite : d'autres sujets passent avant. L'idée est écrite. Une PR rouge depuis plus d'un jour, on la répare dans la journée, ou on la ferme avec une ligne qui dit pourquoi. En attendant, le pompier reste.

Chapitre 23

Résultats

PR arrivées sur main par les trains, en un peu plus de 30 heures

267

Ce que disent les journaux

fois où un train a mis une PR de côté, chaque fois avec sa raison

196

Ce que disent les journaux