Au chapitre 23, j'ai raconté les rails, le pompier et le chouf. Au chapitre 24, comment on reste synchronisés. Le 5 novembre au matin, j'ai écrit au CTO une phrase moins fière : « j'ai le feeling qu'on n'avance pas à la vitesse qu'on veut ». Je lui ai demandé d'étudier notre vitesse et notre façon de travailler avec les agents, et de me faire un plan.
Ce chapitre raconte ce qu'il a trouvé, ce qu'on a décidé le jour même, et pourquoi. Il se termine sans résultat, parce que la première mesure tombe le 8 novembre.
Une impression, puis une mesure
Le rapport a été fait en lecture seule : aucune issue, aucune PR, aucun réglage touché. Il compte les PR de 41 dépôts depuis le 22 octobre, les issues, le tableau et les journaux de nos outils.
La première ligne m'a confirmé l'impression. Du 22 au 28 octobre, on fusionnait environ 40 features produit par jour. Du 29 octobre au 1er novembre, 39. Du 2 au 5 novembre, 4,8. C'est une baisse de 88 %. Pour Verikora, notre priorité, on est passé de 18 features et correctifs par jour à 4.
La deuxième ligne m'a surpris. Le tuyau, lui, n'avait pas ralenti. Une PR ouverte fusionnait en 20 minutes, en médiane. Le train mettait 7 minutes entre la tête de file et la fusion. Une PR rouge redevenait verte en 26 minutes, en médiane aussi. Ce n'était ni la CI, ni le train, ni la relecture.
Le rapport le dit en une phrase que je garde : le travail n'entrait plus dans la machine.
Cinq causes, et aucune n'était la CI
Les sessions ne tournaient plus
Le 1er novembre, 51 sessions ont tourné. Le 4, 13. Le 5, au moment du rapport, 3. Une session ne démarre que si quelqu'un la lance, et la règle « relancer une voie dès qu'elle finit » dépendait de moi ou du CTO. Et celles qui démarraient finissaient souvent sans PR : 37 % depuis le 31 octobre.
Le cas de Verikora, le 4 au soir, résume tout. La session a construit et testé deux tranches. Elle n'a pas pu ouvrir leurs PR : le dépôt avait déjà ses trois PR, et main est restée rouge 886 minutes, à cause d'un test de fumée et d'une mise à jour automatique de dépendances. Rien de tout ça ne venait du code de la feature. Le travail est resté sur une branche, et jusqu'au rapport, aucune session Verikora n'a été relancée.
Les portes s'étaient empilées
Depuis le 2 novembre, chaque incident avait produit sa règle. En 72 heures, une dizaine de portes nouvelles : le plafond passé de cinq à trois PR, le modèle le plus fort et une leçon écrite après deux rouges, le pompier devenu le crack, la preuve du ticket dans la PR, la recette, le format et l'analyse de qualité à la porte du train, la fraîcheur, la complexité, la liste des identités de commit. Chacune était raisonnable. Ensemble, elles empilaient les arrêts.
- La session (si on la lance)Elle démarre seulement quand quelqu'un pense à la lancer.
- Nouveau travail ? (NON)Refusé dès qu'une PR de n'importe quel auteur était coincée dans un dépôt de la voie, robots compris.
- La carte (écartée)Une carte sans la liste des fichiers qu'elle touche était écartée : c'était le cas de 73 % des cartes prêtes.
- Le plafond (3 par dépôt)Trois PR ouvertes par dépôt, tous auteurs confondus. À la limite, plus d'ouverture.
- La preuve (refus)Une PR qui ne recopiait pas chaque ligne « fini quand » de son ticket, avec sa preuve, était refusée.
- Le gel (main rouge)Un rouge sur main, quelle que soit sa cause, arrêtait toutes les fusions du dépôt.
- main (enfin)Quand tout était passé, le train faisait le reste en quelques minutes.
Le gel faisait le plus de dégâts. Sur les rouges de main du 2 au 5 novembre, la plupart ne venaient pas du code produit : 46 mises à jour automatiques de dépendances, 30 analyses de qualité, 19 releases. Chacun gelait le dépôt entier. Le watchdog a levé 96 alertes « gelé » en quatre jours.
- en file
- en route, CI verte
- Verikora : main est rouge à cause d'un test de fumée et d'une mise à jour automatique, rien qui vienne du produit. Le rail est gelé, et les trois PR attendent, même vertes.
- Le plafond compte les PR de tout le monde. Avec ses trois places prises, la voie ne peut plus rien ouvrir : deux tranches testées restent sur une branche.
- Sovkora : même chose, pour un rouge qui ne venait pas non plus de son code.
- Pendant ce temps, le rail de la plateforme roule : des pins, une règle, un outil. C'est là que partait la capacité.
L'usine mangeait la capacité
J'appelle « l'usine » tout ce qui sert à produire : les outils des agents, les règles, la CI, les robots qui mettent à jour les versions. Du 2 au 5 novembre, 60 % des fusions venaient de robots. En 14 jours, ils avaient ouvert 748 PR de pins, une par version et par dépôt. Et 52 % des PR écrites par les agents allaient à l'usine elle-même : 83 PR en quatre jours dans les deux dépôts des règles et des outils, à peu près une règle ou un outil nouveau par heure.
L'usine était devenue le premier client de nos agents. Une usine ne livre rien à personne.
Le tableau ne guidait plus
Il y avait 311 cartes dans « Next », la colonne du travail prêt, pour une cible d'une soixantaine. La plateforme en avait 202 à elle seule. En 14 jours, on avait créé 1 749 issues et on en avait fermé 950. 94 % étaient écrites par des agents, souvent à partir d'audits : 179 le seul 2 novembre.
Et les cartes n'étaient pas prêtes. Seulement 27 % avaient la liste des fichiers qu'elles touchent, celle que la session exige au démarrage. Une session dépensait donc son budget à refaire le découpage avant d'écrire une ligne.
Des rouges qu'on pouvait attraper chez soi
En 14 jours, environ 2 000 passages de CI ont échoué, à peu près deux rouges par branche. Une note du 4 novembre les avait classés : 43 % auraient été attrapés en quelques secondes par un contrôle local, 56 % avec un hook git commun. Ce n'était pas « trop de tests ». C'étaient des tests au mauvais endroit, en CI au lieu d'être sur la machine, et des contrôles hors produit qui bloquaient le produit.
La réunion des 87 règles
Le même jour, le CTO a réuni la sécurité, le business, l'UI et l'UX et le conseiller stratégique autour d'un inventaire : nos 87 règles de travail, chacune avec sa date, l'endroit où elle vit et ce qu'elle protège. Elles ont été relues une par une.
Le conseiller a proposé un principe, et tout le monde l'a repris. Une règle :
- empêche l'irréversible ;
- agit à la source, en quelques secondes ;
- nomme l'indicateur qu'elle doit faire bouger, sinon elle disparaît ;
- compte ses refus, sinon elle n'a pas le droit de refuser ;
- protège le client et le fondateur, pas l'usine.
Avec ce principe, le tri a été plus simple que je ne pensais. Tout ce qui touche à la sécurité est resté tel quel, à l'unanimité, et la sécurité a eu le dernier mot. Les trains restent les seuls à fusionner, et le train de release reste la seule porte vers la production. Les pages honnêtes, l'accessibilité, les textes identiques en français et en anglais : gardés aussi.
Le plafond de PR
- Avant
- Trois par dépôt, tous auteurs confondus.
- Maintenant
- Cinq par dépôt, en ne comptant que les PR de la voie.
Le gel
- Avant
- Tout rouge sur main gelait le dépôt.
- Maintenant
- Seul un rouge des tests du produit ou de sécurité gèle. Et le gel bloque la fusion, jamais l'ouverture d'une PR.
La carte et sa preuve
- Avant
- Refusées si incomplètes.
- Maintenant
- Un avertissement. La PR cite son ticket par défaut, et ne le ferme que si chaque ligne est prouvée.
Deux rouges
- Avant
- Une leçon écrite, sinon pas de fusion.
- Maintenant
- Une ligne dans un fichier de leçons. Plus une porte : le train continue.
L'analyse de qualité
- Avant
- Elle bloquait une PR sur toutes ses notes.
- Maintenant
- Seule la note de sécurité bloque une PR. Les trois meilleures notes restent la cible avant la production.
Les captures d'écran de référence
- Avant
- Elles bloquaient chaque PR.
- Maintenant
- Elles avertissent sur la PR. Elles ne bloquent que la release vers la production.
Les pins de versions
- Avant
- Une PR par version et par dépôt.
- Maintenant
- Une seule PR par dépôt et par jour.
Quatre règles sont parties, dont une règle locale de complexité qui faisait doublon avec l'analyse de qualité, et le pompier, remplacé par le crack. Trois autres, sur le tableau, n'en font plus qu'une.
Deux conditions sont venues avec. D'abord, chaque porte journalise ses refus : ce n'est pas une règle de plus, c'est la mesure sans laquelle on ne peut juger aucune règle. Ensuite, la liste de ce qui redeviendra strict est écrite dès maintenant : le jour où une vraie pièce pourra entrer dans nos produits, les captures bloqueront de nouveau chaque PR, et le reste suivra.
Et un moratoire. Le rapport proposait quatorze jours sans nouvelle règle ; j'en ai choisi trois, jusqu'au 8 novembre. Pendant ces trois jours, une PR qui ajoute une porte, un hook ou une étape de workflow est refusée par un contrôle, sauf si elle dit pourquoi elle fait exception. Le seul chantier d'usine autorisé était le contrôle local.
Pour savoir si une règle est vraiment en place, la référence ne change pas : c'est la matrice de conformité. Un script croise chaque jour chaque dépôt avec chaque règle et répond vert, rouge ou hors champ. Pas un agent qui dit « c'est fait ». Pendant le moratoire, la liste des règles de la matrice est gelée à 35, et seules les règles de sécurité doivent encore arriver partout le jour même.
Le pompier s'en va, le crack arrive
Au chapitre 23, le pompier se réveillait quand un dépôt avait ses PR au plafond, avec une rouge parmi elles. Le chouf regardait gratuitement et le réveillait au bon moment. Le pompier n'a tenu qu'un jour.
Ce qui n'allait pas, c'était son point de départ. Il partait de la PR rouge, et il la réparait. Mais le chapitre 23 l'avait déjà mesuré : 92 % des heures bloquées venaient de PR rouges qui ont fini fermées sans être fusionnées. Le pompier pouvait éteindre très bien un feu dans une maison qu'on allait démolir.
Comment c'est fait
- Modèle
- GPT Image 2.5 Sunburst
- Moteur
- Runway API (gpt_image_2_5_sunburst), text to image with 4 reference pictures (three pale pictures of the series for the style, the last for the scene and the characters: series-19-tchou-tchou-how-our-pull-requests-catch-the-train-1280.dd3122c9f9.webp, series-24-how-we-stay-in-sync-1280.14bfb23999.webp, chapter-23-chouf-1280.56aa65ef95.webp, chapter-23-firefighter-1280.5ac95f5177.webp); quality high, ratio 1920:1088; 3 takes, the best kept
- Machine
- Runway's hosted service, the company account
- Via
- Runway
- Prompt
Use the first three reference pictures only for their style: a light, airy hand-drawn illustration on white paper, lots of unpainted white paper left around and inside the scene, soft pale transparent watercolor washes (pale blue, pale indigo, peach, light orange, cream), a light bright sky or none, delicate thin pen-and-ink linework of varying weight with some broken lines, gentle muted pastel colour, a few small touches of stronger colour only on the characters and one lamp. No dark night, no heavy saturated shadows, no photographic detail, no digital smoothness. Absolutely not a cartoon: no big eyes, no cel shading, no flat vector fills, no glossy gradients, no clothes on the animals. Birds are small, drawn naturalistically with a few ink strokes. No people, no text, no letters, no numbers, no logos, no watermark. Hand-drawn ink and watercolor. The last reference picture shows the character to keep (the same small red duck with its coiled hose and its old bucket, the same station). Draw the platform of that small snowy station on a pale winter morning: the small red duck walks away along the platform towards the left edge of the picture, its coiled hose and bucket with it, seen three-quarters from behind. On the right, perched on top of a wooden notice board with a few blank cream cards and a small lantern, a small owl with soft violet-grey feathers and two ear tufts has just arrived, a rolled paper plan of the yard beside it, and looks over the tracks. Exactly two birds. Snow left as white paper.
- Taille
- 1920×1088
- Durée
- non enregistré
- Coût
- non enregistré
- Run Sovkora
- non enregistré
- Note
- Chapter 25, section « Le pompier s'en va, le crack arrive »: the firefighter of chapter 23 (the small red duck, its hose and bucket) leaves the platform; the crack (the owl) has arrived on the notice board. Take 2 of 3, picked after looking at all three in full size. Runway task 99fbf1dd-45bf-4f6f-a51d-c3a3e5facc34, 9 credits. Made outside an Orazaka Studio run; no person, no text, no logo.
Le 4 novembre, je l'ai remplacé par le crack, un expert des plateformes et des logiciels vendus en ligne. Son premier réflexe n'est pas la PR rouge. Quand on l'appelle, il comprend d'abord le but et la valeur que chaque PR ouverte apporte au virage en cours. Puis il prend la vue d'ensemble : les PR du dépôt et leurs cousines dans les autres dépôts. Ce qui a encore du sens reste. Un doublon est fermé, avec un lien vers celle qu'on garde. Des petites PR qui vont ensemble sont réunies en une seule. Ce qui sort de la direction est fermé ou mis de côté, avec sa raison, et son issue retourne au tableau. Seulement après, il répare le rouge de ce qui vaut la peine d'arriver. Et il écrit la leçon : pourquoi les PR se sont empilées, à l'endroit le plus tôt où on peut l'attraper.
Le chouf, lui, reste. Toutes les cinq minutes, sans modèle, il regarde chaque dépôt. Si un appel n'est pris par personne au bout d'un quart d'heure, une session du crack démarre seule, avec un plafond de tours et de durée, et au plus quatre par jour.
Comment c'est fait
- Modèle
- GPT Image 2.5 Sunburst
- Moteur
- Runway API (gpt_image_2_5_sunburst), text to image with 4 reference pictures (three pale pictures of the series for the style, the last for the scene and the characters: series-19-tchou-tchou-how-our-pull-requests-catch-the-train-1280.dd3122c9f9.webp, series-24-how-we-stay-in-sync-1280.14bfb23999.webp, chapter-23-firefighter-1280.5ac95f5177.webp, chapter-23-chouf-1280.56aa65ef95.webp); quality high, ratio 1920:1088; 3 takes, the best kept
- Machine
- Runway's hosted service, the company account
- Via
- Runway
- Prompt
Use the first three reference pictures only for their style: a light, airy hand-drawn illustration on white paper, lots of unpainted white paper left around and inside the scene, soft pale transparent watercolor washes (pale blue, pale indigo, peach, light orange, cream), a light bright sky or none, delicate thin pen-and-ink linework of varying weight with some broken lines, gentle muted pastel colour, a few small touches of stronger colour only on the characters and one lamp. No dark night, no heavy saturated shadows, no photographic detail, no digital smoothness. Absolutely not a cartoon: no big eyes, no cel shading, no flat vector fills, no glossy gradients, no clothes on the animals. Birds are small, drawn naturalistically with a few ink strokes. No people, no text, no letters, no numbers, no logos, no watermark. Hand-drawn ink and watercolor. The last reference picture shows the scene and the character to keep exactly (the same small orange-brown kestrel perched on the back of the same weathered wooden folding chair at the edge of the tracks, the same lantern on the ground, the same station far away). Redraw it at a pale winter dawn: a short train rolls past towards the station, and far away a simple wooden footbridge crosses the tracks with a tiny owl with soft violet-grey feathers sitting on its railing. Exactly two birds, the kestrel near, the owl tiny and far. Snow left as white paper.
- Taille
- 1920×1088
- Durée
- non enregistré
- Coût
- non enregistré
- Run Sovkora
- non enregistré
- Note
- Chapter 25, section « Le pompier s'en va, le crack arrive »: the chouf of chapter 23 (the kestrel on its folding chair, its lantern) still watches; the crack (the owl) sits far away on the footbridge. Take 1 of 3, picked after looking at all three in full size. Runway task 1ad3d11e-9f22-40d2-975f-c557aedc5d35, 9 credits. Made outside an Orazaka Studio run; no person, no text, no logo.
Ce qui a changé le 5 novembre
Ce jour-là, 19 PR ont changé nos outils, dans le dépôt de nos agents et dans celui de l'organisation. Les rails se dessinent maintenant comme ça.
- en file
- en route, CI verte
- arrivée sur main
- rouge, sur la voie de garage
- Une voie n'est bloquée que par ses propres PR coincées. Le plafond est de cinq par dépôt, et il ne compte que les PR de la voie : celles des robots et des autres voies ne lui prennent plus de place.
- Un rouge de mise à jour automatique, d'analyse de qualité, de release ou de pins sur main ne gèle plus rien. Il lève une alerte qui a un responsable, la voie plateforme.
- Seul un rouge des tests du produit, ou de sécurité, gèle encore un rail. Même gelé, on peut ouvrir une PR et la mettre en file : seule la fusion attend.
- Les pins partent en une seule PR par dépôt et par jour, au lieu d'une par version.
- Une PR rouge va sur la voie de garage, comme avant, et la suivante part.
Le chemin d'une session a changé aussi. Il a moins de portes, et elles sont placées plus tôt.
- Une carte prête (validée par le CTO)Toute carte qui entre dans Next est validée par le CTO, et chaque voie a son plafond de cartes.
- La session démarre (seule, plafonnée)Une voie produit qui a une carte prête et aucune session en reçoit une, sans attendre qu'on y pense.
- Le contrôle local (environ 5 s)Avant le push, sur les fichiers changés : lint, types, tests touchés, générateurs. Un rouge s'arrête ici.
- La PR (avertit)La carte incomplète ou la preuve manquante donnent un avertissement, plus un refus.
- Le train (la file de la voie)La PR prend sa place dans la file de son dépôt, et le train la porte.
- main (un commit)La PR arrive en un seul commit, et la suivante part.
Le détail, dans l'ordre où ça compte :
- Des sessions qui démarrent seules. Quand la voie Verikora ou Sovkora a une carte prête et aucune session vivante, un script en lance une. Les plafonds sont écrits dans le code : deux à la fois au plus, six par 24 heures, 80 tours et 90 minutes chacune, et un interrupteur pour tout arrêter.
- Un tableau qui guide. Le CTO valide chaque carte qui entre dans Next, avec un plafond par voie : 15 pour Verikora, 15 pour Sovkora, 10 pour la plateforme, 10 pour la sécurité, 0 pour Folioviv, qui est en pause.
- Les audits attendent. Ce qu'un audit trouve va dans une colonne de tri, jamais directement dans Next. Tous les quatre jours, une voie d'incubation relit cette colonne et mes idées : elle regroupe, réévalue, promeut ce qui mérite de l'être, et ne met jamais rien dans Next elle-même.
- Une copie locale du tableau. Avant, chaque outil relisait le tableau sur GitHub à chaque passage, et mon quota d'appels était épuisé. Maintenant, une copie locale est rafraîchie toutes les 20 minutes, et chaque outil qui déplace une carte l'écrit aussi dans la copie. Après le changement, il me restait 4 976 appels sur 5 000.
- Le contrôle local. Une seule commande lance, sur les fichiers changés, ce que le dépôt déclare déjà : lint, types, tests touchés, générateurs. Elle a pris 4,8 secondes sur sa propre branche, et le hook git commun la lance avant chaque push.
- Chaque refus est noté. Une ligne par refus, avec l'outil, la règle, le dépôt et la PR. C'est ce qui permettra de juger chaque règle.
La copie du tableau
- Rafraîchie toutes les 20 minutes
- Écrite par chaque outil qui déplace une carte
- Le quota d'appels n'est plus épuisé
La matrice
- Chaque dépôt croisé avec chaque règle
- Vert, rouge ou hors champ, chaque jour
- La référence pour dire qu'une règle est en place
Le journal des refus
- Une ligne par refus
- L'outil, la règle, le dépôt, la PR
- La preuve qu'une règle sert, ou pas
Trois indicateurs, et une date
Le rapport le disait aussi : on mesurait beaucoup, mais surtout l'activité de l'usine. Avec les robots, plus de 1 400 fusions en 14 jours donnaient une fausse impression de vitesse. Alors on ne suit plus que trois chiffres :
- Les features produit par jourLes PR de feature ou de correctif fusionnées dans les dépôts du virage, sans les pins, les robots ni les releases.
- Les heures où le produit est bloquéLa somme des heures où un dépôt produit est gelé, ou au plafond avec une PR rouge.
- Les rouges qui ne viennent pas du produitCombien de rouges de main viennent encore d'une mise à jour, d'une analyse, d'une release ou d'un pin.
La première mesure est prévue le 8 novembre, à la fin du moratoire. Ce jour-là, chaque règle passera aussi sa revue, avec ses refus comptés. Au moment où j'écris, je n'ai aucun résultat. Je ne sais pas encore si les features reviennent, ni à quelle vitesse. Je le dirai quand je l'aurai mesuré, même si le chiffre est mauvais.
Ce que je garde
Aucune de nos règles n'était absurde. Chacune répondait à un vrai incident, et j'en avais demandé beaucoup moi-même. C'est leur somme qui arrêtait tout, et personne ne la regardait, parce qu'aucune règle ne disait ce qu'elle coûtait.
Depuis le 30 octobre, notre devise dit : « Le flux tourne, l'échéance est à nous : elle peut bouger, la qualité jamais. » Le 5 novembre, j'ai compris qu'on avait protégé la qualité en arrêtant le flux. Ce n'est pas ce que dit la devise. Une règle qui refuse doit prouver qu'elle protège quelque chose, et compter ce qu'elle refuse. Sinon, elle n'est qu'un arrêt de plus sur la voie.
