La question que je pose à mes agents est simple : si un client ne peut plus réserver une promenade chez Akinaza, comment on le sait ? Une liste de fichiers de tests n'est pas une réponse. Il faut pouvoir dire « le parcours de réservation passe, voilà sa dernière exécution ».
Ce chapitre raconte ce qu'on a mis en place depuis, avec Akinaza comme exemple, parce que c'est le produit qui a le plus de surfaces : le web des clients, le web des propriétaires, Android, iOS et un Mac. Je dis aussi ce qui n'est pas fait. Chaque affirmation renvoie à un fichier, une PR ou un lancement de CI, et les chiffres viennent des dépôts.
Ce qu'on teste, et ce qu'on ne teste pas
Ma phrase de départ, que j'ai fini par écrire dans une décision d'architecture, c'est : « on ne teste pas les composants ». Les composants vivent dans Krizaka UI, qui a ses propres tests. Un produit qui les utilise ne les teste pas une deuxième fois. Si un bogue est dans un composant, son test va dans la bibliothèque, pas en copie dans le produit.
La décision s'appelle ADR-017. Un test de produit a trois sujets possibles : ses règles (des tests unitaires, rapides), ses frontières (serveur, API, vraie base de données), et ses parcours, c'est-à-dire une promesse faite à un client, vue de son côté. C'est ce dernier qui prouve que le produit marche, et c'est celui qui a longtemps été partiel chez nous.
Un parcours a une personne, une promesse et un résultat visible. « Eric ouvre un bail sans avis du TAL et voit la section G, avec sa citation » est un parcours. « La page s'affiche » n'en est pas un, et la revue le refuse.
Les personnes sont des personnages fictifs, les mêmes en local et sur le serveur de développement, issus d'un jeu de données de démonstration. Jamais un vrai compte, jamais le compte d'administration.
Le web : Playwright et les captures
Pour Akinaza, les parcours web sont dans journeys.visual.mjs : la page d'accueil, la page d'une boutique, un service, la confirmation d'une réservation, la connexion, et la journée de la promeneuse. Six parcours. Chacun est photographié sur un téléphone et sur un écran de bureau, en clair et en sombre, ce qui fait 22 captures de référence dans le dépôt (la confirmation de réservation n'existe que sur bureau).
Les captures de référence sont faites sous Linux, dans le conteneur officiel de Playwright, jamais sur mon Mac. Sinon deux machines dessineraient la même police de deux façons et tout serait rouge. Quand une référence doit changer, un workflow « Update visual baselines » le fait sur la branche, et je n'ai pas à lancer Docker chez moi.
Le job tourne en environ 2 minutes (les huit derniers lancements réussis que j'ai lus aujourd'hui), et c'est un contrôle obligatoire de la merge queue. Dates, heures et créneaux libres sont masqués, la carte aussi, puisque ses tuiles viennent du réseau.
La configuration dit une chose qui m'importe plus que le reste, et qui tient en une ligne : retries: 0. Pas de rejeu. Un test qui échoue puis réussit au deuxième essai ne passe pas pour moi, il cache un bogue.
Le noyau commun de ces parcours (se connecter une fois par processus, les masques, les hooks vidéo, la quarantaine plafonnée) est dans @krizaka/page-audit/journey, écrit dans krizaka-ts#277 puis publié par la PR de version #278. Le premier produit à s'en servir est Yomizaka, avec yomizaka#623 : un catalogue de parcours dans un fichier, et un premier parcours, la section G du bail. Au moment où j'écris, cette PR est encore dans la merge queue. Akinaza n'a pas encore son catalogue.
Le téléphone : Maestro
Sur Android, on utilise Maestro. Les parcours sont de petits fichiers YAML dans apps/mobile/.maestro : l'ouverture de l'application, les cinq onglets, la journée, les clients, les livres de comptes, une saisie rapide. Sept parcours, plus deux petits morceaux partagés (le lancement et la connexion).
À chaque PR, le workflow Mobile CI construit l'application, démarre un émulateur Android et un serveur jetable avec la boutique de démonstration, puis lance les parcours en tant que la promeneuse de démo. Le contrôle mobile-e2e / gate est obligatoire. Ce job prend entre 16 et 19 minutes sur les huit derniers lancements réussis.
Trois écrans de l'app, pris par le parcours des onglets dans l'exécution verte de main (client Android, personnage de démo, données de démo) : Aujourd'hui, Factures, Livres. Chacun est un point de contrôle du parcours : Maestro touche l'onglet, attend l'écran, puis le vérifie et le photographie.
Comment c'est fait
- Modèle
- Maestro takeScreenshot (a test screenshot, no generative model) · n/a
- Moteur
- non enregistré
- Machine
- GitHub Actions, Android emulator
- Durée
- non enregistré
- Coût
- non enregistré
- Run Sovkora
- non enregistré
- Note
- Taken by a Maestro journey of the Akinaza mobile app, in the green main run mobile-ci 41009319706 (artifact maestro-e2e, 2026-10-30). Demo persona and demo data only.
Comment c'est fait
- Modèle
- Maestro takeScreenshot (a test screenshot, no generative model) · n/a
- Moteur
- non enregistré
- Machine
- GitHub Actions, Android emulator
- Durée
- non enregistré
- Coût
- non enregistré
- Run Sovkora
- non enregistré
- Note
- Taken by a Maestro journey of the Akinaza mobile app, in the green main run mobile-ci 41009319706 (artifact maestro-e2e, 2026-10-30). Demo persona and demo data only.
Comment c'est fait
- Modèle
- Maestro takeScreenshot (a test screenshot, no generative model) · n/a
- Moteur
- non enregistré
- Machine
- GitHub Actions, Android emulator
- Durée
- non enregistré
- Coût
- non enregistré
- Run Sovkora
- non enregistré
- Note
- Taken by a Maestro journey of the Akinaza mobile app, in the green main run mobile-ci 41009319706 (artifact maestro-e2e, 2026-10-30). Demo persona and demo data only.
La même exécution verte a aussi filmé le téléphone tel qu'il tourne, tout le parcours en une prise, sans étape de connexion :
Comment c'est fait
- Modèle
- Playwright/Maestro screen recording (no generative model) · n/a
- Moteur
- non enregistré
- Machine
- GitHub Actions, Android emulator
- Durée
- non enregistré
- Coût
- non enregistré
- Run Sovkora
- non enregistré
- Note
- Maestro screen recording of the Akinaza mobile app (journey android-today-books), run akinaza showcase 41011560619 (success, 2026-10-30). Demo persona and demo data only.
Ce que Maestro voit et que Playwright ne voit pas, c'est l'application réellement installée. Exemple vrai : après avoir effacé l'état de l'appli, un émulateur lent peint d'abord un écran blanc. Le test cherchait le champ e-mail trop tôt et échouait de temps en temps. La correction, dans akinaza#435, attend l'écran au lieu de l'affirmer tout de suite. Aucun test web n'aurait pu trouver ça.
Il y a ici un écart avec ma règle du zéro rejeu, et je le dis : le workflow partagé relance un parcours qui a échoué, jusqu'à trois essais (flow-attempts), parce qu'un émulateur sur un serveur partagé lâche un parcours de temps en temps. Seuls les parcours en échec sont relancés et chacun doit finir par passer, mais c'est bien un rejeu. Je ne l'ai pas encore supprimé.
Et iOS ? Les mêmes parcours Maestro pourraient tourner sur un simulateur, mais le workflow le dit lui-même en en-tête : le job iOS est « optionnel, pas encore dans ce fichier ». Rien ne tourne sur iOS en CI aujourd'hui.
Le Mac : ce qui n'est pas testé
L'application Mac d'Akinaza est faite avec Tauri. La CI (desktop.yml, qui appelle le workflow partagé) lance les tests Rust de l'application et construit un .dmg non signé à chaque PR qui touche l'application. La version signée n'est produite que sur un tag.
Il n'y a aucun parcours d'interface sur le Mac. Personne n'ouvre l'application construite pour y cliquer. L'interface web qu'elle affiche est testée par les parcours web, ce qui couvre une partie du risque, mais la coque native (menus, fenêtre, signature) ne l'est pas. C'est un vrai trou.
L'application Mac de Yomizaka, construite de la même façon, en a un. desktop-journey.mjs lance l'application construite sur un runner macOS et la pilote par WebDriver : le personnage de démo se connecte, un dossier autorisé avant le lancement est listé, le test l'ouvre, vérifie son bail, attend le résultat, puis relance l'application et vérifie que le dossier et la session sont toujours là. Le film vient du même pilote : il prend des captures de la fenêtre elle-même, donc aucune permission d'enregistrement d'écran, il commence sur le premier écran qui montre quelque chose et coupe l'attente du moteur.
Comment c'est fait
- Modèle
- WebDriver window frames (no generative model) · n/a
- Moteur
- non enregistré
- Machine
- GitHub Actions, macOS runner, the Tauri app driven through WebDriver
- Durée
- non enregistré
- Coût
- non enregistré
- Run Sovkora
- non enregistré
- Note
- Yomizaka's Mac app recorded by its own journey, yomizaka download-videos run 41140339934 (success, 2026-10-30). Demo persona and demo folder only.
Comment c'est réglé, en quatre courts extraits copiés des dépôts tels qu'ils sont sur main (akinaza à 3b8edca, yomizaka à 17753f7). L'extrait du Mac est celui de Yomizaka : depuis que j'ai écrit les lignes ci-dessus, son application Mac a son premier parcours, piloté par WebDriver. Celle d'Akinaza pas encore.
# Akinaza, Android: the day's appointments, then the two moves of a visit.
# Never a flow that depends on the clock: the CI backend books a demo
# visit today at "now + 1 h", so the visit is always listed.
appId: com.krizaka.akinaza
tags:
- ci
---
- runFlow: shared/launch.yaml
- runFlow: shared/sign-in.yaml
- assertVisible: "Aujourd'hui|Today"
- extendedWaitUntil:
visible: ".*Visite chiot.*|.*Puppy visit.*"
timeout: 30000
- takeScreenshot: aujourdhui
- tapOn: ".*Visite chiot.*|.*Puppy visit.*"
- assertVisible: "Qui|Who"
- scrollUntilVisible:
element: "Commencer|Start"
- tapOn: "Commencer|Start"Des vidéos qui sortent des tests
Les pages de téléchargement de nos produits montrent des vidéos des applications, et une vidéo filmée à la main vieillit dès la version suivante. Alors ce sont les tests qui les filment (règle « app videos »). Un seul parcours sert deux fois : à prouver, et à montrer.
Côté web, showcase-web.mjs enregistre avec Playwright. La connexion se fait hors caméra, pour que rien de tapé ne soit filmé, avec le personnage de démo, et la bannière « version de développement » reste visible. Côté téléphone, ce sont les commandes startRecording et stopRecording de Maestro dans .maestro-showcase.
Deux prises du web, de la même exécution verte :
Comment c'est fait
- Modèle
- Playwright/Maestro screen recording (no generative model) · n/a
- Moteur
- non enregistré
- Machine
- GitHub Actions, Playwright (Chromium)
- Durée
- non enregistré
- Coût
- non enregistré
- Run Sovkora
- non enregistré
- Note
- Playwright recording of a demo shop's public page, run akinaza showcase 41011560619 (success, 2026-10-30). Demo persona and demo data only.
Comment c'est fait
- Modèle
- Playwright/Maestro screen recording (no generative model) · n/a
- Moteur
- non enregistré
- Machine
- GitHub Actions, Playwright (Chromium)
- Durée
- non enregistré
- Coût
- non enregistré
- Run Sovkora
- non enregistré
- Note
- Playwright recording of the shop composer of the admin, run akinaza showcase 41011560619 (success, 2026-10-30). Demo persona and demo data only.
Le workflow download-videos.yml tourne chaque nuit sur main et n'est jamais obligatoire, donc il ne peut bloquer aucune fusion. Le workflow partagé app-videos.yml encode en webm et mp4 avec une affiche (30 secondes au plus, sans son, 720 pixels de large au plus), envoie le tout sur notre stockage de médias sous un nom qui contient son empreinte, et ouvre une PR. Un test unitaire échoue si la page nomme une vidéo absente du manifeste ou plus vieille que 14 jours.
- Pull request (chaque changement)Lint, tests unitaires, build ; les parcours Playwright sur le web, ceux de Maestro sur un émulateur Android. Le contrôle mobile est requis.
- Merge queue (merge_group)Les mêmes contrôles, sur la branche de la file : le changement avec le dernier main fusionné.
- main vert (après la fusion)Les parcours mobiles tournent encore une fois sur main.
- Chaque nuit (download-videos)Sur main, Playwright et Maestro filment les parcours : 30 secondes au plus, sans son, 720 pixels de large au plus.
- Les films (empreinte, puis une PR)Envoyés sur notre stockage de médias sous un nom qui porte leur empreinte ; une PR met à jour le manifeste, et un test échoue si une vidéo manque ou a plus de 14 jours.
Un vrai exemple : celui de Yomizaka, le rapport en 10,6 secondes (son affiche), pris le 27 octobre par le test lui-même. Il pèse 134 Ko.
Pour Akinaza, je dois être honnête : le manifeste des vidéos est vide aujourd'hui ("videos": []). Les scripts d'enregistrement existent, le workflow existe, mais aucune vidéo d'Akinaza n'est encore publiée par ce chemin. Je ne montre donc pas de clip d'Akinaza ici.
Les pannes de la semaine
Un test instable est un bogue. Cette règle est écrite dans l'ADR, avec une quarantaine plafonnée : si la correction n'est pas immédiate, on isole l'assertion, avec une issue, et seule cette assertion saute. Voici les cas de cette semaine, avec leur vraie cause, que chaque fois on n'a trouvée qu'en lisant le journal.
La pastille d'horaires. Sur la page d'une boutique, une pastille « ouvert maintenant » est dessinée par le serveur avec l'heure réelle, alors que l'horloge du navigateur de test est figée. Ses mots et sa largeur changeaient avec l'heure du lancement, et les trois captures de la page échouaient sur chaque PR (akinaza#564). Le premier correctif cachait la pastille. Il a fallu un second, akinaza#565, qui injecte l'horloge dans les pages au lieu de les maquiller.
La journée de la promeneuse. Même famille : la semaine affichée suit la date, donc la capture de la journée dérivait. La correction est dans akinaza#599, elle aussi encore ouverte au moment où j'écris.
L'import à froid. Le test « répond 401 à quelqu'un qui n'est pas connecté » durait 5 007 ms, pile la limite de 5 secondes, et faisait échouer le pre-push. Le 401 lui-même prend environ 30 ms. La seconde perdue était le premier import dynamique des modules de routes dans le test. Dans akinaza#561, l'import se fait une fois avant les tests, le test affirme que chaque refus dure moins d'une seconde, et la limite n'a pas bougé.
RetroTv. Dans Krizaka UI, le composant de télévision rétro échouait à 11 % sur une machine chargée. Deux causes : ses exemples chargeaient une affiche et un clip depuis le réseau, que le runner refusait sans bruit, et l'écran paresseux était photographié avant d'avoir monté ses couches. krizaka-ui#875 met des fichiers de test dans le dépôt, fait échouer toute requête sortante qui n'est pas l'un d'eux, et krizaka-ui#893 attend les couches.
La colonne de date à un pixel. Dans Yomizaka, une capture échouait pour 956 pixels de différence. La date du jour est écrite par le serveur, dont l'horloge n'est pas figée : « vendredi 30 octobre 2026 » (24 lettres) contre « jeudi 29 octobre 2026 » (21), donc 181 pixels de large contre 152. Le test échouait selon le jour de la semaine. Le test avait été relancé sans lire le journal et il avait passé après minuit, ce qui est exactement la mauvaise habitude : on a lu le journal ensuite. Le détail est dans yomizaka#611, et la vraie correction, l'horloge du serveur injectée, dans yomizaka#615, encore ouverte.
Une autre, plus ancienne, que j'aime bien : un test de confidentialité cherchait « 514 » (un indicatif de téléphone) dans une charge utile pleine d'identifiants. Un identifiant aléatoire contient « 514 » une fois sur dix environ. Cinq tests ont échoué d'un coup à cause d'un seul (akinaza#350).
Chaque cas a le même second temps, celui du chapitre 17 : pourquoi aucun garde n'a-t-il vu ça ? Pour les chiffres dans les UUID, une règle ast-grep refuse un bout de chiffres contre des données sérialisées. Pour RetroTv, une requête réseau devient une erreur. Pour l'horloge de Yomizaka, un test du parcours. Le garde est dans la même PR que le correctif.
Les chiffres, et ce que je ne sais pas encore
Ce qui vient des dépôts aujourd'hui :
- Akinaza compte 345 fichiers de test (unitaires, d'intégration, parcours), comptés dans le dépôt.
- 6 parcours web avec 22 captures de référence, 7 parcours Maestro et 1 parcours de vidéo pour le téléphone.
- Sur les huit derniers lancements réussis que j'ai lus, la CI complète d'une PR prend de 23 à 28 minutes, le job de captures environ 2 et le job mobile de 16 à 19.
- Dans nos relevés de coût, une PR fusionnée d'Akinaza consomme 45 000 tokens en médiane, sur 131 PR, de 9 375 à 190 000. Je donne des tokens, pas des dollars, parce que c'est ce que le relevé mesure.
Et ce qui manque :
- L'ADR fixe 15 minutes pour la CI d'une PR. Akinaza est entre 23 et 28. On n'y est pas.
- Je n'ai pas de taux d'instabilité avant et après. L'indicateur est prévu, il n'est pas encore là. Je préfère ne rien chiffrer plutôt que d'inventer.
- Pas d'iOS en CI, pas de parcours sur le Mac, le rejeu à trois essais de Maestro, aucun catalogue de parcours chez Akinaza, et aucune vidéo d'Akinaza publiée par ce chemin.
Ce que j'en retiens : les parcours coûtent plus cher qu'un test unitaire, et ils sont les seuls à répondre à ma question du début. Le reste, c'est de la discipline : zéro rejeu, une horloge qu'on contrôle, et un garde à chaque panne.
captures de référence pour 6 parcours (téléphone, bureau, clair, sombre)
22
