Il y a quelque temps, j'ai demandé à un ami du milieu des TI de faire une expérience sans parti pris. Il a demandé à trois modèles, Claude, Gemini et ChatGPT, d'inspecter notre organisation GitHub et d'en faire un audit sans complaisance. Ce qu'il m'a rapporté était flatteur. Trop flatteur pour que je le répète sans preuve.
Chez Krizaka, une affirmation doit mener à une mesure, à une exécution ou à une ligne de code. Je n'ai pas les sorties de son expérience, donc je ne peux pas les citer. Alors je l'ai refaite moi-même, le 24 octobre, avec un prompt écrit à l'avance et publié, et une réponse publiée telle quelle.
Pourquoi j'ai refait l'expérience
Un compliment rapporté ne se vérifie pas. Une sortie brute, si. Le lecteur peut relire le prompt, relire la réponse, et vérifier chaque lien.
J'ai aussi voulu que le prompt ne pousse pas vers le compliment. Il ne demande pas ce qui est impressionnant. Il demande un audit, les forces et les faiblesses, et il précise que les faiblesses comptent autant que les forces. Il demande aussi une source pour chaque point, et de dire quand le modèle n'a pas pu ouvrir quelque chose plutôt que de deviner.
Le prompt complet est en annexe.
Le protocole
Deux modèles ont reçu exactement le même prompt.
Claude Opus 5.5, d'Anthropic, avec deux outils, la recherche web et la lecture de pages. Il a été lancé sans contexte : un dossier vide, aucun réglage de projet, aucun serveur d'outils, aucune mémoire. Il ne connaissait de Krizaka que ce qu'il a lu sur le web pendant l'audit.
Gemini 3.8 Flash, de Google, dans l'éditeur Antigravity, lancé le même soir. Son accès n'était pas le même : il a lu les dépôts avec l'outil en ligne de commande de GitHub, sur ma machine, et a interrogé l'API publique de SonarCloud. En tout, 143 étapes, dont 69 commandes (59 appels à GitHub, 10 à SonarCloud).
Claude Opus 5.5
- La recherche web et la lecture de pages, rien d'autre
- Des pages d'abord résumées par Claude Haiku 5.5
- Un dossier vide : aucun réglage, aucune mémoire
- 39 tours, 5 minutes
Gemini 3.8 Flash
- L'outil en ligne de commande de GitHub, sur ma machine, avec ma connexion
- L'API publique de SonarCloud
- 143 étapes, dont 69 commandes
Je dois dire aussi ce qui n'a pas tourné.
- ChatGPT. Nous n'avons pas de clé OpenAI. Pas d'audit ChatGPT non plus.
Le titre ne nomme donc que Claude et Gemini. L'expérience de mon ami avec trois modèles existe, mais je ne la reproduis pas, et je n'en cite aucun mot.
Un détail technique compte pour lire la réponse : l'outil qui lit les pages les fait d'abord résumer par un plus petit modèle, Claude Haiku 5.5. Le modèle principal a donc lu beaucoup de résumés. Il le dit lui-même au début de sa réponse, et il précise qu'il a vérifié dans le code source les points qui comptaient le plus.
Ce que Claude a trouvé solide
Je cite en anglais, mot pour mot. La réponse complète est en annexe.
Sur la gouvernance écrite :
« The written governance contract is unusually detailed, and CI enforces parts of it (ArchUnit, ratchets, docs-freshness check). »
Sur la CI :
« The CI hygiene is good: SHA pinning, least-privilege permissions, red-main alerting, nightly builds and Scorecard. »
Sur la documentation et les publications :
« Decisions are well documented, and the authors write candid self-audits. »
« There are real Maven Central and npm releases, with signing and release-please. »
Son jugement d'ensemble, en une phrase :
« The design and documentation are above average for a small organisation, and the CI is good. »
« Au-dessus de la moyenne pour une petite organisation. » C'est tout. Le modèle n'a pas écrit qu'il voyait rarement ça, ni que ça dépassait des équipes d'entreprise. Je ne l'écris donc pas non plus.
Les garde-fous dont il parle existent, et on peut les lire. Les règles ast-grep comme no-ambient-clock (pas d'horloge implicite dans le code du domaine) et no-enum-string-compare (pas de statut comparé à une chaîne). Les règles ArchUnit de CodeRules, dont assertNoStandardStreams (pas de System.out en production), et leurs équivalents dans GovernanceRules.
Ce que Claude a trouvé faible
C'est la partie la plus longue de sa réponse, et c'est la plus utile.
Sur la relecture :
« The bus factor is one human. Review is effectively AI approving AI-authored code. »
Sur le code lui-même :
« The implementation is ordinary-to-uneven and further behind than the documents suggest. »
Sur un fichier précis du service des tâches d'Orazaka :
«
JobListener.javais the weakest file I read. It is 920 lines (874 lines of code) with 16 constructor parameters. »
Et un vrai défaut, dans ce même fichier : une durée limite de cinq secondes pour tout prompt qui commence par TIMEOUT, sans garde.
« Any user can shorten their own job's timeout this way. »
Il relève aussi que nos règles écrites et notre code ne disent pas toujours la même chose (du SQL écrit à la main malgré la règle, une version -SNAPSHOT malgré l'interdiction), que deux de nos propres audits se contredisent (l'un dit de ne pas lancer, l'autre ne compte aucun bloquant), que les builds du workspace suivent la branche main des dépôts voisins et ne sont donc pas reproductibles, et que @krizaka/ui change de version trop vite pour qu'un numéro majeur veuille encore dire quelque chose.
Sa conclusion :
« The biggest structural risk is not technical: one person and a set of agents produce more code, ADRs and issues than anyone can independently review. »
Ce que Gemini a trouvé
Gemini a écrit un audit plus long et plus chiffré, parce qu'il a lu plus de code et les mesures de SonarCloud. Je cite en anglais, mot pour mot.
Sur ce qui tient :
« The platform architecture cleanly decouples domain logic from framework baggage. […] Architectural boundaries are automatically verified on every build via ArchUnit. »
« quality-controls.md explicitly catalogs gaps, copy-paste drift, and technical debt instead of hiding them. »
« CI workflows consistently employ full-SHA pinning, OpenSSF Scorecard scans […], reproducible Maven build timestamps […], and binary compatibility checks via japicmp-maven-plugin. »
Sur ce qui ne tient pas, sa liste est plus longue que celle des forces :
« Infrastructure as Code Repository is Completely Empty. »
« Copy-Pasted Scripts and Configuration Drift Across 12 Repositories. »
« The "UTC Day" Date Slice Bug Across 8 Repositories. »
« While web frontends use strict rules, mobile applications […] lint with bare typescript-eslint, bypassing @krizaka/config and ast-grep quality ratchets entirely. »
« SonarCloud quality gates display "Passed / OK" on repositories with dozens or hundreds of open issues […], creating a false visual impression of a clean codebase. »
Et son jugement d'ensemble :
« The core platform libraries […] receive top-tier engineering attention, while downstream products and tooling […] contain critical gaps. »
Là où ils s'accordent, là où ils divergent
Les deux modèles disent la même chose sur l'essentiel : la documentation et la CI sont solides, et l'écart entre ce qui est écrit et ce qui tourne est le vrai risque. Claude le dit de la relecture (« one human »), Gemini le dit de la largeur (« visibly stretched across 43 repositories »).
Ils divergent sur le ton et sur la matière. Claude reste sobre (« above average for a small organisation ») et a trouvé un défaut que Gemini n'a pas vu, le préfixe TIMEOUT. Gemini est plus élogieux sur le cœur Java, mais il apporte plus de faits vérifiables : les chiffres de SonarCloud, les copies de scripts, le bug du jour UTC dans plusieurs dépôts. Une partie de cet écart vient de l'accès : Gemini a lu plus de fichiers et des mesures que Claude n'avait pas.
Ce que j'ai vérifié moi-même
Un audit par une IA est une liste de pistes, pas un verdict. J'ai repris les affirmations qui se vérifient avec un chiffre.
Taille de l'organisation
- Ce que dit le modèle
- 43 dépôts publics
- Ce que j'ai mesuré
- 43, par l'API GitHub
JobListener.java
- Ce que dit le modèle
- 920 lignes
- Ce que j'ai mesuré
- 920 lignes sur main
Le préfixe TIMEOUT
- Ce que dit le modèle
- 5 secondes, sans garde
- Ce que j'ai mesuré
- Vrai Lignes 696 à 702, aucune propriété ne le protège.
Versions de @krizaka/ui
- Ce que dit le modèle
- environ 83
- Ce que j'ai mesuré
- 83 sur npm
Tickets ouverts de krizaka-ui
- Ce que dit le modèle
- 128
- Ce que j'ai mesuré
- 128
krizaka-ui sur SonarCloud (Gemini)
- Ce que dit le modèle
- 172 bugs, 73 vulnérabilités
- Ce que j'ai mesuré
- 172 et 73 Et le quality gate dit « OK » : Gemini a raison, il ne juge que le nouveau code.
Le mot de passe d'une app de démo (Gemini)
- Ce que dit le modèle
- « Blocker », en production
- Ce que j'ai mesuré
- À nuancer Une adresse de développement local, déjà refusée en production. Retirée quand même.
Le SQL concaténé (Gemini)
- Ce que dit le modèle
- « Dynamic SQL »
- Ce que j'ai mesuré
- À nuancer Des morceaux constants, les valeurs passent en paramètres : pas d'injection, mais la forme trompe l'analyse.
L'infra vide (Gemini)
- Ce que dit le modèle
- Aucun fichier .tf
- Ce que j'ai mesuré
- Vrai à l'heure de sa lecture La première stack est arrivée le soir même, avec un plan en lecture seule (krizaka-infra#8).
Le jour UTC (Gemini)
- Ce que dit le modèle
- 8 dépôts
- Ce que j'ai mesuré
- Vrai Corrigé dans Yomizaka (#311), une règle refuse désormais le motif ; les autres dépôts suivent.
Les chiffres des deux modèles étaient exacts. Deux affirmations de Gemini sont plus fortes que la réalité, et je l'écris dans le tableau. Le défaut du préfixe TIMEOUT est réel. Un ticket existait déjà pour découper ce fichier, mais il ne parlait que du hook de simulation, qui lui est bien protégé par un réglage. J'y ai ajouté ce que le modèle a trouvé : une ligne qui avait échappé à notre propre ticket. Je l'ai corrigé le soir même : un prompt ne choisit plus son propre délai, seule la simulation de test le peut, derrière son réglage (orazaka-job-service#72).
Je n'ai pas vérifié le reste. L'affirmation sur les tâches qui continuent après leur délai, par exemple, le modèle lui-même dit ne pas l'avoir vérifiée jusqu'au bout. Elle reste une piste.
- L'affirmation (Claude)Un prompt qui commence par TIMEOUT obtient un délai de cinq secondes, sans garde.
- Mesuré (lignes 696 à 702)Vrai sur main : aucune propriété ne le protège.
- Notre propre issue (orazaka-job-service#50)Le découpage du fichier était prévu, mais ne couvrait que le hook de simulation. La ligne y a été ajoutée.
- La correction (orazaka-job-service#72)Un prompt ne choisit plus son propre délai ; seule la simulation de test le peut, derrière son réglage.
- Ce que ça apprend (aucune règle ne l'a vue)Nos garde-fous attrapent ce pour quoi on a écrit une règle. Cette ligne n'en enfreignait aucune.
Les limites de l'exercice
Je veux être clair sur ce que cet audit ne prouve pas.
- Un modèle peut flatter. Le prompt essaie de l'en empêcher, mais il n'y a aucune garantie. Une phrase comme « above average » vaut ce que vaut un avis.
- Les deux n'avaient pas le même accès. Claude ne lisait que le web public. Gemini a lu les dépôts avec l'outil de GitHub sur ma machine, donc avec ma connexion. Ce n'est pas une comparaison à armes égales, et il faut lire leurs réponses avec ça en tête.
- Claude ne lit que ce qui est public. Il n'a vu ni nos réglages de protection des branches (la page demande une connexion), ni ce qui tourne en production, ni ce qui n'est pas poussé.
- Il a beaucoup lu de résumés. Les pages passent par un plus petit modèle avant de lui arriver. Ce qu'il dit d'un fichier qu'il n'a pas ouvert lui-même est moins sûr.
- C'est une seule exécution. Relancé demain, le même prompt donnera une autre réponse. Je n'ai pas mesuré cette variation.
Ce n'est pas une preuve. C'est une lecture extérieure, publiée avec ses sources, que n'importe qui peut refaire.
Ce que j'en retiens
Je retiens surtout la liste des faiblesses. Les compliments font plaisir, mais ils ne disent pas quoi corriger.
D'abord, la façon de travailler. Une bonne partie du code est écrite par des agents. Ce qui tient la qualité, ce ne sont pas les agents : ce sont les vérifications qui disent non tôt, les règles, les types, les tests d'architecture. Une phrase que j'avais notée il y a un moment résume l'idée :
« Pour construire efficacement avec l'IA, il faut structurer ses automatisations pour détecter les erreurs le plus tôt et le plus vite possible. »
Ensuite, la limite de cette idée. Nos garde-fous attrapent ce pour quoi on a écrit une règle, pas le reste. La ligne TIMEOUT n'enfreignait aucune règle. Et une règle ne regarde que là où on lui dit de regarder : dans Yomizaka, une date calculée en UTC plutôt que le jour du Québec est passée sous no-ambient-clock, parce que la règle ne lisait pas ce dossier. Il a fallu écrire no-utc-day-slice après le bug (yomizaka#311). Notre propre inventaire, docs/quality-controls.md (.github#232), le dit en une phrase : « The rules do not look where the bug was. »
Enfin, la relecture. Le modèle a raison : il n'y a qu'une personne pour relire, et une partie des approbations passe par un agent à qui j'ai délégué des décisions. Les vérifications automatiques sont réelles. Une deuxième paire d'yeux humaine manque encore. C'est le point que je garde en tête, et il ne se règle pas avec un outil de plus.
Annexe : le prompt et la sortie brute
L'audit a tourné le 24 octobre 2026, de 23 h 53 à 23 h 58 UTC, avec Claude Code 2.1.308 en mode non interactif, le modèle claude-opus-5-5, et les seuls outils WebSearch et WebFetch. Les fichiers publiés ne sont pas retouchés :
- le prompt ;
- la réponse complète de Claude, sans coupure ;
- les détails de l'exécution : la commande, les modèles, les tokens, le coût, et ce qui n'a pas pu tourner ;
- la réponse complète de Gemini, avec une seule retouche, le mot de passe d'une adresse locale masqué ;
- les métadonnées de l'exécution de Gemini, lues dans Antigravity : le modèle, le nombre d'étapes et chaque commande lancée.
Le prompt, tel qu'il a été envoyé :
You are reviewing a software organisation you have never seen before. Use your web tools to read it yourself; do not rely on prior knowledge of it.
Target: the public GitHub organisation https://github.com/krizaka
Please:
1. Look at the organisation page and the list of its public repositories. Open the repositories you judge most important (for example their README, a few source files, the CI workflows, any architecture or decision documents, and recent pull requests or commits).
2. Give an unvarnished technical audit of what you actually read: the architecture, code quality, testing, documentation, and the engineering setup (CI, automated checks, release process, governance).
3. List the strengths and the weaknesses. Weaknesses are as important as strengths: name risks, gaps, inconsistencies, things that look unfinished, and anything a careful reviewer would worry about.
4. For every point, say which repository, file or page it is based on (a URL), so a reader can check it. If you could not open something, say so instead of guessing.
5. End with a short overall assessment and the three changes you would make first.
Be specific and neutral. Do not flatter and do not soften criticism. If something is ordinary, say it is ordinary.Les tokens, tels que l'outil les a comptés :
- Claude Opus 5.5 : 30 tokens en entrée, 47 862 écrits en cache et 416 449 lus, 14 027 en sortie, soit 0,61 $.
- Claude Haiku 5.5, pour les résumés des pages : 481 596 tokens en entrée et 79 082 en sortie, soit 0,09 $.
