Dans le chapitre 14, je vous ai parlé du dashboard SonarCloud et de portes rouges. Il y avait une question que je n'avais pas posée tout haut : qu'est-ce qu'on a vraiment acheté ?
On est passé au plan payant de SonarCloud. Je l'ai décidé, parce que je voulais que Sonar fasse partie de la porte de fusion, pas seulement d'un dashboard qu'on regarde de temps en temps. Ce chapitre raconte ce que ça a changé, ce qui a mal commencé, et les chiffres que je lis aujourd'hui, le 28 octobre. Je ne dis que ce que j'ai pu vérifier, dans le code, dans les PR fusionnées et sur l'API publique de SonarCloud.
Avant : une analyse qui tournait de son côté
Au début, on utilisait l'analyse automatique de SonarCloud. On l'active d'un clic, Sonar lit le dépôt sans rien demander à notre CI, et il répond sur les pull requests. C'est pratique, et on s'en est contenté longtemps.
Mais elle a deux limites que j'ai découvertes l'une après l'autre. Elle ne peut pas importer la couverture de tests, parce que les tests tournent chez nous, pas chez Sonar. Et elle ne répond pas sur les branches temporaires de la merge queue de GitHub. C'est ce qui m'avait fait écrire, au chapitre précédent, que Sonar « ne répondait que sur les PR ». C'était vrai de l'analyse automatique, pas de Sonar.
- Avant (analyse automatique)Sonar lit le dépôt de son côté et répond sur la pull request. Pas de couverture, rien sur la merge queue.
- Éditeur (lint, ratchet)Les règles sonarjs répondent pendant qu'on écrit.
- Tests (lcov, JaCoCo)Le job de tests dépose son rapport de couverture.
- Analyse en CI (après les tests)Le job sonar du pipeline commun lance l'analyse, importe la couverture et attend le verdict de la porte.
- CI gate (un seul verdict)Une seule vérification exigée résume le pipeline, Sonar compris.
- Merge queue (Sonar y répond aussi)L'analyse de la CI répond sur la branche temporaire de la merge queue, puis GitHub fusionne.
Ce que le plan payant a changé
Concrètement, trois choses, et elles sont dans le pipeline commun de l'organisation, pas dans chaque dépôt.
La première est que l'analyse est lancée par notre CI, après les tests, avec sonar: true dans le workflow partagé. Elle attend la réponse de la porte de qualité avant de rendre son verdict. L'analyse automatique du projet n'est coupée qu'une fois ce job vert, pour qu'un dépôt ne reste jamais sans analyse.
La deuxième est la couverture. Le job de tests dépose son rapport, en lcov pour JavaScript et TypeScript, en JaCoCo pour Java, et le job Sonar l'importe. C'est la raison pour laquelle Sonar est « entré » dans le workflow : la couverture ne peut venir que d'une analyse lancée par la CI.
La troisième est la merge queue. Une analyse de la CI répond sur n'importe quelle branche, y compris gh-readonly-queue/main/.... Je l'ai vu sur krizaka-ts : l'API publique de SonarCloud liste les branches de la merge queue de ce dépôt, chacune avec le verdict de sa porte. Les autres dépôts y passent un par un, selon une recette écrite dans nos standards. Tant qu'un dépôt n'a pas fait le pas, il garde l'obligation d'être à jour avant la fusion.
Et une petite chose en plus, parce qu'on y a pensé tard : une PR qui ne change que de la documentation a droit à une analyse légère, sans build, plutôt qu'à une vérification qui n'arrive jamais. C'est .github#336.
Pourquoi les portes sont d'abord devenues rouges
Je m'attendais à ce que tout passe au vert. Ça a fait l'inverse.
Au premier passage de l'analyse en CI, Sonar n'avait aucune version de référence pour le projet. Il affichait « not provided », et il comptait donc tout l'historique comme du code nouveau. Chaque vieux défaut devenait une faute du dernier changement, et les portes sont devenues rouges d'un coup, dans des dépôts qui n'avaient rien fait de nouveau.
Notre période de nouveau code est « version précédente » : Sonar juge ce qui a changé depuis la dernière version connue. Sans version, il n'y a pas de précédente. La correction est petite. .github#354 donne à chaque analyse de la CI une version, ci- suivi du numéro d'exécution, pour que la période soit le changement depuis l'analyse d'avant. Les défauts anciens restent visibles. Ils ne rendent plus la porte rouge à chaque PR. Dans l'historique des analyses de krizaka-ui, on voit les analyses « not provided », puis l'événement de version, quelques heures plus tard.
Pas de version
- Sonar affiche « not provided »
- Tout l'historique compte comme du nouveau code
- Chaque vieux défaut est imputé au dernier changement
- Des portes rouges partout d'un coup
Une version par analyse
- Chaque analyse de la CI a une version : ci- et le numéro d'exécution
- Le nouveau code, c'est ce qui a changé depuis l'analyse d'avant
- Les vieux défauts restent visibles
- La porte juge le changement
Ce que j'en retiens : un outil acheté ne règle pas sa propre configuration. On a payé pour une porte, et la première chose qu'elle a faite, c'est dire non à tout.
Ce que disent les chiffres
Voici ce que j'ai lu ce matin sur l'API publique, projet par projet, avec la clé krizaka_<dépôt>. Je donne les nombres tels quels, ils bougent d'une analyse à l'autre.
Dans krizaka-ui, la PR krizaka-ui#781 corrigeait 37 bugs, dont ces tris sans fonction de comparaison dont je parlais au chapitre précédent. L'API affiche 0 bug aujourd'hui, et 0 vulnérabilité.
Sur les 9 dépôts que j'ai relus, la porte est verte dans 5 : krizaka-com, krizaka-ts, akinaza, yomizaka et orazaka-ai-engine. Elle est rouge dans 4 : krizaka-ui, krizaka-blog, le dépôt .github et krizaka-build. Dans les quatre cas, la porte échoue sur le nouveau code, d'abord sur des problèmes critiques, pas sur l'ancien. Je ne les ai pas contournés, et je ne les cache pas ici.
Côté couverture, ce que Sonar reçoit maintenant : 78,9 % pour le blog que vous lisez, 68,5 % pour krizaka-com, 54,1 % pour krizaka-build, 39,5 % pour akinaza et 39,3 % pour yomizaka. Pour krizaka-ts, l'API affiche 0,0 % : le rapport n'y est pas encore envoyé, et nos standards le notent comme un trou connu. Pour krizaka-ui, il n'y a pas de chiffre du tout.
Ces nombres ne disent pas que le code est bon. Ils disent à quel endroit on regarde, ce qu'on ne regarde pas encore, et si ça progresse d'une semaine à l'autre. C'est pour ça que je les relis le jour où j'écris.
Qui fait quoi, Sonar ou nos gardes
Une question que je me suis posée en payant : est-ce qu'on fait deux fois le même travail ?
Ma réponse est : on essaie de ne pas le faire. Une erreur doit être arrêtée le plus tôt possible, et Sonar arrive tard, après la PR. Alors chaque fois qu'une règle de Sonar peut tourner dans l'éditeur, on la fait tourner là. @krizaka/config active le jeu eslint-plugin-sonarjs, et le seuil de complexité cognitive est le même qu'à la porte, 15. Pour Java, PMD et SpotBugs jouent ce rôle dans mvn verify, et ArchUnit tient l'architecture. Les cliquets figent la dette de chaque règle et refusent qu'elle augmente.
Ce que Sonar garde pour lui, parce que nos gardes ne le voient pas : les règles qui suivent une donnée de bout en bout, celles qui lisent nos workflows GitHub (injection, permissions), quelques règles Java sans jumeau local, la couverture, l'historique et la vue d'ensemble de tous les dépôts. Notre tableau de gardes marque ces lignes « Sonar seulement », sans les déguiser.
Et il y a ce que Sonar ne remplace pas : les secrets, qui doivent être arrêtés avant d'entrer dans l'historique, la règle « un correctif apporte sa garde », et les tests qui disent si le produit fait ce qu'on promet.
Ce qui est prévu, pas fait
Il y a une fonction de SonarCloud que je voudrais essayer : la vue Architecture. Elle permet de déclarer l'architecture voulue, par exemple « Spring AI seulement dans son adaptateur » ou « pas d'accès à la base dans les services », et de voir les écarts comme des problèmes, à côté du reste. J'en ai posé l'idée dans une issue, après avoir regardé la capture d'une vue « architecture actuelle ».
Depuis, j'ai tranché l'ordre. D'abord un schéma C4 généré depuis le code : la vue d'ensemble, du système jusqu'aux fichiers. Il tournera aussi en local, pour que je voie le code de ma machine et pas seulement ce qui est déployé. Ensuite seulement la vue Architecture de Sonar, avec l'architecture voulue et ses écarts. Rien n'est encore activé. Le principe reste simple : ne pas mettre la même règle à deux endroits. Sonar donnerait la vue d'ensemble et l'historique, le build garderait l'arrêt rapide.
Ce que j'en retiens
On a payé pour que Sonar voie notre couverture, juge ce qui change et se prononce sur la merge queue. C'est fait, et c'est vérifiable. On n'a pas payé pour un tampon vert, et les portes rouges d'aujourd'hui me le rappellent.
Le travail est resté le même : remonter les contrôles le plus tôt possible, et garder Sonar pour ce que lui seul voit.
