Les assistants de codage basés sur l’IA n’augmentent pas la vitesse de développement… mais augmentent significativement le taux de bogues !
Alors que de nombreux développeurs affirment que les assistants de codage les rendent plus productifs, une étude d’Uplevel, basée sur la mesure précise des gains supposés, se montre bien plus réservée. A l’en croire, il n’y aurait aucun progrès significatif. Pis : pour ce spécialiste des analyses pour les responsables d’équipes d’ingénierie, l’utilisation de GitHub Copilot introduirait 41 % de bogues supplémentaires !
Autant dire que l’étude dérange. La communauté des développeurs débat, avec des opinions divergentes sur les véritables avantages en matière de productivité des assistants de codage basés sur l’IA, soulignant la nécessité d’une évaluation minutieuse de leur impact dans le monde réel.
Développement et AI, sans incidence sur le temps de cycle
« En comparant le temps de cycle, le débit et la complexité des PR (Pull Request) avec tests, GitHub Copilot n’a ni aidé ni nui aux développeurs de l’échantillon. Et n’a pas, non plus augmenté, la vitesse de développement, donc de codage. Bien que certaines de ces mesures soient statistiquement significatives, le changement réel n’a pas eu d’incidence sur les résultats techniques, par exemple le temps de cycle a diminué de 1,7 minute », indique le rapport d’Uplevel.
L’indicateur « Sustained Always On » d’Uplevel (temps de travail prolongé en dehors des heures normales et indicateur avancé d’épuisement professionnel) a diminué dans les deux groupes. Mais il a diminué de 17 % pour ceux qui avaient accès à GitHub Copilot… et de près de 28 % pour ceux qui n’y avaient pas accès !
« Code churn »
A lire Uplevel, si les mesures de productivité sont réelles, les développeurs passent désormais plus de temps à examiner le code généré par l’IA, ce qui pourrait contrebalancer tout gain de temps. Avant Uplevel, GitClear avait rapporté au début de l’année que l’utilisation des assistants d’IA pour la programmation ne contribue pas toujours à la qualité du code produit. Au lieu de cela, ils introduisent plus de bogues.
Les chercheurs de GitClear ont constaté que les outils d’IA comme GitHub Copilot ne donnent en fait que des suggestions pour ajouter du code. Aucune suggestion n’est faite pour la mise à jour ou la suppression de code. Il en résulte notamment une quantité importante de code redondant. Ils ont également constaté une forte augmentation du « code churn ». Cela signifie que le code est fréquemment modifié, ce qui est généralement un mauvais signe pour la qualité.
Bref, les attentes à l’égard des assistants doivent être tempérées. Ces outils n’écriront pas tout le code, ni même un code correct du premier coup. Il s’agit d’un processus itératif qui, lorsqu’il est bien maîtrisé, permet à un développeur de multiplier par deux ou trois sa vitesse de production de code.