Gestion de produit IA
Un point hebdomadaire pour les responsables produit qui construisent avec des agents IA et des grands modèles de langage, centré sur la stratégie produit, l'UX, l'architecture, la mise en œuvre et les preuves qui comptent.
Sélectionné par Matthew Clark
Édition 05
Les recherches les plus solides de la semaine suggèrent que l'état durable doit vivre dans l'application, pas dans un historique de conversation qui s'étend sans fin. Elles montrent aussi pourquoi le succès fonctionnel ne suffit pas : un agent peut produire le bon résultat tout en violant une politique, en s'appuyant sur des preuves obsolètes, ou en passant une évaluation fragile.
Cette architecture conserve les candidats, les expériences et les résultats mesurés dans le harnais, puis reconstruit un contexte neuf pour chaque invocation de conseiller ou de travailleur. Elle a obtenu le meilleur résultat sur chaque tâche testée et a égalé une référence de pointe avec plus de 84 % de jetons en moins.
Lire l'articleSWE-CC transforme la documentation des développeurs en 823 politiques vérifiables par machine et audite à la fois le comportement de l'agent et le résultat final. Les agents ont violé 43,1 % des politiques applicables même lorsque leurs correctifs étaient fonctionnellement corrects, ce qui montre pourquoi « le test est passé » ne suffit pas à définir le travail terminé.
Lire l'articleTRACE utilise des modifications contrôlées et une nouvelle notation pour déterminer si un changement de score reflète le comportement de l'agent ou celui de l'évaluateur. Des relances identiques ont fait basculer 15 à 36 % des résultats, tandis que deux juges de pointe étaient en désaccord sur 57 % des mêmes dossiers.
Lire l'articleDes chercheurs ont comparé 4 782 sessions de développeurs avec les benchmarks courants de type problème-vers-correctif et ont trouvé un éventail bien plus large de questions, de planification, de revue, d'exécution et de refactorisation. La conception d'un benchmark devrait partir d'un utilisateur nommé et d'un schéma d'interaction cible.
Lire l'articleMemTrace relie les preuves d'exécution aux fichiers, symboles, tests et historique des dépendances, puis vérifie si l'information rappelée reste valide après modification du dépôt. C'est un meilleur modèle mental pour la mémoire en entreprise : des preuves versionnées, avec provenance et expiration.
Lire l'articleSur des milliers de révisions de compétences, des règles explicites ont amélioré la conformité aux actions requises et la justesse finale, surtout quand elles nommaient une commande ou un chemin manquant. Charger des compétences complètes a aussi considérablement augmenté la consommation de jetons, renforçant l'intérêt d'une récupération d'instructions étroite et pertinente.
Lire l'articleUn flux de travail multi-agents piloté par l'humain utilisait des agents de codage, de revue et de surveillance, pourtant certains contrôles mesuraient des indicateurs indirects, échouaient silencieusement ou disparaissaient des rapports. L'assurance qualité doit relier le résultat visé, les preuves, les permissions et la décision humaine finale, pas simplement ajouter un agent de revue de plus.
Lire l'articleReviewBench contient 219 pull requests dans 19 langages, avec des étiquettes construites à partir de revues humaines, de corrections ultérieures, d'analyse statique et de plusieurs modèles. Sa principale leçon produit est le lien entre une évaluation hors ligne versionnée et de futures expériences en production.
Lire la méthodologie du benchmarkTransect aligne sur une seule chronologie les événements d'outils, l'usage des jetons, l'activité des sous-agents et les étiquettes comportementales, chaque interprétation étant reliée aux tours d'origine. Les exécutions d'agents s'étalant sur des centaines de pages, l'interface de supervision devra devenir un explorateur de preuves structuré plutôt qu'un simple lecteur de transcription.
Lire l'articleGitHub rapporte que l'activité Git mensuelle a plus que doublé, atteignant 473,3 milliards d'événements, tandis que le volume de commits de septembre a dépassé cinq fois son niveau d'un an plus tôt. Les flottes d'agents transforment la charge de travail elle-même avec des points de contrôle rapides, des écritures soutenues, des conflits de fusion et une explosion des pipelines CI.
Lire l'analyse d'ingénierieSortez l'état durable du chat, définissez le succès au-delà du résultat final, et traitez les évaluations, les compétences, les politiques, les preuves et les traces comme des composantes gouvernées du produit.
