19 novembre 2026

GenAI Days Nantes 2026 : en production, le modèle n'est plus le sujet

11 minutes de lecture

GenAI Days Nantes 2026 : en production, le modèle n'est plus le sujet
🇺🇸 This post is also available in english

Chez Premier Octet, l'IA générative fait partie de notre quotidien, dans nos outils de développement comme dans les produits que nous construisons pour nos clients. Le 17 novembre, nous étions aux GenAI Days à Nantes, sur le parcours « Ceux qui implémentent ».

Le fil rouge de la journée tient en une phrase : le modèle n'est plus le sujet, car les modèles changent trop rapidement. Ce qui fait la différence en production, c'est tout ce qu'on construit autour : les process de revue, le harnais, la mesure et la sécurité.

Une conférence sur la scène des GenAI Days à Nantes

Retour sur 6 interventions qui nous ont marqués.

1. Livrer plus vite, oui, mais quoi et à quel prix ?

Quand l'IA accélère le développement, le goulot d'étranglement passe de la production au choix de ce qu'on construit et à la vérification de ce qu'on livre.

Jean-Yves Simon – Je shippe plus vite que jamais, et je ne sais plus pourquoi

Chief Product Officer chez Mirakl après un passage chez AB Tasty, Jean-Yves Simon a ouvert la journée avec un constat qui parlera à toutes les équipes produit. Grâce à l'IA, toute la chaîne s'est accélérée : user stories, prototypage, et un code désormais généré à environ 80 % par l'IA. Résultat : environ 30 % de features en plus chaque année. Pourtant, les clients ne « sentent » pas cette accélération. Ce qu'ils demandent toujours, c'est qu'on corrige les irritants du quotidien.

La vitesse crée aussi de nouveaux problèmes. Les demandes internes explosent (prototypes venus du support, des commerciaux, du top management), le nombre de projets menés en parallèle grimpe, et dire oui à tout menace la cohérence du produit : c'est le risque d'« effet Frankenstein ». Chez Mirakl, la réponse passe par des thèmes annuels définis avec le CTO et par une allocation explicite des investissements :

  • 50 % de run, pour faire tourner et améliorer l'existant ;
  • 30 % d'adjacent, pour étendre le produit vers des usages voisins ;
  • 20 % de rupture, pour explorer de nouvelles pistes.

Les rôles, eux, deviennent « fongibles » : les PM prototypent, les devs écrivent des specs, les designers ouvrent des PR. Cela crée des frictions, mais surtout un nouveau goulot d'étranglement : la revue. Ce n'est plus la production qui ralentit l'équipe, c'est sa capacité à relire et à valider ce qui est produit.

Florian Bruniaux – Je n'ai pas confiance dans mes pull-requests générées

Florian Bruniaux, Chief AI Officer indépendant et membre de l'équipe fondatrice de RTK, a prolongé ce constat côté code. Avec les agents, les PR s'accumulent, la CI tourne en permanence et chaque correction relance un cycle. Il a aussi pointé un coût souvent oublié : si les tokens sont budgétés, la facture des runners de CI peut vite s'envoler. Dans l'un de ses exemples, elle est passée de 500 € à 3 000 € en deux mois.

Sa réponse tient en un mot : le harnais. Concrètement, cela passe par :

  • un gate de qualification avant la CI, pour ne lancer que les checks pertinents ;
  • un trio de bots de review dont les retours sont croisés ;
  • une analyse régulière de 50 à 100 PR pour repérer les patterns récurrents et améliorer le harnais en continu.

Il a particulièrement insisté sur un outil qu'il juge largement sous-coté : les hooks de Claude Code. Ce sont des scripts qui se déclenchent automatiquement à des moments précis de la session, par exemple avant ou après chaque action de l'agent. Lancer le linter après chaque modification, bloquer une commande dangereuse, exiger que les tests passent avant de rendre la main : là où une consigne dans un prompt peut être ignorée, un hook s'exécute à chaque fois. Ils apportent ainsi une part de déterminisme dans un système qui ne l'est pas par nature. Pour lui, c'est aussi ce qui redonne du sens au rôle du développeur : il n'écrit plus chaque ligne de code, mais conçoit le cadre dans lequel l'agent travaille, avec ses règles, ses vérifications et ses garde-fous qui garantissent la qualité de ce qui est produit.

Enfin, plutôt que de masquer l'intervention de l'IA, il plaide pour la documenter au maximum : chaque commit consigne le modèle, ses paramètres, les skills et les hooks utilisés. En cas de problème, on peut ainsi rejouer exactement ce qui s'est passé pour comprendre l'erreur et valider la correction.

À retenir : côté produit comme côté code, le constat est le même. Écrire du code ne coûte presque plus rien ; ce qui compte désormais, c'est de savoir quoi construire et de pouvoir faire confiance à ce qu'on livre.

Visuel officiel des GenAI Days Nantes 2026
Visuel officiel 2026, crédit : GEN AI DAYS

2. Éclairer la boîte noire pour assurer la fiabilité

Face à un modèle imprévisible, le premier réflexe est souvent d'empiler les règles, les sous-agents et les couches d'intelligence en espérant que le résultat s'améliore. Les deux retours d'expérience suivants montrent l'inverse : la fiabilité vient de la transparence et de l'encadrement, en rendant chaque étape explicite, observable et rattrapable en cas d'erreur.

Charli Idrac – Mon agent ne répond jamais deux fois pareil

Chief Data & AI Officer chez Brevo, Charli Idrac a partagé un retour d'expérience particulièrement honnête. L'objectif de départ : automatiser le traitement des tickets du support client avec un agent IA. Le niveau d'exigence était élevé, puisque chaque ticket devait être traité aussi bien que par les meilleurs conseillers humains. Résultat de la première version : un taux de succès de 0 %.

Ajouter des règles, des données, des sous-agents ou un LLM-as-a-judge n'a rien changé : chaque correction créait un nouveau problème. L'équipe a donc tout repris à zéro avec un agent ultra-déterministe. Chaque catégorie de ticket est encodée avec son traitement dans un arbre de décision explicite, et les appels API directs sont préférés aux sous-agents ou aux serveurs MCP. Leur raisonnement : chaque brique agentique empilée ajoute environ 2 % de risque d'erreur, et ces risques se cumulent.

Côté outillage, Brevo s'appuie sur du shadow testing, le rejeu des tickets passés et Langfuse.

Langfuse est une plateforme open source d'observabilité pour les applications LLM. Elle enregistre chaque étape d'une exécution (prompts, réponses, appels d'outils, latence, coût), ce qui permet de comprendre précisément pourquoi l'agent a pris une décision et de repérer où il se trompe.

Cette approche a aussi changé les priorités de l'équipe : ce qui compte n'est plus de suivre la sortie du dernier modèle, mais de mesurer l'impact concret de l'agent semaine après semaine.

Ce socle fiable a ouvert une nouvelle possibilité : impliquer directement le service client dans la construction de ses propres outils. Avec Cockpit, les conseillers du support décrivent leurs besoins à un agent codeur, qui livre la fonctionnalité correspondante en moins de deux heures. Les retours du terrain sont ainsi exploités en direct pour coconstruire des fonctionnalités qui répondent réellement aux besoins de l'équipe. En deux semaines, 200 fonctionnalités ont vu le jour, et la productivité du support a augmenté de 40 %.

Roch Molléro – Mon modèle a le droit de se tromper. Mon robot, non

Si une erreur d'agent logiciel peut encore se rattraper, la question de la fiabilité devient bien plus critique lorsque l'IA agit dans le monde physique. C'est le terrain de Roch Molléro, CTO de Gobano Robotics, qui travaille sur la « Physical AI » : des robots capables d'apprendre à manipuler des objets dans le monde réel, notamment des matières souples comme le textile.

Après un rappel des grandes étapes du domaine (apprentissage par renforcement, diffusion policies, modèles vision-langage-action), il a présenté leur approche. L'apprentissage par renforcement consiste à laisser le robot essayer, échouer et ajuster son comportement en fonction du résultat, sur des milliers de tentatives. Le faire directement sur un robot réel serait beaucoup trop lent, et les simulateurs physiques classiques peinent à reproduire le comportement d'un tissu qui se plie ou se froisse.

Gobano a donc choisi de collecter des données réelles plutôt que de tout simuler, puis d'entraîner à partir de ces données un « world model » : un modèle qui a appris à prédire comment le monde réagit aux gestes du robot. Ce simulateur appris sert ensuite de terrain d'entraînement, où le robot peut répéter ses tentatives à grande échelle avant d'agir pour de vrai.

En industrie, la fiabilité passe avant la vitesse. Même avec 99 % de réussite, un robot qui enchaîne des centaines de gestes finit par échouer très régulièrement. Plutôt que de chercher un modèle parfait, Gobano part donc du principe qu'il se trompera et l'entoure d'un véritable harnais de récupération, organisé par niveaux :

  1. Un timeout interrompt un geste qui s'éternise.
  2. Un détecteur d'anomalies repère les situations inhabituelles.
  3. Un LLM superviseur tente de débugger les cas limites.
  4. Un humain intervient en dernier recours, lorsque aucun de ces mécanismes n'a suffi.

Résultat : des robots qui tournent en autonomie la nuit, par blocs de deux heures, avec très peu d'échecs.

À retenir : chez Brevo comme chez Gobano, la fiabilité ne vient pas d'un meilleur modèle mais de tout ce qui l'entoure. Arbres de décision, observabilité, mécanismes de récupération : c'est ce cadre qui prend le relais quand le modèle se trompe.

3. Garder le contrôle : mesurer et sécuriser ses agents

Déployer un agent est devenu facile. Savoir s'il fonctionne bien, et s'assurer qu'il ne fait que ce qu'on attend de lui, l'est beaucoup moins.

Tristan Fransen – Je n'arrive pas à savoir si mes agents sont performants ou non

Senior Machine Learning Engineer chez Pennylane, Tristan Fransen travaille sur des agents qui traitent environ 40 000 requêtes par jour : lecture de factures, TVA, rapprochement entre factures et transactions. Son constat de départ : très peu d'équipes suivent un indicateur de performance régulier sur leurs agents, alors que c'est la seule façon de savoir s'ils s'améliorent ou se dégradent avec le temps.

Le feedback utilisateur explicite ne suffit pas : on compte environ un retour pour 400 messages, majoritairement négatifs. Pennylane s'appuie donc sur des signaux faibles, beaucoup plus nombreux :

  • un utilisateur qui reformule trois fois sa demande est frustré ;
  • un clic sur le bouton « copier » montre qu'une réponse est utile.

Toutes les traces, qu'elles viennent du local, de la sandbox ou de la production, sont stockées dans une même table. Ce choix simple a un effet important : les mêmes outils d'analyse s'appliquent partout, et un comportement repéré en production peut être comparé directement à ce qui se passe en développement. Ces traces sont ensuite analysées par des micro-évaluateurs, de petits modèles qui ne vérifient chacun qu'un seul critère : le montant de TVA extrait est-il cohérent, la bonne transaction a-t-elle été rapprochée, la réponse est-elle dans le bon ton ? Plutôt qu'un seul grand juge chargé de tout noter, cette approche donne des évaluations plus fiables, moins coûteuses, et permet de savoir précisément quel aspect de l'agent se dégrade.

Reste un problème : un modèle qui évalue a lui aussi ses biais. Pour les limiter, plusieurs modèles différents évaluent la même trace, à la manière d'un « jury de LLM ». Lorsqu'ils sont d'accord, le verdict est solide ; lorsqu'ils divergent, la trace mérite un regard humain. Ces retours humains servent enfin à recalibrer régulièrement le jury, pour que ses notes restent alignées avec ce que l'équipe considère réellement comme une bonne réponse.

Antoine Brossault – Mes agents IA sont la nouvelle cible des attaques

Solutions Engineer chez Cloudflare, Antoine Brossault a expliqué comment l'entreprise a équipé l'ensemble de ses équipes en agents IA en moins d'un an, des développeurs jusqu'aux fonctions commerciales. Un déploiement de cette ampleur pose d'abord une question de gouvernance : qui utilise quel modèle, avec quelles données, et pour quel coût ? Plutôt que de distribuer des clés API à chaque utilisateur, au risque de les voir se multiplier sans contrôle, Cloudflare fait passer tout le trafic par une AI Gateway unique. Ce point d'entrée centralise les clés, les logs et les coûts, ventilés par utilisateur, par équipe et par modèle. La même logique s'applique aux outils des agents : un MCP Portal distribue les serveurs MCP de façon centralisée, avec une authentification Zero Trust et le principe du moindre privilège, chaque agent n'accédant qu'aux outils dont il a besoin.

Généraliser les agents, c'est aussi élargir la surface d'attaque. Antoine Brossault l'a illustré avec l'exemple de « Bob le commercial » : sans être technique, Bob dispose désormais d'un agent capable d'agir à sa place, et peut publier par erreur des données clients sans même s'en rendre compte. Autre menace, plus insidieuse : la prompt injection. Un agent qui navigue sur le Web peut tomber sur une page contenant des instructions cachées, et les exécuter comme si elles venaient de son utilisateur.

Face à ces risques, Cloudflare applique plusieurs principes :

  • Des agents dans le cloud plutôt que sur les postes de travail, ce qui évite qu'un agent compromis ait accès aux fichiers et aux identifiants d'un collaborateur.
  • Des sandboxes isolées pour exécuter le code généré : même si un agent est manipulé, il ne peut pas exfiltrer de données vers un serveur extérieur.
  • Des Gatekeepers qui accordent à l'agent un accès limité à la seule ressource nécessaire pour une tâche donnée, plutôt qu'un accès large et permanent.

À retenir : Pennylane et Cloudflare abordent le sujet sous deux angles différents, mais avec la même conviction. Un agent en production ne doit jamais être une boîte noire : savoir ce qu'il fait, à quel point il le fait bien et à quoi il a accès est la condition pour pouvoir le déployer à grande échelle sereinement.

Conclusion

D'un talk à l'autre, le même message est revenu : la performance d'un système d'IA en production dépend moins du modèle que de ce qu'on construit autour. Process de revue, harnais, évaluation, sécurité : ce sont ces fondations qui restent quand les modèles changent.

Et vous, où en êtes-vous dans vos projets IA ? Que vous souhaitiez explorer un premier cas d'usage ou faire évoluer un outil existant, contactez-nous pour échanger.

À découvrir également