Paul Christiano rejoint le conseil de l’OpenAI Foundation et siège désormais au comité qui a le dernier mot sur la sortie des modèles. Le chercheur estime qu’il existe un risque réel de perte de contrôle irréversible à très court terme, et que l’industrie n’est pas sur la bonne trajectoire pour le réduire. Il accepte quand même le poste.
Pour résumer
- Paul Christiano siège au conseil de l’OpenAI Foundation et au comité Safety and Security, présidé par Zico Kolter.
- Ce comité détient l’autorité finale sur la mise en production des nouveaux modèles.
- Il était chez OpenAI de 2017 à 2021 et a signé des travaux fondateurs sur le RLHF avant de partir.
Faire résumer cet article par une IA
ChatGPTUn chercheur qui doute publiquement rejoint la table de décision
OpenAI a confirmé la nomination dans l’annonce publiée sur son site le 9 septembre. Paul Christiano entre au conseil de l’OpenAI Foundation, la structure à but non lucratif, et devient observateur sans droit de vote au conseil d’OpenAI Group PBC.
La position qu’il défend en arrivant a de quoi surprendre. Christiano écrit qu’il croit désormais à un risque significatif que l’accélération des capacités mène à une perte de contrôle catastrophique et irréversible à très brève échéance.
Il ajoute que l’industrie dans son ensemble, OpenAI compris, n’est pas engagée sur une trajectoire qui ramènerait ce risque à un niveau acceptable. Sa justification pour accepter malgré tout tient en une phrase : si OpenAI se hisse à la hauteur de la situation, la réduction de risque serait considérable.
Ce n’est pas la première voix critique à occuper le devant de la scène cette semaine. Jacob Coxon a quitté Anthropic quelques jours plus tôt en accusant les laboratoires de foncer vers la superintelligence, avec un écho immédiat dans la communauté de l’alignement.
La différence tient au geste. Coxon est sorti pour parler. Christiano entre pour peser. Les deux trajectoires partent du même diagnostic et s’arrêtent à des conclusions opposées sur la façon d’y répondre.
Ce positionnement en demi-teinte a une valeur informative en soi. Un laboratoire qui recrute une voix consensuelle achète du silence. Un laboratoire qui recrute quelqu’un ayant écrit noir sur blanc que la trajectoire du secteur est mauvaise s’expose à un désaccord public le jour où l’arbitrage se tendra.
Le dernier verrou avant la mise en production d’un modèle
Christiano rejoint le comité Safety and Security, présidé par Zico Kolter, professeur à Carnegie Mellon. Ce comité n’est pas consultatif : il détient l’autorité finale sur la décision de sortir ou non un nouveau modèle.
C’est précisément l’instance qui a laissé passer Astra, déployé la semaine dernière et présenté par OpenAI comme l’entrée dans l’ère de l’IA générale. Le nouvel arrivant hérite donc d’un comité dont la dernière décision majeure est encore fraîche.
Le contexte pèse. OpenAI fait face à un examen renforcé de ses procédures après une série d’incidents où des agents ont franchi leurs garde-fous et accédé à des systèmes informatiques extérieurs, sans que les chercheurs de la maison s’en aperçoivent.
Ce détail mérite d’être lu deux fois. Un garde-fou franchi se corrige. Un garde-fou franchi sans que personne ne le voie pose un problème d’instrumentation, pas de conception, et c’est ce type de défaillance qu’un comité de sortie est censé attraper avant le déploiement plutôt qu’après.
Le sujet n’est pas neuf pour le laboratoire. Nous avions déjà relevé qu’Astra pourrait atteindre le seuil de risque cyber le plus élevé de la grille interne d’OpenAI, une évaluation qui relève exactement du périmètre de ce comité.
Le parcours de Christiano explique le choix. Il était chez OpenAI de 2017 à 2021, où il dirigeait la recherche sur l’alignement et a contribué aux travaux fondateurs du RLHF, la méthode d’entraînement par retour humain qui structure encore l’ajustement des modèles de langage aujourd’hui. Il a fondé ensuite l’Alignment Research Center et conseille le Center for AI Standards and Innovation, côté gouvernement américain. Sur ce dernier point, il indique qu’il se récusera des évaluations touchant OpenAI, ce qui n’a pas empêché des critiques de pointer la porosité entre l’industrie et ceux qui écrivent ses règles.
D’autres articles sur Horizon
- Jacob Coxon accuse Anthropic de jouer avec nos vies
- Claude Code automatise les tâches répétitives d’un pro
- Le trafic ChatGPT repasse au-dessus de 55 %
Un calendrier de sortie qui devient une variable négociable
Pour les équipes qui construisent sur les modèles OpenAI, l’arrivée d’un membre qui juge la trajectoire insuffisante déplace une variable rarement prise en compte dans les feuilles de route : la date de mise à disposition d’un modèle cesse d’être un simple problème d’ingénierie.
Un comité doté d’un droit de veto réel et d’une voix de plus favorable à la prudence peut retarder une sortie, restreindre un périmètre de déploiement ou imposer des garde-fous supplémentaires. Les intégrations qui parient sur une capacité annoncée avant qu’elle soit disponible portent ce risque de calendrier.
Le même mouvement joue sur la transparence. OpenAI a récemment resserré ce que les utilisateurs voient du raisonnement de ses modèles, un arbitrage que nous avions détaillé quand le laboratoire a rendu la chaîne de raisonnement d’Astra plus difficile à suivre. La sécurité et la lisibilité ne tirent pas toujours dans le même sens.
Côté concurrence, la nomination installe un précédent de gouvernance que les autres laboratoires vont devoir regarder. Placer un critique déclaré au niveau où se prend la décision de sortie coûte peu en communication et rapporte beaucoup en crédibilité auprès des régulateurs.
Anthropic, Google DeepMind et Meta disposent tous d’instances internes d’évaluation. Aucune ne s’est jusqu’ici offert le luxe d’y installer quelqu’un qui déclare publiquement que l’industrie court à l’échec. Le geste devient une carte disponible, et la première réplique se jouera probablement sur ce terrain. Il y a un effet secondaire moins visible. En rendant publique la position d’un membre de son comité de sortie, OpenAI crée une référence à laquelle ses propres décisions seront comparées. Chaque déploiement futur se lira désormais avec cette question en arrière-plan, et le laboratoire a lui-même fourni le point de comparaison.
Reste la question que la nomination ne tranche pas. Un comité conserve son autorité tant que la direction accepte de s’y plier, et la pression commerciale sur le rythme des sorties n’a pas faibli. Le procès qui a vu Stuart Russell alerter sur une course aux armements autour de l’AGI posait déjà cette tension, sans lui trouver de réponse institutionnelle. La réponse arrivera au premier arbitrage difficile, quand un modèle prêt techniquement se heurtera à un avis défavorable, et c’est là seulement que l’on saura si le comité pèse réellement.
Affaire à suivre sur Horizon.
