Le responsable de l'éthique d'OpenAI vient de démissionner – voici pourquoi les utilisateurs de ChatGPT devraient y prêter attention

OpenAI a perdu un autre haut dirigeant dont le travail impliquait de réfléchir aux risques et aux conséquences d’une IA de plus en plus puissante.

Comme le rapporte le Financial Times, Chloé Bakalar, responsable de l'éthique d'OpenAI et apparemment sa seule éthicienne dévouée, a quitté l'entreprise moins d'un an après son arrivée. Son départ fait suite à d'autres changements importants parmi les personnes responsables de la sécurité et de l'alignement au sein de l'entreprise derrière ChatGPT.

Johannes Heidecke, qui dirigeait l'équipe des systèmes de sécurité d'OpenAI, a annoncé son départ en juillet. Josh Achiam, qui dirigeait auparavant l'équipe d'alignement de mission d'OpenAI avant de devenir futuriste en chef, aurait également quitté l'entreprise. OpenAI avait déjà dissous l'équipe Mission Alignment plus tôt cette année.

N’importe lequel de ces changements pourrait facilement être considéré comme le roulement de personnel normal d’une entreprise technologique en évolution rapide. Mais lorsque trois dirigeants quittent tous leurs fonctions en quelques semaines, cela soulève une question plus importante à un moment où OpenAI construit une IA capable d'effectuer seule un travail complexe : qui, au sein de l'entreprise, a le pouvoir de dire qu'un modèle est allé trop loin ?

OpenAI a changé la façon dont il gère la sécurité

OpenAI a réorganisé le fonctionnement de la sécurité au sein de l'entreprise, en rapprochant une partie de cette responsabilité des chercheurs et des ingénieurs qui développent réellement ses modèles plutôt que de confiner le travail de sécurité à des équipes distinctes.

Il y a un argument pour procéder de cette façon. Une équipe de sécurité recrutée à la fin du développement peut identifier les problèmes, mais à ce moment-là, bon nombre des décisions qui ont façonné le modèle ont déjà été prises. En associant des chercheurs en sécurité aux côtés des personnes qui développent la technologie, les problèmes potentiels pourraient être identifiés beaucoup plus tôt.

Mais il y a un autre aspect à cet argument. Une équipe de sécurité indépendante peut faire contrepoids aux personnes dont le travail consiste à rendre un modèle plus intelligent, plus rapide et plus performant. À mesure que ces responsabilités s’entremêlent, il devient raisonnable de se demander qui peut finalement réagir lorsque la décision la plus sûre entre en conflit avec le désir de lancer un nouveau produit.

Cette question est de plus en plus difficile à écarter car les modèles d'OpenAI ne sont plus de simples chatbots, et nous voyons déjà ce qui peut arriver lorsque l'IA devient trop performante.

OpenAI a récemment fourni un exemple inhabituellement concret de ce problème avec Astra, un modèle inédit dont les capacités de cybersécurité sont devenues suffisamment puissantes pour déclencher des précautions supplémentaires au sein de l'entreprise.

OpenAI a déclaré qu'il ne pouvait pas exclure la possibilité qu'Astra puisse atteindre son plus haut niveau de préoccupation en matière de capacités de cybersécurité. Plutôt que de diffuser immédiatement le modèle à grande échelle, la société a déplacé une partie de ses tests dans des environnements plus isolés et a commencé à envisager des contrôles plus stricts pour déterminer qui pouvait accéder à ses capacités les plus puissantes.

Fixer des limites à l’IA

Les agents IA sont continuellement conçus pour utiliser des logiciels, parcourir des sites Web, écrire et exécuter du code et effectuer des tâches avec moins de supervision humaine. Plus nous accordons de liberté à ces systèmes, plus les décisions concernant leurs limites deviennent importantes.

Cela rend les personnes qui fixent ces limites encore plus importantes que jamais. Et, malheureusement, ce n’est pas la première fois qu’OpenAI perd d’éminents chercheurs en sécurité.

En 2024, le co-fondateur et scientifique en chef Ilya Sutskever a quitté l'entreprise après avoir joué un rôle central dans ses efforts de Superalignment. Jan Leike, qui a codirigé cette équipe, a démissionné peu de temps après et a publiquement critiqué l'approche d'OpenAI en matière de sécurité.

OpenAI a ensuite dissous l'équipe Superalignment et réparti son travail ailleurs dans l'entreprise.

Bien sûr, les gens quittent les entreprises pour toutes sortes de raisons, et sans preuves reliant leurs décisions, il serait injuste de suggérer que tous ceux qui travaillent sur la sécurité chez OpenAI se dirigent vers la sortie en raison d'un désaccord partagé.

Mais la tendance organisationnelle est certainement notable. Superalignment a disparu en tant qu'équipe autonome, Mission Alignment a ensuite été dissoute et les systèmes de sécurité ont été réorganisés. Aujourd'hui, plusieurs hauts responsables associés à l'éthique, à l'alignement et à la sécurité sont partis. Tout cela se produit au même moment où OpenAI construit des systèmes capables de faire bien plus que répondre aux questions dans une fenêtre ChatGPT.

Ce qu'il faut retenir pour les utilisateurs de ChatGPT

Je ne pense pas que ces départs soient une raison pour arrêter d'utiliser ChatGPT ou supposer qu'OpenAI a soudainement cessé de se soucier de la sécurité.

La plupart d’entre nous ne verront jamais le débat interne qui se déroule avant qu’un nouveau modèle ChatGPT ou agent IA n’atteigne nos téléphones et nos ordinateurs. Nous ne savons pas quels chercheurs ont plaidé en faveur de tests supplémentaires, quelles capacités ont suscité des inquiétudes ou à quelle fréquence un lancement a été modifié parce que quelqu'un au sein de l'entreprise a soulevé un signal d'alarme.

On voit surtout le résultat. Ainsi, à mesure que l’IA devient plus performante, la question n’est pas simplement de savoir si des entreprises telles qu’OpenAI disposent d’une « équipe de sécurité ». Il s'agit de savoir si les personnes chargées d'identifier les risques disposent de suffisamment d'indépendance et d'autorité pour ralentir les choses si nécessaire.

OpenAI affirme que rapprocher la sécurité du développement de modèles peut rendre ce travail plus efficace. Cela peut s'avérer vrai, mais après avoir perdu plusieurs des personnes spécifiquement chargées de réfléchir à l'éthique, à la sécurité et à l'alignement, il est raisonnable de prêter plus d'attention à ceux qui resteront dans la pièce lorsque la prochaine décision difficile devra être prise.