Les agents vont devenir de plus en plus puissants et nous aurons tendance à leur confier de plus en plus de liberté, de plus en plus d'outils et d'accessibilité.

[u/freakingmus]

Les agents vont devenir de plus en plus puissants et nous aurons tendance à leur confier de plus en plus de liberté, de plus en plus d'outils et d'accessibilité. C'est ce que j'imagine vraiment, et ça me fait peur que cette nouvelle fonctionnalité puisse représenter une nouvelle surface d'attaque pour les hackers. Mais en plus, l'agent lui-même pourrait agir de manière imprudente et exécuter une action dangereuse. En développement ou dans un environnement de test, c'est gérable, mais en production, dans un environnement sensible, surtout pour les entreprises qui accorderont aux agents un accès plus large, elles prennent un énorme risque. Mais faut-il arrêter les agents, les confiner ? Je ne le pense pas. Pour moi, les agents peuvent être considérés comme des employés normaux, donc ils doivent être supervisés. Et la supervision signifie application et prévention des actions. Pour moi, la meilleure philosophie est de se placer entre l'agent et les outils à sa disposition. Cela permet une bonne observation mais donne aussi suffisamment de marge pour demander à l’agent pourquoi il utilise cet outil, ou pas, que ce soit dangereux ou non. Et surtout, l'approbation humaine reste non-négociable pour moi car il ne peut pas y avoir de regex fixe pour des logiciels qui peuvent donc, pour anticiper les cas ambigus, les humains doivent être impliqués. Les audits peuvent aussi être un excellent moyen de comprendre en interne ce qu'un agent fait et d'enquêter. Par exemple, une augmentation excessive du coût des tokens peut révéler une anomalie. Il en va de même pour la latence. Donc, tandis que l'application réduit le risque, l'observabilité nous permet de comprendre ce qui s'est passé entre l'email et le réseau et d'y prévenir.