Le co-fondateur d'Ethereum, Vitalik Buterin, s'est rendu sur X (anciennement Twitter) lundi pour s'opposer à la course actuelle vers les systèmes d'IA dits « agentiques », des modèles conçus pour agir de manière autonome avec une supervision humaine minimale. Il a également exhorté à faire valoir des modèles qui permettent aux humains de diriger et d'éditer au fur et à mesure. « En écho à ce que Andrej Karpathy a récemment dit, cela me frustre beaucoup de voir que le développement de l'IA essaie d'être aussi 'agentique' que possible », a écrit Buterin.
Il a ajouté que l'augmentation des voies pour l'entrée humaine améliore non seulement les résultats mais est "meilleure pour la sécurité." Le co-fondateur d'Ethereum a déclaré qu'il était "beaucoup plus enthousiaste à propos des modèles d'IA à poids ouverts avec de bonnes fonctionnalités d'édition que ceux qui sont juste pour créer à partir de zéro," et a même esquissé un souhait à moyen terme : "une sorte de BCI sophistiqué où il me montre la chose au fur et à mesure de sa génération et détecte en temps réel ce que je ressens à propos de chaque partie et ajuste en conséquence."
Le post a directement fait écho aux remarques récentes d'Andrej Karpathy, qui, lors d'une keynote très médiatisée et d'entretiens de suivi, a mis en garde contre le fait de traiter les grands modèles de langage comme des agents autonomes infaillibles et a exhorté les développeurs à garder l'IA "en laisse", soulignant que la supervision humaine, les incitations soigneuses et le développement progressif sont toujours essentiels.
Pourquoi cela compte maintenant
Les commentaires de Buterin interviennent à un moment où les grands laboratoires changent publiquement leur position sur l'ouverture et le contrôle des utilisateurs. Au début d'août, OpenAI a surpris beaucoup de monde en publiant une famille de modèles à poids ouverts, gpt-oss-120b et gpt-oss-20b, qui peuvent être téléchargés, inspectés et affinés par des développeurs externes, un pas présenté par certains comme une avancée vers la démocratisation des outils d'IA puissants. Les partisans affirment que les poids ouverts facilitent la création de flux de travail personnalisés et centrés sur l'humain et permettent d'inspecter les modèles pour détecter des problèmes de sécurité ; les critiques avertissent des risques d'utilisation abusive de modèles puissants largement distribués.
La préférence publique de Buterin pour la « fonctionnalité d'édition » s'inscrit dans un fil émergent dans l'industrie : au lieu de demander aux modèles de produire un travail fini puis de se retirer, de nombreux chercheurs souhaitent des interfaces qui permettent aux humains d'intervenir en cours de génération, en élaguant, corrigeant ou guidant la sortie en temps réel. Les partisans soutiennent que cela réduit les hallucinations, maintient l'humain fermement en contrôle de l'intention, et produit des artefacts qui correspondent mieux aux goûts et aux contraintes de sécurité humains. Le discours récent de Karpathy a également souligné la nécessité de flux de travail plus étroits impliquant l'humain dans le processus.
BCI + IA générative
Le désir désinvolte de Buterin pour une interface cerveau-ordinateur )BCI( qui détecte les réponses émotionnelles au fur et à mesure que le contenu est généré n'est pas une pure fantaisie. Cette année a vu un afflux de progrès tangibles en matière de BCI : des entreprises comme Neuralink, Synchron et une série de startups lancent des essais humains, des implants moins invasifs et des dispositifs portables basés sur l'EEG visant à décoder l'attention et les états affectifs en temps réel.
Les travaux académiques sur la détection des émotions basée sur l'EEG et le "calcul affectif" se sont également améliorés, suggérant que des dispositifs capables de signaler quand un utilisateur aime, n'aime pas ou est neutre envers quelque chose sont de plus en plus plausibles. Néanmoins, le décodage émotionnel entièrement fiable, de niveau consommateur, en particulier de manière non invasive, reste un défi de recherche actif.
Ce que révèle le débat
Pris ensemble, les signaux indiquent deux courants simultanés dans le développement de l'IA. Un courant pousse vers des systèmes plus agents capables d'exécuter des tâches complexes avec peu ou pas de supervision humaine ; l'autre, exprimé par des figures comme Karpathy et maintenant résonné par Buterin, plaide pour des outils qui gardent les humains étroitement liés au comportement des modèles, que ce soit par de meilleures interfaces de modification, une vérification humaine dans la boucle, ou même des retours neurotechnologiques.
Pour les observateurs de l'industrie, l'équilibre entre ces approches façonnera la conception des produits, la réglementation et la confiance du public. Les versions à poids ouverts facilitent l'expérimentation par des équipes indépendantes avec des couches d'édition axées sur l'humain, mais elles élargissent également la distribution de modèles puissants, ce qui préoccupe les régulateurs et les chercheurs en sécurité, qui craignent une augmentation de l'utilisation abusive.
Pendant ce temps, alors que le BCI et la détection des émotions font des progrès incrémentiels, de nouvelles interfaces pourraient effectivement permettre aux créateurs de "pousser" les modèles avec des signaux beaucoup plus riches que des invites tapées, soulevant de nouvelles questions sur la vie privée, le consentement et la façon dont les états intérieurs sont mesurés et stockés. Le tweet de Vitalik Buterin est moins un plan technique qu'une déclaration de valeur : de meilleurs résultats et des systèmes plus sûrs proviennent du fait de garder les gens et les signaux humains complexes et nuancés au centre des flux de travail de l'IA.
Que cet avenir arrive grâce à des modèles ouverts modifiables aujourd'hui ou des interfaces cérébrales demain, la conversation s'éloigne déjà de la pure autonomie vers une collaboration humaine-AI plus riche. Comme l'a dit Buterin dans son post, il préfère voir quelque chose naître et pouvoir le guider plutôt que de remettre complètement les rênes.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Vitalik Buterin critique l'IA agentique, appelle à des modèles éditables et à l'intégration de la neurotechnologie
Le co-fondateur d'Ethereum, Vitalik Buterin, s'est rendu sur X (anciennement Twitter) lundi pour s'opposer à la course actuelle vers les systèmes d'IA dits « agentiques », des modèles conçus pour agir de manière autonome avec une supervision humaine minimale. Il a également exhorté à faire valoir des modèles qui permettent aux humains de diriger et d'éditer au fur et à mesure. « En écho à ce que Andrej Karpathy a récemment dit, cela me frustre beaucoup de voir que le développement de l'IA essaie d'être aussi 'agentique' que possible », a écrit Buterin.
Il a ajouté que l'augmentation des voies pour l'entrée humaine améliore non seulement les résultats mais est "meilleure pour la sécurité." Le co-fondateur d'Ethereum a déclaré qu'il était "beaucoup plus enthousiaste à propos des modèles d'IA à poids ouverts avec de bonnes fonctionnalités d'édition que ceux qui sont juste pour créer à partir de zéro," et a même esquissé un souhait à moyen terme : "une sorte de BCI sophistiqué où il me montre la chose au fur et à mesure de sa génération et détecte en temps réel ce que je ressens à propos de chaque partie et ajuste en conséquence."
Le post a directement fait écho aux remarques récentes d'Andrej Karpathy, qui, lors d'une keynote très médiatisée et d'entretiens de suivi, a mis en garde contre le fait de traiter les grands modèles de langage comme des agents autonomes infaillibles et a exhorté les développeurs à garder l'IA "en laisse", soulignant que la supervision humaine, les incitations soigneuses et le développement progressif sont toujours essentiels.
Pourquoi cela compte maintenant
Les commentaires de Buterin interviennent à un moment où les grands laboratoires changent publiquement leur position sur l'ouverture et le contrôle des utilisateurs. Au début d'août, OpenAI a surpris beaucoup de monde en publiant une famille de modèles à poids ouverts, gpt-oss-120b et gpt-oss-20b, qui peuvent être téléchargés, inspectés et affinés par des développeurs externes, un pas présenté par certains comme une avancée vers la démocratisation des outils d'IA puissants. Les partisans affirment que les poids ouverts facilitent la création de flux de travail personnalisés et centrés sur l'humain et permettent d'inspecter les modèles pour détecter des problèmes de sécurité ; les critiques avertissent des risques d'utilisation abusive de modèles puissants largement distribués.
La préférence publique de Buterin pour la « fonctionnalité d'édition » s'inscrit dans un fil émergent dans l'industrie : au lieu de demander aux modèles de produire un travail fini puis de se retirer, de nombreux chercheurs souhaitent des interfaces qui permettent aux humains d'intervenir en cours de génération, en élaguant, corrigeant ou guidant la sortie en temps réel. Les partisans soutiennent que cela réduit les hallucinations, maintient l'humain fermement en contrôle de l'intention, et produit des artefacts qui correspondent mieux aux goûts et aux contraintes de sécurité humains. Le discours récent de Karpathy a également souligné la nécessité de flux de travail plus étroits impliquant l'humain dans le processus.
BCI + IA générative
Le désir désinvolte de Buterin pour une interface cerveau-ordinateur )BCI( qui détecte les réponses émotionnelles au fur et à mesure que le contenu est généré n'est pas une pure fantaisie. Cette année a vu un afflux de progrès tangibles en matière de BCI : des entreprises comme Neuralink, Synchron et une série de startups lancent des essais humains, des implants moins invasifs et des dispositifs portables basés sur l'EEG visant à décoder l'attention et les états affectifs en temps réel.
Les travaux académiques sur la détection des émotions basée sur l'EEG et le "calcul affectif" se sont également améliorés, suggérant que des dispositifs capables de signaler quand un utilisateur aime, n'aime pas ou est neutre envers quelque chose sont de plus en plus plausibles. Néanmoins, le décodage émotionnel entièrement fiable, de niveau consommateur, en particulier de manière non invasive, reste un défi de recherche actif.
Ce que révèle le débat
Pris ensemble, les signaux indiquent deux courants simultanés dans le développement de l'IA. Un courant pousse vers des systèmes plus agents capables d'exécuter des tâches complexes avec peu ou pas de supervision humaine ; l'autre, exprimé par des figures comme Karpathy et maintenant résonné par Buterin, plaide pour des outils qui gardent les humains étroitement liés au comportement des modèles, que ce soit par de meilleures interfaces de modification, une vérification humaine dans la boucle, ou même des retours neurotechnologiques.
Pour les observateurs de l'industrie, l'équilibre entre ces approches façonnera la conception des produits, la réglementation et la confiance du public. Les versions à poids ouverts facilitent l'expérimentation par des équipes indépendantes avec des couches d'édition axées sur l'humain, mais elles élargissent également la distribution de modèles puissants, ce qui préoccupe les régulateurs et les chercheurs en sécurité, qui craignent une augmentation de l'utilisation abusive.
Pendant ce temps, alors que le BCI et la détection des émotions font des progrès incrémentiels, de nouvelles interfaces pourraient effectivement permettre aux créateurs de "pousser" les modèles avec des signaux beaucoup plus riches que des invites tapées, soulevant de nouvelles questions sur la vie privée, le consentement et la façon dont les états intérieurs sont mesurés et stockés. Le tweet de Vitalik Buterin est moins un plan technique qu'une déclaration de valeur : de meilleurs résultats et des systèmes plus sûrs proviennent du fait de garder les gens et les signaux humains complexes et nuancés au centre des flux de travail de l'IA.
Que cet avenir arrive grâce à des modèles ouverts modifiables aujourd'hui ou des interfaces cérébrales demain, la conversation s'éloigne déjà de la pure autonomie vers une collaboration humaine-AI plus riche. Comme l'a dit Buterin dans son post, il préfère voir quelque chose naître et pouvoir le guider plutôt que de remettre complètement les rênes.