Сооснователь Ethereum Виталик Бутерин в понедельник выступил в X (ранее Twitter), чтобы выразить свое недовольство текущей гонкой к так называемым "агентивным" AI-системам, моделям, созданным для автономного действия с минимальным человеческим контролем. Он также призвал к защите моделей, которые позволяют людям управлять и редактировать процесс по мере его развития. "Воспользовавшись словами Андрея Карпаты, меня действительно расстраивает, как много разработок AI пытаются быть как можно более 'агентивными'," написал Бутерин.
Он добавил, что увеличение путей для человеческого ввода не только улучшает результаты, но и "лучше для безопасности". Сооснователь Ethereum заявил, что ему "гораздо интереснее открытые модели ИИ с хорошими функциями редактирования, чем те, которые предназначены только для создания с нуля", и даже описал среднесрочное желание: "какую-то шикарную BCI вещь, где она показывает мне то, что создается, и в реальном времени определяет, как я чувствую себя по каждому его элементу и соответственно регулирует".
Пост напрямую отразил недавние замечания Андрея Карпаты, который в рамках высокопрофильного ключевого доклада и последующих интервью предостерег от того, чтобы рассматривать большие языковые модели как безошибочные автономные агенты, и призвал разработчиков держать ИИ «на коротком поводке», подчеркивая, что человеческий надзор, осторожная подача запросов и поэтапная разработка по-прежнему необходимы.
Почему это важно сейчас
Комментарии Бутерина поступают в тот момент, когда крупные лаборатории публично меняют свою позицию в отношении открытости и контроля со стороны пользователей. В начале августа OpenAI удивила многих, выпустив семью моделей с открытыми весами, gpt-oss-120b и gpt-oss-20b, которые могут быть загружены, исследованы и дообучены внешними разработчиками, что некоторые рассматривают как шаг к демократизации мощных инструментов ИИ. Сторонники утверждают, что открытые веса упрощают создание настраиваемых, ориентированных на человека рабочих процессов и проверку моделей на наличие проблем безопасности; критики предупреждают о рисках злоупотребления широко распределенными мощными моделями.
Публичные предпочтения Бутерина в отношении "редактирования функциональности" связаны с emerging thread в индустрии: вместо того чтобы просить модели производить готовую работу и затем отступать, многие исследователи хотят интерфейсы, которые позволяют людям вмешиваться в процессе генерации, обрезая, исправляя или управляя выводом в реальном времени. Сторонники утверждают, что это снижает галлюцинации, позволяет человеку твердо контролировать намерение и производит артефакты, которые лучше соответствуют человеческим вкусам и ограничениям безопасности. Недавнее выступление Карпаты также подчеркивало необходимость более тесных рабочих процессов с участием человека.
BCI + Генеративный ИИ
Желание Бутерина о интерфейсе мозг-компьютер )BCI(, который улавливает эмоциональные реакции по мере генерации контента, не является чистой фантазией. В этом году наблюдается ряд реальных успехов в области BCI: компании от Neuralink до Synchron и ряд стартапов проводят клинические испытания, менее инвазивные имплантаты и носимые устройства на основе ЭЭГ, направленные на декодирование внимания и аффективных состояний в реальном времени.
Академическая работа по обнаружению эмоций на основе ЭЭГ и «аффективным вычислениям» также улучшилась, что предполагает, что устройства, способные сигнализировать, когда пользователь что-то любит, не любит или нейтрален к этому, становятся все более правдоподобными. Тем не менее, полностью надежная, ориентированная на потребителя эмоциональная декодировка, особенно неинвазивная, остается актуальной исследовательской задачей.
Что показывает дебаты
В совокупности сигналы указывают на два одновременных направления в развитии ИИ. Одно направление стремится к созданию более автономных систем, которые могут выполнять сложные задачи с минимальным или отсутствующим человеческим контролем; другое, высказанное такими фигурами, как Карпаты и теперь подхваченное Бутериным, выступает за инструменты, которые поддерживают тесную связь человека с поведением модели, будь то через улучшенные интерфейсы редактирования, верификацию с участием человека или даже обратную связь с нейротехнологиями.
Для наблюдателей за индустрией баланс между этими подходами будет формировать дизайн продукта, регулирование и общественное доверие. Открытые релизы делают проще для независимых команд экспериментировать с ориентированными на человека слоями редактирования, но они также расширяют распространение мощных моделей, что вызывает беспокойство у регуляторов и исследователей в области безопасности, которые опасаются, что это может увеличить злоупотребления.
Тем временем, поскольку BCI и обнаружение эмоций делают постепенные успехи, новые интерфейсы действительно могут позволить создателям "подталкивать" модели с гораздо более богатыми сигналами, чем введенные подсказки, поднимая новые вопросы о конфиденциальности, согласии и о том, как внутренние состояния измеряются и хранятся. Твит Виталика Бутерина скорее является не техническим проектом, а заявлением о ценностях: лучшие результаты и более безопасные системы возникают из того, что люди и запутанные, многогранные сигналы человеческих предпочтений находятся в центре рабочих процессов ИИ.
Будет ли это будущее достигнуто через редактируемые открытые модели сегодня или интерфейсы, связанные с мозгом, завтра, разговор уже смещается от чистой автономии к более насыщенному сотрудничеству человека и ИИ. Как сказал Бутерин в своем посте, ему больше нравится видеть, как что-то рождается, и иметь возможность направлять это, чем полностью передать управление.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Виталик Бутерин критикует агентный ИИ, призывает к редактируемым моделям и интеграции нейротехнологий
Сооснователь Ethereum Виталик Бутерин в понедельник выступил в X (ранее Twitter), чтобы выразить свое недовольство текущей гонкой к так называемым "агентивным" AI-системам, моделям, созданным для автономного действия с минимальным человеческим контролем. Он также призвал к защите моделей, которые позволяют людям управлять и редактировать процесс по мере его развития. "Воспользовавшись словами Андрея Карпаты, меня действительно расстраивает, как много разработок AI пытаются быть как можно более 'агентивными'," написал Бутерин.
Он добавил, что увеличение путей для человеческого ввода не только улучшает результаты, но и "лучше для безопасности". Сооснователь Ethereum заявил, что ему "гораздо интереснее открытые модели ИИ с хорошими функциями редактирования, чем те, которые предназначены только для создания с нуля", и даже описал среднесрочное желание: "какую-то шикарную BCI вещь, где она показывает мне то, что создается, и в реальном времени определяет, как я чувствую себя по каждому его элементу и соответственно регулирует".
Пост напрямую отразил недавние замечания Андрея Карпаты, который в рамках высокопрофильного ключевого доклада и последующих интервью предостерег от того, чтобы рассматривать большие языковые модели как безошибочные автономные агенты, и призвал разработчиков держать ИИ «на коротком поводке», подчеркивая, что человеческий надзор, осторожная подача запросов и поэтапная разработка по-прежнему необходимы.
Почему это важно сейчас
Комментарии Бутерина поступают в тот момент, когда крупные лаборатории публично меняют свою позицию в отношении открытости и контроля со стороны пользователей. В начале августа OpenAI удивила многих, выпустив семью моделей с открытыми весами, gpt-oss-120b и gpt-oss-20b, которые могут быть загружены, исследованы и дообучены внешними разработчиками, что некоторые рассматривают как шаг к демократизации мощных инструментов ИИ. Сторонники утверждают, что открытые веса упрощают создание настраиваемых, ориентированных на человека рабочих процессов и проверку моделей на наличие проблем безопасности; критики предупреждают о рисках злоупотребления широко распределенными мощными моделями.
Публичные предпочтения Бутерина в отношении "редактирования функциональности" связаны с emerging thread в индустрии: вместо того чтобы просить модели производить готовую работу и затем отступать, многие исследователи хотят интерфейсы, которые позволяют людям вмешиваться в процессе генерации, обрезая, исправляя или управляя выводом в реальном времени. Сторонники утверждают, что это снижает галлюцинации, позволяет человеку твердо контролировать намерение и производит артефакты, которые лучше соответствуют человеческим вкусам и ограничениям безопасности. Недавнее выступление Карпаты также подчеркивало необходимость более тесных рабочих процессов с участием человека.
BCI + Генеративный ИИ
Желание Бутерина о интерфейсе мозг-компьютер )BCI(, который улавливает эмоциональные реакции по мере генерации контента, не является чистой фантазией. В этом году наблюдается ряд реальных успехов в области BCI: компании от Neuralink до Synchron и ряд стартапов проводят клинические испытания, менее инвазивные имплантаты и носимые устройства на основе ЭЭГ, направленные на декодирование внимания и аффективных состояний в реальном времени.
Академическая работа по обнаружению эмоций на основе ЭЭГ и «аффективным вычислениям» также улучшилась, что предполагает, что устройства, способные сигнализировать, когда пользователь что-то любит, не любит или нейтрален к этому, становятся все более правдоподобными. Тем не менее, полностью надежная, ориентированная на потребителя эмоциональная декодировка, особенно неинвазивная, остается актуальной исследовательской задачей.
Что показывает дебаты
В совокупности сигналы указывают на два одновременных направления в развитии ИИ. Одно направление стремится к созданию более автономных систем, которые могут выполнять сложные задачи с минимальным или отсутствующим человеческим контролем; другое, высказанное такими фигурами, как Карпаты и теперь подхваченное Бутериным, выступает за инструменты, которые поддерживают тесную связь человека с поведением модели, будь то через улучшенные интерфейсы редактирования, верификацию с участием человека или даже обратную связь с нейротехнологиями.
Для наблюдателей за индустрией баланс между этими подходами будет формировать дизайн продукта, регулирование и общественное доверие. Открытые релизы делают проще для независимых команд экспериментировать с ориентированными на человека слоями редактирования, но они также расширяют распространение мощных моделей, что вызывает беспокойство у регуляторов и исследователей в области безопасности, которые опасаются, что это может увеличить злоупотребления.
Тем временем, поскольку BCI и обнаружение эмоций делают постепенные успехи, новые интерфейсы действительно могут позволить создателям "подталкивать" модели с гораздо более богатыми сигналами, чем введенные подсказки, поднимая новые вопросы о конфиденциальности, согласии и о том, как внутренние состояния измеряются и хранятся. Твит Виталика Бутерина скорее является не техническим проектом, а заявлением о ценностях: лучшие результаты и более безопасные системы возникают из того, что люди и запутанные, многогранные сигналы человеческих предпочтений находятся в центре рабочих процессов ИИ.
Будет ли это будущее достигнуто через редактируемые открытые модели сегодня или интерфейсы, связанные с мозгом, завтра, разговор уже смещается от чистой автономии к более насыщенному сотрудничеству человека и ИИ. Как сказал Бутерин в своем посте, ему больше нравится видеть, как что-то рождается, и иметь возможность направлять это, чем полностью передать управление.