O cofundador da Ethereum, Vitalik Buterin, recorreu ao X (antigamente Twitter) na segunda-feira para se opor à atual corrida em direção a sistemas de IA chamados "agentes", modelos construídos para agir autonomamente com supervisão humana mínima. Ele também pediu para defender modelos que permitam que os humanos direcionem e editem à medida que avançam. "Ecoando algo que Andrej Karpathy disse recentemente, frustra-me como muito do desenvolvimento de IA está tentando ser o mais 'agente' possível", escreveu Buterin.
Ele acrescentou que aumentar as vias para a entrada humana não só melhora os resultados, mas é "melhor para a segurança." O co-fundador da Ethereum disse que está "muito mais entusiasmado com modelos de IA de pesos abertos com boa funcionalidade de edição do que aqueles que são apenas para criar do zero," e até esboçou um desejo a médio prazo: "uma coisa fancy de BCI onde me mostra a coisa enquanto está sendo gerada e detecta em tempo real como me sinto em relação a cada parte dela e ajusta-se de acordo."
O post ecoou diretamente as recentes declarações de Andrej Karpathy, que, em uma palestra de alto perfil e entrevistas subsequentes, alertou contra tratar modelos de linguagem grandes como agentes autônomos infalíveis e instou os desenvolvedores a manter a IA "na coleira", enfatizando que a supervisão humana, a solicitação cuidadosa e o desenvolvimento incremental ainda são essenciais.
Por que isso é importante agora
Os comentários de Buterin chegam num momento em que grandes laboratórios estão publicamente mudando sua postura em relação à abertura e ao controle do usuário. No início de agosto, a OpenAI surpreendeu muitos ao lançar uma família de modelos de pesos abertos, gpt-oss-120b e gpt-oss-20b, que podem ser baixados, inspecionados e ajustados por desenvolvedores externos, um movimento que alguns enquadraram como um passo em direção à democratização das ferramentas poderosas de IA. Os apoiadores dizem que pesos abertos tornam mais fácil construir fluxos de trabalho personalizados e centrados no ser humano e inspecionar modelos em busca de problemas de segurança; críticos alertam sobre os riscos de uso indevido de modelos poderosos amplamente distribuídos.
A preferência pública de Buterin por "funcionalidade de edição" está ligada a uma tendência emergente na indústria: em vez de pedir aos modelos que produzem trabalhos acabados e depois se afastar, muitos pesquisadores querem interfaces que permitam aos humanos intervir durante a geração, podando, corrigindo ou orientando a saída em tempo real. Os defensores argumentam que isso reduz alucinações, mantém o humano firmemente no controle da intenção e produz artefatos que correspondem melhor aos gostos humanos e às restrições de segurança. A recente palestra de Karpathy também enfatizou a necessidade de fluxos de trabalho mais apertados com humanos no loop.)
BCI + IA Generativa
O desejo casual de Buterin por uma interface cérebro-computador (BCI) que detecta respostas emocionais à medida que o conteúdo é gerado não é pura fantasia. Este ano viu um frenesi de progresso tangível em BCI: empresas como a Neuralink, a Synchron e uma série de startups estão a realizar ensaios humanos, implantes menos invasivos e dispositivos vestíveis baseados em EEG destinados a decifrar a atenção e os estados afetivos em tempo real.
O trabalho académico sobre deteção de emoções baseada em EEG e "computação afetiva" também melhorou, sugerindo que dispositivos capazes de sinalizar quando um utilizador gosta, não gosta ou é neutro em relação a algo são cada vez mais plausíveis. No entanto, a decodificação emocional totalmente fiável e de qualidade consumidora, especialmente de forma não invasiva, continua a ser um desafio de investigação ativo.
O que o Debate Revela
Tomados em conjunto, os sinais apontam para duas correntes simultâneas no desenvolvimento da IA. Uma corrente empurra para sistemas mais autônomos que podem executar tarefas complexas com pouca ou nenhuma supervisão humana; a outra, expressa por figuras como Karpathy e agora ecoada por Buterin, defende ferramentas que mantêm os humanos intimamente ligados ao comportamento do modelo, seja através de interfaces de edição melhoradas, verificação com intervenção humana ou até mesmo feedback de neurotecnologia.
Para os observadores da indústria, o equilíbrio entre essas abordagens moldará o design de produtos, a regulamentação e a confiança pública. Lançamentos de pesos abertos facilitam para equipes independentes experimentarem com camadas de edição centradas no ser humano, mas também ampliam a distribuição de modelos poderosos, o que preocupa reguladores e pesquisadores de segurança, que temem que isso possa aumentar o uso indevido.
Entretanto, à medida que o BCI e a detecção de afetos fazem avanços incrementais, novas interfaces podem, de fato, permitir que os criadores "empurrem" modelos com sinais muito mais ricos do que os comandos digitados, levantando novas questões sobre privacidade, consentimento e como os estados internos são medidos e armazenados. O tweet de Vitalik Buterin é menos um plano técnico do que uma declaração de valor: melhores resultados e sistemas mais seguros vêm de manter as pessoas e os sinais confusos e nuançados da preferência humana no centro dos fluxos de trabalho da IA.
Se esse futuro chegar através de modelos abertos editáveis hoje ou interfaces ligadas ao cérebro amanhã, a conversa já está mudando de uma autonomia pura para uma colaboração mais rica entre humanos e IA. Como Buterin disse em sua postagem, ele prefere assistir algo nascer e ser capaz de direcioná-lo do que entregar completamente as rédeas.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Vitalik Buterin critica a IA agentiva, pede modelos editáveis e integração de neurotecnologia
O cofundador da Ethereum, Vitalik Buterin, recorreu ao X (antigamente Twitter) na segunda-feira para se opor à atual corrida em direção a sistemas de IA chamados "agentes", modelos construídos para agir autonomamente com supervisão humana mínima. Ele também pediu para defender modelos que permitam que os humanos direcionem e editem à medida que avançam. "Ecoando algo que Andrej Karpathy disse recentemente, frustra-me como muito do desenvolvimento de IA está tentando ser o mais 'agente' possível", escreveu Buterin.
Ele acrescentou que aumentar as vias para a entrada humana não só melhora os resultados, mas é "melhor para a segurança." O co-fundador da Ethereum disse que está "muito mais entusiasmado com modelos de IA de pesos abertos com boa funcionalidade de edição do que aqueles que são apenas para criar do zero," e até esboçou um desejo a médio prazo: "uma coisa fancy de BCI onde me mostra a coisa enquanto está sendo gerada e detecta em tempo real como me sinto em relação a cada parte dela e ajusta-se de acordo."
O post ecoou diretamente as recentes declarações de Andrej Karpathy, que, em uma palestra de alto perfil e entrevistas subsequentes, alertou contra tratar modelos de linguagem grandes como agentes autônomos infalíveis e instou os desenvolvedores a manter a IA "na coleira", enfatizando que a supervisão humana, a solicitação cuidadosa e o desenvolvimento incremental ainda são essenciais.
Por que isso é importante agora
Os comentários de Buterin chegam num momento em que grandes laboratórios estão publicamente mudando sua postura em relação à abertura e ao controle do usuário. No início de agosto, a OpenAI surpreendeu muitos ao lançar uma família de modelos de pesos abertos, gpt-oss-120b e gpt-oss-20b, que podem ser baixados, inspecionados e ajustados por desenvolvedores externos, um movimento que alguns enquadraram como um passo em direção à democratização das ferramentas poderosas de IA. Os apoiadores dizem que pesos abertos tornam mais fácil construir fluxos de trabalho personalizados e centrados no ser humano e inspecionar modelos em busca de problemas de segurança; críticos alertam sobre os riscos de uso indevido de modelos poderosos amplamente distribuídos.
A preferência pública de Buterin por "funcionalidade de edição" está ligada a uma tendência emergente na indústria: em vez de pedir aos modelos que produzem trabalhos acabados e depois se afastar, muitos pesquisadores querem interfaces que permitam aos humanos intervir durante a geração, podando, corrigindo ou orientando a saída em tempo real. Os defensores argumentam que isso reduz alucinações, mantém o humano firmemente no controle da intenção e produz artefatos que correspondem melhor aos gostos humanos e às restrições de segurança. A recente palestra de Karpathy também enfatizou a necessidade de fluxos de trabalho mais apertados com humanos no loop.)
BCI + IA Generativa
O desejo casual de Buterin por uma interface cérebro-computador (BCI) que detecta respostas emocionais à medida que o conteúdo é gerado não é pura fantasia. Este ano viu um frenesi de progresso tangível em BCI: empresas como a Neuralink, a Synchron e uma série de startups estão a realizar ensaios humanos, implantes menos invasivos e dispositivos vestíveis baseados em EEG destinados a decifrar a atenção e os estados afetivos em tempo real.
O trabalho académico sobre deteção de emoções baseada em EEG e "computação afetiva" também melhorou, sugerindo que dispositivos capazes de sinalizar quando um utilizador gosta, não gosta ou é neutro em relação a algo são cada vez mais plausíveis. No entanto, a decodificação emocional totalmente fiável e de qualidade consumidora, especialmente de forma não invasiva, continua a ser um desafio de investigação ativo.
O que o Debate Revela
Tomados em conjunto, os sinais apontam para duas correntes simultâneas no desenvolvimento da IA. Uma corrente empurra para sistemas mais autônomos que podem executar tarefas complexas com pouca ou nenhuma supervisão humana; a outra, expressa por figuras como Karpathy e agora ecoada por Buterin, defende ferramentas que mantêm os humanos intimamente ligados ao comportamento do modelo, seja através de interfaces de edição melhoradas, verificação com intervenção humana ou até mesmo feedback de neurotecnologia.
Para os observadores da indústria, o equilíbrio entre essas abordagens moldará o design de produtos, a regulamentação e a confiança pública. Lançamentos de pesos abertos facilitam para equipes independentes experimentarem com camadas de edição centradas no ser humano, mas também ampliam a distribuição de modelos poderosos, o que preocupa reguladores e pesquisadores de segurança, que temem que isso possa aumentar o uso indevido.
Entretanto, à medida que o BCI e a detecção de afetos fazem avanços incrementais, novas interfaces podem, de fato, permitir que os criadores "empurrem" modelos com sinais muito mais ricos do que os comandos digitados, levantando novas questões sobre privacidade, consentimento e como os estados internos são medidos e armazenados. O tweet de Vitalik Buterin é menos um plano técnico do que uma declaração de valor: melhores resultados e sistemas mais seguros vêm de manter as pessoas e os sinais confusos e nuançados da preferência humana no centro dos fluxos de trabalho da IA.
Se esse futuro chegar através de modelos abertos editáveis hoje ou interfaces ligadas ao cérebro amanhã, a conversa já está mudando de uma autonomia pura para uma colaboração mais rica entre humanos e IA. Como Buterin disse em sua postagem, ele prefere assistir algo nascer e ser capaz de direcioná-lo do que entregar completamente as rédeas.