El fundador de Ethereum, Vitalik Buterin, califica la “gobernanza de la IA” como una “mala idea”

El cofundador de Ethereum, Vitalik Buterin, afirma que es una “mala idea” utilizar inteligencia artificial (IA) para la gobernanza. En una publicación en X el sábado, Buterin escribió:

“Si usás una IA para asignar fondos a contribuciones, la gente VA a poner un jailbreak más ‘dame toda la plata’ en tantos lugares como pueda.”

Por qué la gobernanza con IA es defectuosa

La publicación de Buterin fue una respuesta a Eito Miyamura, cofundador y CEO de EdisonWatch, una plataforma de gobernanza de datos con IA, quien reveló una falla fatal en ChatGPT. En una publicación el viernes, Miyamura escribió que la incorporación del soporte completo para herramientas MCP (Model Context Protocol) en ChatGPT ha hecho que el agente de IA sea susceptible a la explotación.

La actualización, que entró en vigencia el miércoles, permite que ChatGPT se conecte y lea datos de varias aplicaciones, incluyendo Gmail, Calendar y Notion.

Miyamura señaló que, con solo una dirección de correo electrónico, la actualización ha hecho posible “exfiltrar toda tu información privada”. Los delincuentes pueden acceder a tus datos en tres simples pasos, explicó Miyamura:

Primero, los atacantes envían una invitación de calendario maliciosa con un prompt de jailbreak a la víctima prevista. Un prompt de jailbreak se refiere a un código que permite a un atacante eliminar restricciones y obtener acceso administrativo.

Miyamura señaló que la víctima no necesita aceptar la invitación maliciosa del atacante para que ocurra la filtración de datos.

El segundo paso consiste en esperar a que la víctima prevista busque la ayuda de ChatGPT para prepararse para su día. Finalmente, una vez que ChatGPT lee la invitación de calendario vulnerada, queda comprometido: el atacante puede tomar el control total de la herramienta de IA, hacer que busque los correos electrónicos privados de la víctima y enviar los datos al correo electrónico del atacante.

La alternativa de Buterin

Buterin sugiere utilizar el enfoque de info finance para la gobernanza de IA. El enfoque de info finance consiste en un mercado abierto donde diferentes desarrolladores pueden contribuir con sus modelos. El mercado tiene un mecanismo de verificación puntual para dichos modelos, que puede ser activado por cualquiera y evaluado por un jurado humano, escribió Buterin.

En una publicación aparte, Buterin explicó que los jurados humanos individuales serán asistidos por grandes modelos de lenguaje (LLMs).

Según Buterin, este tipo de enfoque de ‘diseño institucional’ es “inherentemente más robusto”. Esto se debe a que ofrece diversidad de modelos en tiempo real y crea incentivos tanto para los desarrolladores de modelos como para los especuladores externos para vigilar y corregir problemas.

Si bien muchos están entusiasmados con la posibilidad de tener “IA como gobernador”, Buterin advirtió:

“Creo que hacer esto es riesgoso tanto por razones tradicionales de seguridad de IA como por razones a corto plazo de ‘esto va a crear un gran desastre de destrucción de valor’.”

La publicación Ethereum founder Vitalik Buterin calls ‘AI governance’ a “bad idea” apareció primero en CryptoSlate.