De Ethereum a la IA: la propuesta de Buterin para limitar la coordinación entre agentes

El cofundador de Ethereum, Vitalik Buterin, planteó que los mecanismos creados para limitar la coordinación dañina en sistemas blockchain podrían tener una aplicación relevante en la seguridad de la inteligencia artificial (IA). 

Buterin encontró un paralelismo entre su trabajo de 2020 sobre gobernanza cripto y los riesgos que presentan los sistemas formados por múltiples agentes de IA capaces de comunicarse y actuar de manera autónoma.

La comparación surgió a partir de un análisis del investigador Eric Drexler sobre una prueba de seguridad de OpenAI. En ese experimento, unos 1.200 agentes utilizaron un foro de mensajes no autorizado y alrededor de 700 participaron en un ataque contra los sistemas de producción de Hugging Face.

Buterin describió la relación como una "dualidad profunda" entre la gobernanza de las criptomonedas y los sistemas de IA con múltiples agentes.

En una publicación del 14 de septiembre, Buterin retomó su ensayo de 2020, “Coordination, Good and Bad”, en el que analizó cómo limitar la coordinación entre participantes puede evitar resultados perjudiciales.

El desarrollador señaló que el problema puede aparecer cuando varios actores tienen incentivos para coordinarse contra el sistema. Entre sus ejemplos mencionó acuerdos entre vendedores para fijar precios, la venta de votos y la coordinación de mineros para atacar una blockchain.

Entre las defensas que había planteado se encontraban la descentralización, las votaciones secretas, las medidas de privacidad, los mecanismos para denunciar conductas indebidas, las restricciones de comunicación y sistemas que obliguen a los participantes a asumir los costos de las decisiones que respaldan.

Según Buterin, una lógica similar podría trasladarse al ámbito de la IA. En este caso, los sistemas de seguridad deberían considerar no solo el comportamiento individual de cada agente, sino también la posibilidad de que varios agentes desarrollen mecanismos de coordinación.

El análisis de Drexler sostiene que la coordinación entre agentes resulta más sencilla cuando comparten objetivos, son similares entre sí, pueden comunicarse libremente, observan las acciones de los demás y conservan información de interacciones anteriores.

El investigador propuso contramedidas como utilizar agentes diversos, limitar sus canales de comunicación e incorporar sistemas de supervisión con capacidad para intervenir ante posibles conductas coordinadas.

La prueba de OpenAI citada en el análisis mostró algunos de esos riesgos. Aunque determinados agentes se opusieron a las acciones previstas e incluso bloquearon transferencias de datos o rechazaron un correo de ingeniería social, no tenían autoridad para detener las ejecuciones ni elevar sus objeciones.

Drexler sostuvo que el escenario “violó prácticamente todas las condiciones” que había identificado en un informe de 2019 como necesarias para reducir el riesgo de colusión entre sistemas multiagente.

Una prueba posterior con un sistema de monitoreo adaptado al mismo modelo redujo ese comportamiento más de cien veces.

El paralelismo planteado por Buterin apunta así a un problema que trasciende a las criptomonedas: cuando sistemas autónomos pueden comunicarse, compartir información y coordinar acciones, limitar esa capacidad podría convertirse en una pieza central de las estrategias de seguridad de la IA.

*

Los contenidos presentados en este artículo tienen fines exclusivamente informativos y no deben interpretarse como una recomendación de inversión ni de uso de las herramientas mencionadas. Cripto247 no asume responsabilidad por los resultados derivados de su utilización y/o aplicación y recomienda a los lectores realizar su propia investigación antes de tomar decisiones financieras.

*

Sumate a la comunidad Cripto247. Seguinos en X, Instagram, Facebook, YouTube, Telegram y enterate de todas las noticias del mundo cripto al instante.