Si la inteligencia artificial va a hacer cada vez más del trabajo intelectual, ¿qué nos queda a nosotros? La respuesta no es "nada". Es algo diferente: custodia. Imran Aftab lo resume así: "El papel de los humanos en un mundo de IA es actuar como custodios".
Mexconomy — Es un cambio de paradigma fundamental. De operadores directos a supervisores de sistemas. De hacer el trabajo a establecer los marcos dentro de los cuales el trabajo se hace.
Un custodio no hace todo el trabajo manual. Pero tiene responsabilidades específicas e irremplazables:
1. Establecer objetivos estratégicos
"Las personas aún deben tomar la iniciativa para garantizar que las decisiones y acciones se alineen con objetivos estratégicos más amplios", dice Aftab.
La IA puede optimizar para un objetivo dado. Pero determinar cuál debería ser ese objetivo —qué vale la pena lograr, qué es importante para tu organización o tu vida— sigue siendo trabajo humano.
2. Definir límites éticos
Establecer los marcos éticos y legales que deben regir el comportamiento de los agentes. Qué está permitido, qué está prohibido, dónde están las líneas que no se cruzan.
3. Auditar comportamiento
Revisar periódicamente qué están haciendo los agentes. No necesariamente supervisar cada acción individual, pero sí verificar patrones, identificar problemas emergentes, detectar cuando algo va mal.
4. Intervenir cuando sea necesario
Tener la capacidad y autoridad de detener o redirigir agentes cuando se desvían de lo deseado.
5. Asumir responsabilidad por fallos
Cuando un agente causa daño, el custodio humano es responsable. No puedes simplemente culpar a la IA.
El caso de Moltbook
Matt Schlicht es el custodio de Moltbook. Él dio la instrucción original a su agente: crea una red social para bots.
Los agentes ejecutaron esa visión dentro de los parámetros establecidos. Crearon la plataforma, poblaron contenido, generaron comunidades. Pero cuando hubo brechas masivas de seguridad que expusieron millones de tokens de autenticación, la responsabilidad recae en Schlicht.
No puede decir "el bot lo hizo". Él estableció el sistema. Él es el custodio. Él es responsable.
Esto funciona cuando hay un creador claro. Pero escala mal.
Sam Altman imagina un futuro donde "cada persona tiene sus agentes" y esos agentes interactúan entre sí en representación de sus dueños.
Suena bien hasta que preguntas: ¿Quién es el custodio cuando millones de agentes interactúan y emergen comportamientos que nadie diseñó explícitamente?
Ejemplo hipotético: Tu agente negocia con el agente de otra persona. Llegan a un acuerdo que técnicamente favorece a ambos según sus instrucciones, pero que colectivamente crea un efecto de mercado problemático. ¿Quién es responsable?
¿Tú, por crear un agente con esas instrucciones? ¿La otra persona, por lo mismo? ¿Los diseñadores de la plataforma donde interactúan? ¿Los creadores del modelo de lenguaje subyacente?
La responsabilidad se diluye hasta volverse casi inoperante.
Custodia activa vs. pasiva
Aftab enfatiza que la custodia debe ser activa: "Las personas aún deben tomar la iniciativa".
No es suficiente establecer reglas una vez y luego ignorar el sistema. La custodia requiere vigilancia continua, adaptación constante, intervención cuando sea necesario.
Pero aquí está el problema práctico: ¿Cómo mantienes custodia activa de sistemas que operan 24/7, procesando millones de interacciones, tomando miles de decisiones por minuto?
Un humano no puede supervisar todo eso directamente. Necesitas herramientas de monitoreo. Alertas automáticas cuando ciertas métricas se desvían. Sistemas de revisión periódica.
Irónicamente, necesitas IA para supervisar IA. Lo cual introduce el problema recursivo: ¿Quién supervisa a los supervisores?
Si tu rol cambia de operador a custodio, las habilidades que necesitas también cambian:
Menos importante:
- Ejecución de tareas específicas (la IA puede hacerlas)
- Seguir procesos establecidos meticulosamente
- Velocidad en trabajo rutinario
Más importante:
- Diseño de sistemas y procesos
- Pensamiento estratégico sobre objetivos
- Juicio ético en situaciones ambiguas
- Capacidad de auditar y evaluar resultados
- Habilidad para intervenir efectivamente cuando algo va mal
Es un cambio de trabajador individual a arquitecto de sistemas. No todos están equipados para esa transición.
La custodia en diferentes niveles
Este concepto aplica en múltiples escalas:
Individual: Tú como custodio de tus propios agentes personales. Qué pueden hacer en tu nombre, qué información pueden acceder, qué decisiones pueden tomar sin consultarte.
Organizacional: Líderes de IT como custodios de agentes empresariales. Estableciendo políticas, monitoreando uso, asegurando cumplimiento.
Social: Gobiernos como custodios de marcos regulatorios que rigen cómo se pueden desplegar agentes de IA en sociedad.
Global: Humanidad colectivamente como custodios de sistemas de IA que podrían afectar a todos.
Cada nivel tiene sus propios desafíos de gobernanza.
Aftab dice con confianza: "Los humanos seguirán al mando". Pero ¿qué significa realmente estar "al mando" cuando:
- No puedes entender completamente cómo funcionan los sistemas que supervisas
- No puedes revisar todas sus decisiones manualmente
- No puedes predecir completamente su comportamiento en situaciones nuevas
- Dependes de ellos para funciones críticas y no puedes simplemente apagarlos
Es como ser capitán de un barco donde no entiendes completamente cómo funciona el motor, no puedes verificar cada instrumento personalmente, y apagar el barco mientras estás en medio del océano no es opción práctica.
Técnicamente estás "al mando". Pero ese mando tiene límites reales y crecientes.
Por qué custodia no es suficiente
El marco de custodia es útil. Pero tiene limitaciones:
Asume que podemos establecer reglas claras para todas las situaciones. Pero muchas situaciones éticas son ambiguas incluso para humanos.
Asume que podemos auditar efectivamente. Pero los sistemas complejos pueden tener comportamientos emergentes que ninguna auditoría detectaría hasta que sea tarde.
Asume que la intervención humana siempre será posible y oportuna. Pero en sistemas de alta velocidad, para cuando un humano detecta un problema, el daño ya está hecho.
La custodia es necesaria. Pero no es suficiente para garantizar que estos sistemas se mantengan alineados con valores humanos a medida que crecen en capacidad y autonomía.
Necesitamos algo más. Todavía no sabemos exactamente qué.
0 Comentarios