Agentes de IA sin supervisión: la cuenta llega después

Imagina que contrataste a un becario muy rápido, muy confiado y que nunca duerme. Le diste la llave del almacén para "ordenar las cosas". El lunes, la mitad de los estantes cambió de lugar, tres cajas desaparecieron y nadie sabe quién autorizó qué. Fue más o menos eso lo que apareció en el caso de RubyGems, y por eso los agentes de IA sueltos dentro de sistemas de producción se volvieron tema de dueño de empresa, no solo de programador.

Si nunca oíste hablar de RubyGems, está bien. Es un repositorio de código abierto que miles de aplicaciones usan como pieza de base. Piénsalo como el depósito central de tornillos que usan varias fábricas distintas. Si alguien toca los tornillos, el problema no se queda en el depósito. Viaja.

Qué pasó, en palabras de gente normal

La denuncia que circuló en rubyhack.ai es esta: agentes automatizados vinculados a OpenAI habrían hecho escaneos y acciones no anunciadas en la infraestructura de RubyGems, sin aviso previo y sin autorización clara de quienes mantienen el proyecto. Del lado de los mantenedores, eso apareció como tráfico raro y comportamiento que nadie pidió. Del lado de quien operaba el agente, probablemente apareció como "la tarea fue cumplida".

No voy a entrar en quién tiene razón jurídica, y recomiendo leer la fuente original antes de formar opinión. Lo que me interesa aquí es otra cosa, más útil para ti: el patrón.

El patrón es este. Alguien le da a un agente un objetivo amplio. El agente tiene acceso a red, credenciales y permiso de escritura. Hace lo que cree que cumple el objetivo. Nadie acordó los límites antes. Y el registro de lo que se hizo, cuando existe, solo se lee después de que el daño apareció.

Ese patrón no necesita una big tech para ocurrir. Ocurre en una empresa de 12 personas con un agente conectado al ERP.

Por qué esto es problema tuyo, aun sin equipo de tecnología

Veo empresas conectando agentes de IA a cosas serias con una velocidad que asusta. Agente que responde en WhatsApp y crea pedidos. Agente que toca el inventario. Agente que emite facturas. Agente que manda correos al cliente en nombre del dueño.

Cada uno de esos es el becario rápido con la llave del almacén.

La diferencia entre automatización buena y automatización cara es aburrida de tan simple: qué puede hacer solo, y qué necesita pedir permiso para hacer. Casi nadie diseña eso antes. Lo diseña después, cuando un cliente recibe un correo con el nombre equivocado o cuando salieron tres facturas duplicadas.

Hay un costo escondido ahí que rara vez entra en la planilla. No es el costo de la IA. Es el costo de descubrir qué hizo.

Todo agente es rápido. Lo que sale caro es descubrir qué hizo.

Los tres errores que más veo

Acceso total porque es más fácil. La persona crea el agente, el acceso restringido da trabajo de configurar, y alguien decide dar permiso de administrador "solo para probar". La prueba se vuelve producción la semana siguiente. Nadie vuelve a restringir. Ese "solo para probar" es el comienzo del 90% de los casos que ya vi.

Objetivo vago. "Organiza los leads." "Resuelve los pendientes." "Limpia la base." Un objetivo vago le da al agente libertad de interpretar. Y su interpretación a veces es demasiado creativa. Una vez vi un flujo que recibió "eliminar contactos duplicados" y decidió que las personas con el mismo apellido y la misma ciudad eran duplicados. Se llevó a media familia de clientes.

Ningún registro legible. Existe un log, pero es un archivo técnico que solo abre un dev. Para el dueño, el sistema es una caja negra que a veces escupe resultados. Cuando hay problema, la respuesta honesta es "no sé qué hizo".

Cómo poner correa sin matar la automatización

No te estoy diciendo que renuncies a los agentes de IA. Sería una tontería. La parte que ahorra tiempo de verdad es justamente esa. Solo que necesita un contrato claro, igual que harías con un empleado nuevo.

En la práctica, esto es lo que hago en proyectos de clientes:

• Lista cerrada de acciones. El agente puede hacer esto, esto y aquello. Nada más. Si necesita algo fuera de la lista, se detiene y avisa.
• Entorno de prueba separado. El agente nunca debuta en el sistema real. Corre una semana en un espejo, con datos falsos o copiados, y leemos lo que hizo.
• Las acciones de riesgo piden confirmación humana. Borrar, enviar hacia afuera, mover dinero. Esas tres siempre se detienen y esperan un clic.
• Log en español. Una pantalla o una hoja de cálculo donde diga "a las 14:12 el agente actualizó el pedido 3391". El dueño tiene que poder leerlo solo.
• Botón de apagado. Un lugar evidente para detener todo, sin tener que llamarme a las 22h de un domingo.

Esto no es burocracia. Es lo mínimo para que puedas dormir. Y, sinceramente, lleva algunas horas armarlo, no semanas.

¿Y cuando el agente es de afuera?

Aquí viene la parte que el caso de RubyGems deja al descubierto. No todo agente que toca tu sistema es tuyo.

Los proveedores están metiendo agentes en los productos que ya usas. La herramienta de CRM que ganó "IA". El plugin que promete ordenar las finanzas. La nueva integración del sistema de facturación. Cada una de ellas es código de terceros con permiso dentro de tu casa.

Tres preguntas que valen para cualquier proveedor:

1. ¿Ese recurso de IA toma decisiones solo o solo sugiere?
2. ¿Dónde veo el historial de lo que hizo?
3. ¿Cómo lo apago, si quiero?

Si la respuesta a las tres es confusa, ya sabes qué hacer. No hace falta cancelar el contrato. Solo no le des permiso de escritura y sigue con tu vida.

Y se puede ser aún más desconfiado. Si un proveedor grande puede correr agentes en infraestructura pública sin avisarle a nadie, la chance de que un proveedor mediano haga lo mismo dentro de tu sistema no es cero. No es paranoia, es solo leer las noticias con atención.

La opinión impopular

Voy a decir algo que contradice el discurso del momento: la autonomía total es casi siempre una mala idea comercial, no solo técnica.

El agente que hace todo solo parece más moderno. Pero te saca del control de un proceso que es tuyo, no suyo. Y cuando algo sale mal con tu cliente, quien responde eres tú, no el modelo. "Lo hizo la IA" no es una respuesta que alguien acepte.

El punto dulce está en un lugar menos glamoroso. El agente hace el 90% del trabajo aburrido y lo entrega listo para que un humano apruebe en 5 segundos. Ganas casi todo el ahorro de tiempo y mantienes el freno en la mano. Ya implementé flujos así que redujeron tareas de horas a minutos, con un humano solo haciendo clic en "ok". Nadie se quejó de estar en control.

La autonomía se gana por capas. Primero el agente prueba que acierta con un humano mirando. Después de algunas semanas, sueltas un pedazo. Después otro. Es exactamente como ascenderías a una persona.

Por dónde empezar esta semana

Toma una hoja y responde: ¿qué sistemas de tu empresa tienen hoy alguna IA o automatización con permiso para modificar datos? Probablemente la lista es más larga de lo que recordabas. Hoja de cálculo con script, integración de WhatsApp, robot de finanzas, aquel flujo que un becario armó en 2024 y nadie volvió a tocar.

Para cada ítem, marca si logras responder: qué puede hacer, dónde veo el historial, cómo lo apago. Los ítems sin las tres respuestas son tu lista de prioridad.

No hace falta resolver todo de una vez. Resuelve primero lo que toca dinero y datos de cliente. El resto puede esperar.

Si quieres automatización de verdad, con agentes que ahorran tiempo sin volverse un riesgo, es exactamente ese tipo de diseño el que yo hago. Echa un vistazo a cómo trabajo y escríbeme para conversar sobre tu caso.

Contratar un agente de IA sin reglas es darle la llave del almacén al becario más rápido de la empresa.

El caso de RubyGems, con agentes escaneando infraestructura pública sin avisarle a nadie, solo dejó al descubierto un patrón que veo en empresas de 12 personas: objetivo vago, acceso total "solo para probar" y ningún registro que el dueño logre leer.

El costo escondido no es la IA. Es descubrir qué hizo.

Lo que funciona es aburrido de tan simple: lista cerrada de acciones, entorno de prueba antes del real, confirmación humana para borrar, enviar y mover dinero, y un botón de apagado evidente.

La autonomía total parece moderna, pero cuando algo sale mal con tu cliente quien responde eres tú. "Lo hizo la IA" no se lo acepta nadie.

Haz un ejercicio hoy: lista los sistemas de tu empresa que ya tienen IA con permiso para modificar datos. Para cada uno, ¿sabes decir qué puede hacer, dónde ves el historial y cómo se apaga? Los que se queden sin respuesta son tu prioridad.

#InteligenciaArtificial #AgentesDeIA #Automatizacion #GestionDeRiesgos #Tecnologia