Cartas · La ecuación humana · Número 04
¿Quién responde cuando un agente actúa?
Cuando un agente de IA reserva, compra, firma o daña, ¿quién responde? Qué dice la ley hoy, por qué «lo hizo el agente» no es excusa y qué es rendir cuentas.
La dueña de una pequeña ferretería le pidió a su agente de compras que repusiera los tornillos. Ella quería cuarenta cajas. El pedido que salió fue de cuatro mil, a un proveedor cuyas condiciones decían que no se aceptaban devoluciones pasados siete días.
Nadie lo notó durante una semana. El agente había hecho exactamente lo que entendió que era la tarea, y cada paso había parecido razonable. Cuando llegó la factura, sus primeras palabras no fueron «Me equivoqué». Fueron «Lo hizo el sistema».
Lo dijo durante más o menos un minuto. Luego tomó el teléfono y llamó ella misma al proveedor, porque sabía, sin que nadie se lo dijera, que la factura tenía su nombre.
Esta carta trata de ese minuto, y de por qué importa más con cada mes que los agentes de IA se vuelven más capaces.
Lo que dice la ley hoy
No somos abogados, y esto no es asesoría legal. Podemos describir la dirección del camino a octubre de 2026, y decir dónde solo pudimos confirmar las cosas de segunda mano.
El hilo común es sencillo: la responsabilidad sigue en manos de personas y organizaciones.
- California. El Proyecto de Ley de la Asamblea 316 se convirtió en ley en octubre de 2025 y entró en vigor el 1 de enero de 2026. Dice que quien desarrolló, modificó o usó una IA no puede defenderse de una demanda por daños alegando que la IA actuó de forma autónoma. Siguen abiertas otras defensas, como los argumentos sobre la causa o la previsibilidad. (Confirmamos el número de capítulo y las fechas en el resumen del registro legislativo oficial, pero no pudimos obtener el texto promulgado.)
- La Unión Europea. Una Directiva de Responsabilidad por Productos Defectuosos revisada trata el software, incluidos los sistemas de IA, como un producto. Los Estados miembros deben incorporarla a su derecho nacional antes del 9 de diciembre de 2026, y se aplica a los productos comercializados después. Por separado, las reglas de la Ley de IA para los sistemas de alto riesgo se han pospuesto: a diciembre de 2027 para los sistemas independientes y a agosto de 2028 para los integrados en productos. Los informes que leímos describen el aplazamiento como adoptado formalmente a mediados de 2026, pero las fuentes difieren en los detalles de publicación, así que conviene consultar el Diario Oficial.
- Estados Unidos, a nivel federal. En 2024 la Comisión Federal de Comercio dijo que no hay «ninguna exención para la IA» de las leyes vigentes, al anunciar acciones contra empresas que usaban IA para engañar a los clientes. Fue una declaración de ese momento y de esa dirección, y no hemos verificado que se mantenga con las mismas palabras. En febrero de 2026, el Instituto Nacional de Estándares y Tecnología puso en marcha una Iniciativa de Estándares para Agentes de IA, orientada a normas de seguridad, identidad e interoperabilidad. Es una base útil. No es una norma de responsabilidad.
- Un caso pequeño y revelador. En 2024 un tribunal canadiense falló contra una aerolínea cuyo chatbot en el sitio web dio a un cliente información equivocada sobre las tarifas. La aerolínea alegó que el chatbot era una entidad aparte, responsable de sus propias palabras. El tribunal lo rechazó. Fue una resolución de reclamos menores, así que persuade más de lo que obliga, pero el razonamiento es claro: respondes por lo que pones frente a tus clientes.
Las leyes todavía se están escribiendo, y los tribunales trazarán muchas líneas que no podemos prever. Aun así, la dirección es consistente. «Lo hizo el agente» no es una defensa.
Responder es más que ser legalmente responsable
La responsabilidad legal trata de quién paga. La rendición de cuentas trata de algo más antiguo.
Rendir cuentas es ser alguien a quien se puede preguntar «¿Por qué hiciste esto?» y que puede dar una respuesta honesta. Es poder decir «Me equivoqué», reparar el daño y ser perdonado o perdonar. Es una relación entre personas.
Una dueña de negocio puede mirar al proveedor a los ojos. Un sistema puede producir una explicación, y algunos son muy buenos en eso, pero una explicación no es lo mismo que responder. Un registro de lo que pasó no pide perdón. Un modelo que se reentrena no se arrepiente. Por eso una multa y una demanda, aunque importan, nunca pueden ser todo. Alguien tiene que ser quien da la cara.
Imagina ahora a un administrador escolar cuyo distrito acaba de activar un agente que redacta y envía cartas de asistencia a las familias. Una mañana, 300 familias reciben una carta que dice que su hijo corre el riesgo de ser dado de baja de la lista. Es un error, y varios padres están asustados. La primera pregunta en la reunión no es «¿Qué programa fue?». Es «¿Quién firma estas cartas?». Si el proceso no lleva el nombre de nadie, entonces nadie puede tomar el teléfono y decir: «Nos equivocamos, y esto es lo que estamos haciendo al respecto». Ese silencio es el verdadero daño, y dura más que el error.
Lo que dice la Escritura
La Biblia no menciona a los agentes, pero le preocupa profundamente el responder.
En Génesis 3, tras la primera desobediencia, Dios entra al huerto y llama: «¿Dónde estás tú?» (Génesis 3:9, RV 1909). No es una petición de información. Es una invitación a ponerse de pie y responder. Lo que sigue es una cadena de pasarse la culpa: el hombre señala a la mujer, la mujer señala a la serpiente. Es el «yo no fui» más antiguo del libro.
En Génesis 4, a Caín le preguntan por su hermano y responde con otra pregunta: «¿soy yo guarda de mi hermano?» (Génesis 4:9, RV 1909). El texto trata la pregunta como una evasiva, no como una respuesta. Somos, en un sentido real, responsables de lo que les sucede a otros cuando estaba en nuestro poder evitarlo o cuidarlos.
Jesús expresa el principio con claridad: «á cualquiera que fué dado mucho, mucho será vuelto á demandar de él» (Lucas 12:48, RV 1909). El poder de actuar es una forma de ser confiado con algo. Cuanto más podemos hacer, y cuanto más podemos delegar, más se nos exige. Esa es la vieja idea de mayordomía: lo que se pone en nuestras manos no es nuestro para soltarlo sin cuidado.
Un agente que puede actuar a gran escala es una confianza grande. El hilo cristiano no es «nunca delegues». Es «sabe en qué manos sigue estando la cosa».
Una pregunta abierta, una respuesta honesta
¿Podría un sistema de IA ser alguna vez responsable por derecho propio? ¿Podría preguntársele «¿por qué?» y responder como alguien, ser agraviado o agraviar a otros, y ser perdonado? No lo sabemos. Es la misma puerta abierta que describimos en Útil no es lo mismo que persona al hablar del estatus moral, y no queremos cerrarla de golpe. Personas serias discrepan.
Pero sea lo que sea cierto sobre el futuro lejano, la respuesta de hoy no está abierta. Ningún agente que funcione ahora puede ser llamado a rendir cuentas como lo puede una persona. Así que la rendición de cuentas debe permanecer en personas y organizaciones, y debe organizarse a propósito, de antemano, con nombres. «Lo hizo el agente» nunca debe ser una excusa, ni ante un cliente, ni ante un regulador, ni ante una familia, ni ante nosotros mismos.
Esto nos protege también de una tentación más sutil. Si dejamos que la rendición de cuentas se deslice hacia la máquina, podemos descubrir que hemos dejado que se deslice con ella la capacidad de actuar, y con ella un poco de lo que hace nuestro el trabajo.
Dónde nos deja esto
La dueña de la ferretería nunca logró devolver los tornillos. Los vendió durante el año siguiente, unas pocas cajas a la vez, a contratistas a quienes les gustaba un buen precio. También cambió su forma de trabajar: nada que pase de cierto tamaño sale hasta que ella lo haya leído, y el trabajo del agente se revisa cada viernes.
La herramienta sigue siendo útil. Pero la factura sigue teniendo su nombre, y ella no lo querría de otra manera. Ser quien responde es una carga, y también una forma de dignidad.
La ecuación humana examina la inteligencia artificial, el progreso tecnológico, la economía y el sentido humano, e intenta separar lo que podemos observar, lo que razonablemente podemos esperar y lo que sigue estando en nuestras manos decidir.
Esta carta es información general y no es asesoría legal.
Fuentes y lecturas adicionales
- California Assembly Bill 316 (2025), Chapter 672, Statutes of 2025, que añade la sección 1714.46 del Código Civil; resumen del registro California Legislative Information y de CalMatters Digital Democracy. No se obtuvo directamente el texto promulgado.
- Directiva (UE) 2024/2853 sobre responsabilidad por los daños causados por productos defectuosos (Directiva revisada de responsabilidad por productos), Diario Oficial de la Unión Europea.
- Digital Omnibus on AI, aplazamiento de las obligaciones de alto riesgo de la Ley de IA (acordado en mayo de 2026, adoptado a mediados de 2026); conocido por resúmenes de despachos de abogados. Consulta el Diario Oficial para el texto y las fechas definitivos.
- Federal Trade Commission, comunicado de prensa sobre Operation AI Comply (septiembre de 2024).
- National Institute of Standards and Technology, «Announcing the AI Agent Standards Initiative for Interoperable and Secure Innovation» (17 de febrero de 2026).
- Moffatt v. Air Canada, 2024 BCCRT 149 (Civil Resolution Tribunal de Columbia Británica, 14 de febrero de 2024).
- Génesis 3:9, Génesis 4:9 y Lucas 12:48, Reina-Valera 1909.
Las leyes y los planes se describen a octubre de 2026 y pueden haber cambiado. Consulta los originales.
El equipo de Arrenite
Términos de esta carta
- agente de IA
- Un sistema de IA que hace más que responder: puede perseguir una meta en varios pasos, usar herramientas y servicios y realizar acciones como reservar, comprar o enviar, a menudo con poca supervisión. Más información
- rendición de cuentas
- Ser responsable de lo que has hecho: poder ser preguntado por qué, dar una explicación honesta y reparar el daño. Es distinta de la responsabilidad legal, que solo trata de quién paga. Más información
- mayordomía
- Cuidar con responsabilidad algo que se te ha confiado, como el tiempo, el dinero, la creación o un don, en lugar de poseerlo por completo.
- estatus moral
- Si un ser importa por sí mismo, de modo que le debemos algo, como no causarle daño innecesario. Si los sistemas de IA podrían tenerlo, y cuándo, es una pregunta abierta. Más información
- capacidad de actuar
- La capacidad de tomar tus propias decisiones y actuar según ellas, en lugar de que solo hagan cosas contigo o por ti.