¿Qué debe seguir siendo humano cuando integras IA en las operaciones?

Respuesta Directa

Sigue siendo humana toda decisión que conlleve responsabilidad legal, exija un juicio colegiado, o toque al cliente en un momento que no se puede deshacer. Todo lo demás es candidato para la IA, por compleja que parezca la tarea sobre el papel. La mayoría de las operaciones trazan esta línea según la dificultad de la tarea en lugar de según quién carga con la consecuencia cuando el sistema se equivoca, y ese es exactamente el error del que trata este texto.

Puntos Clave

• La responsabilidad, no la dificultad, decide qué sigue siendo humano. Una firma de cinco segundos puede pesar más que un análisis de dos horas.
• Los actos colegiados (la aprobación de un contable, un dictamen jurídico, un diagnóstico, una certificación de cumplimiento) siguen siendo humanos porque la licencia es lo que la IA no puede ostentar, no la habilidad que hay detrás.
• Los momentos irreversibles con el cliente, como cerrar una cuenta o denegar un siniestro, necesitan una persona con la que se pueda discutir antes de que la decisión sea firme.
• Las situaciones inéditas sin precedente son donde los modelos reconocen patrones con confianza y se equivocan. Deriva esas a una persona antes de que el patrón equivocado se convierta en política.
• El artículo 14 del Reglamento de IA de la UE ya codifica una versión de esto para los sistemas de alto riesgo: la supervisión debe ser proporcional al riesgo, no aplicarse como norma general a cada paso.

¿Qué tiene que seguir siendo humano de verdad?

Mapeo flujos de trabajo para vivir, y la pregunta que más me hacen es alguna variante de «cuánto de esto podemos automatizar». Es la pregunta equivocada. La correcta es: ¿en qué paso se adhiere un nombre, una licencia o una relación al resultado? Todo lo anterior a ese paso es coordinación, mover información entre sistemas y personas, y la coordinación es exactamente lo que la IA elimina bien. Todo en ese paso y después es un lugar donde alguien tiene que poder decir «yo decidí esto», y decirlo en serio.

Cinco categorías aparecen una y otra vez en los flujos que he mapeado:

Ninguna de estas trata de que la IA lo haga mal. Un modelo puede redactar la declaración de IVA, resumir el expediente del siniestro o marcar la reclamación como inusual más rápido que una persona. Lo que no puede es ostentar la licencia, absorber la responsabilidad ni reparar una relación estando presente. Moody’s señala lo mismo para las funciones de riesgo y cumplimiento en particular: la supervisión sigue importando precisamente porque la rendición de cuentas no se transfiere al modelo. Eso es un límite estructural, no una carencia de capacidad que cierren los modelos mejores.

Lo que esto no es

No es el mismo argumento que el diseño de flujos human-in-the-loop, sobre el que he escrito aparte, dónde pertenece realmente el human-in-the-loop en un flujo de IA trata de en qué punto de una cadena insertas una puerta de aprobación. Este texto está aguas arriba de aquel. Trata de qué categorías de decisión no deberían delegarse nunca por completo, independientemente de dónde estén las puertas, de la precisión del modelo, o de cuánto confíe el equipo en el sistema tras seis meses de funcionamiento limpio. Incluso mientras las empresas desplazan la mecánica de la supervisión desde un paso bloqueante human-in-the-loop hacia un modelo supervisor human-on-the-loop, las categorías que exigen una persona no se mueven, solo cambia con cuánta atención mira esa persona.

Tampoco es un alegato para mantener humanos en todas partes por precaución. La mayor parte del trabajo dentro de un flujo roto (perseguir un documento, reteclear un campo, comprobar un estado que ya han comprobado tres personas) no conlleva responsabilidad alguna y se revierte con facilidad si sale mal. Ese trabajo debe moverse. Mantener a una persona en ese bucle «por seguridad» es el mismo error en la otra dirección: no es un límite, es una costumbre, y las costumbres son exactamente lo que la mayoría de los proyectos de adopción de IA hacen mal al empezar por la capa de coordinación en vez de por la de decisión.

¿Cómo se encuentra esta línea dentro de un flujo real?

Mapea el flujo de principio a fin, como hice para un sistema de siniestros de seguros nativo en IA y para un sistema de cumplimiento de marcado CE. En cada paso, haz tres preguntas: ¿se adhiere aquí alguna licencia?, ¿esto se revierte si sale mal?, y ¿ha ocurrido antes exactamente esta situación? Un «no» en reversibilidad o un «no» en precedente es donde está el límite, aunque el paso parezca rutinario desde fuera. En ambos sistemas, el montaje de documentos, el cruce de referencias y el seguimiento del estado pasaron al sistema. La firma que declara completo el expediente, no.

Esto produce una lista más corta de lo que esperan la mayoría de los equipos. En un flujo de siniestros, el límite humano suele ser uno o dos pasos: la decisión del perito sobre siniestros dudosos y la aprobación de pagos por encima de cierto umbral. Todo lo anterior (recepción, emparejamiento de documentos, consulta de póliza, marcado de fraude para revisión) es coordinación. Simplemente no lo parece mientras se sigue haciendo a mano, que es también por lo que añadir un agente de IA encima de ese flujo sin redibujar antes el límite suele fallar.

Resumen

El límite entre el trabajo humano y el de la IA no depende de la dificultad de la tarea, y no se mueve a medida que mejoran los modelos. Está en el punto donde una licencia, una firma legal o una consecuencia irreversible para el cliente se adhiere al resultado. Mapea un flujo buscando ese punto en lugar de buscar lo que parece difícil, y la línea aguanta incluso después de que la IA mejore en todo lo que la rodea.

Preguntas Frecuentes

¿Un modelo de IA más capaz cambia lo que debe seguir siendo humano?

No. Un modelo mejor cambia cuánta redacción, síntesis y coordinación puede asumir con seguridad antes del paso humano. No cambia quién tiene la licencia ni quién absorbe la responsabilidad, porque eso es un hecho legal y organizativo, no un límite de capacidad.

¿No es lo mismo que el diseño human-in-the-loop?

No. El human-in-the-loop trata de dónde colocas una puerta de aprobación dentro de un flujo de trabajo. Esto trata de qué categorías de decisión no deberían automatizarse nunca por completo, independientemente de dónde estén esas puertas.

¿Y si mantener a una persona en un paso de bajo riesgo simplemente sale más barato por ahora?

Esa es una decisión de recursos, no un límite. Está bien mantener a alguien en algún punto de forma temporal. La distinción de este texto es entre pasos que deben seguir siendo humanos por principio y pasos que simplemente siguen siendo manuales.

¿Cómo definen los reguladores este límite?

El artículo 14 del Reglamento de IA de la UE exige que la supervisión humana de los sistemas de alto riesgo sea proporcional al riesgo, al grado de autonomía y al contexto de uso, en lugar de uniforme en todas las funciones, lo que se acerca mucho a la línea de responsabilidad descrita aquí.

¿Se aplica esto a equipos pequeños sin función de cumplimiento?

Sí. Las categorías (responsabilidad, actos colegiados, daño irreversible, juicio inédito, reparación de la confianza) existen tenga o no la empresa un responsable de cumplimiento designado. Los equipos pequeños simplemente suelen advertir el límite más tarde, normalmente después de un caso límite que sale mal.