Auditoría de flujos con IA: por qué las horas ahorradas son un mal criterio

Respuesta directa

Una auditoría de flujo de trabajo de IA es la clasificación que decide qué flujo de trabajo automatiza primero una empresa. La mayoría de las auditorías clasifican a los candidatos según las horas ahorradas, lo que mide el tamaño del premio y no dice nada sobre el costo de equivocarse. En lugar de ello, clasifíquelos por reversibilidad (cuán barato se puede retirar una producción equivocada), luego por densidad de decisiones y luego por volumen.

Conclusiones clave

• Las horas ahorradas miden el premio. No predice si la automatización sobrevivirá a su primer mal resultado.
• La reversibilidad es una pregunta con una respuesta: quién tiene que estar involucrado para deshacer esto y de cuánto tiempo dispone.
• La densidad de decisiones no es un recuento de pasos. Catorce pasos mecánicos y una decisión de juicio es una construcción más fácil que tres pasos que son todos juicios.
• La primera automatización en una empresa tiene un trabajo, y no es ahorrar horas. Se está ganando el derecho a construir el segundo.

La hoja de cálculo que elige el flujo de trabajo incorrecto

La auditoría casi siempre llega en forma de hoja de cálculo. Columnas: nombre del proceso, propietario, horas por semana, idoneidad de la IA calificada como alta, media o baja. Alguien ordena los descensos por horas y la fila superior se convierte en el piloto.

Esa hoja de cálculo no tiene ninguna columna para lo que sucede cuando el resultado es incorrecto.

Observe cómo se completa. Un líder de operaciones exporta una lista de tickets desde el servicio de asistencia técnica y la pega en Hojas de cálculo. La columna de horas por semana es una suposición, recopilada preguntando a cuatro jefes de departamento en un hilo de Slack y redondeando lo que dicen. La columna de idoneidad de la IA la completa quien haya visto una demostración de un proveedor más recientemente. Nadie abre una sola instancia real: el correo electrónico específico, el PDF específico adjunto, el campo específico que alguien vuelve a escribir en el ERP después. La hoja se termina en una tarde, lo que es parte del motivo por el que se confía en ella.

Es una omisión razonable. Las horas son contables y ya están en la hoja de tiempo de alguien, mientras que “qué sucede cuando está mal” requiere preguntarle a una persona que hace el trabajo, y la respuesta es un párrafo en lugar de un número. Por eso la auditoría mide lo que es fácil de medir y denomina al resultado una lista de prioridades.

Los organismos de normalización no toman la decisión tan a la ligera. El Marco de gestión de riesgos de IA del NIST enumera un proceso explícito para tomar decisiones de implementación y puesta en marcha de ir/no ir entre los resultados para producir, y su función de mapa solicita que las tolerancias de riesgo de la organización se determinen y documenten en lugar de asumirse. Una tarde en Sheets no es ese proceso.

El resultado es un sesgo sistemático hacia flujos de trabajo en los que resulta caro equivocarse. Muchas horas por semana generalmente significan un gran volumen, y un alto volumen en un proceso operativo generalmente significa que el proceso afecta a los clientes, el dinero o un registro en el que alguien más confía. Esos son exactamente los flujos de trabajo en los que una salida incorrecta no se puede retractar silenciosamente.

Qué debería medir la puntuación

La pregunta que la auditoría en realidad intenta responder no es “¿dónde está la mayor parte del tiempo?”. Se trata de “qué flujo de trabajo podemos cambiar sin que el cambio sea fatal si el sistema está mal”.

Dos propiedades responden a eso. Ninguno de los dos aparece en la hoja estándar.

Reversibilidad es el costo de deshacer una salida incorrecta después de que haya salido del control del operador. No cuesta nada descartar una respuesta redactada que se encuentra en una cola de revisión. Un reembolso publicado en la tarjeta de un cliente cuesta una segunda persona, una entrada de conciliación y una conversación. Un precio publicado en un catálogo público es técnicamente trivial de revertir y costoso en confianza, porque alguien ya tomó una captura de pantalla.

Densidad de decisión es el número de puntos por instancia en los que dos personas competentes, dadas las mismas entradas, podrían producir resultados diferentes. Esto no es lo mismo que el número de pasos. Los pasos son mecánicos y son la parte que mejor se automatiza. Las decisiones son aquellas en las que el sistema necesita una puerta o debe detenerse.

La puntuación de horas ahorradas se colapsa en un solo número y los pierde. Un flujo de trabajo puede ser el elemento más grande de la hoja y el peor lugar posible para comenzar, porque cada instancia termina en una decisión irreversible.

Por qué la primera automatización no se trata de horas

Hay una razón de segundo orden para ordenar de esta manera, y es más importante que la aritmética.

La primera automatización que envía una empresa determina si hay una segunda. No por el retorno de la inversión (nadie calcula el retorno de la inversión honestamente en esa etapa) sino por lo que el equipo vio suceder. Si el primer sistema produjo un error visible y costoso frente a un cliente, la siguiente propuesta llega a una sala que ya ha decidido. La objeción se formulará como una pregunta sobre la exactitud. No se trata de precisión.

Por lo tanto, el primer candidato debería ser seleccionado por un fracaso barato, no por el premio máximo. No estás comprando horas. Estás comprando la voluntad de la organización de seguir adelante, y eso se valora en función de la capacidad de supervivencia al primer error.

Este es el mismo error que sigo encontrando una capa más abajo, en por qué la mayoría de los proyectos de adopción de IA comienzan en la capa incorrecta: una decisión aparentemente correcta tomada con la unidad de análisis incorrecta.

Cómo ejecutar la auditoría

1. Listar instancias, no procesos

La “atención al cliente” no es un flujo de trabajo. “Un cliente envía un correo electrónico preguntando dónde está su pedido” es un flujo de trabajo. También lo es “un cliente envía un correo electrónico solicitando cancelar un pedido que ya se envió”. Esos dos comparten un departamento, una bandeja de entrada y una persona, y no tienen nada más en común: uno termina en una búsqueda y el otro en un movimiento de dinero.

El artefacto es una lista de pares de desencadenante y resultado, escrita en el grano de una sola instancia. Espere entre treinta y sesenta de ellos en una empresa pequeña, y espere que varios sean cosas para las que nadie tenía nombre.

2. Marca dónde cada uno sale de tu control

Para cada caso, nombre el punto donde la salida deja de ser editable: la bandeja de entrada de un cliente, una transferencia bancaria, una página pública, un documento archivado, una entrada del libro mayor, un mensaje a un proveedor.

Algunos flujos de trabajo nunca salen. Terminan en una cola interna que un colega lee a continuación. Ésos son los lugares más baratos de la empresa para equivocarse, y es allí donde pertenece la primera construcción.

La trampa aquí es asumir que lo interno es igual a seguro. Un nivel de existencias, una entrada contable o un campo de CRM desde el que leen otros tres procesos es un punto de salida, porque el error se propaga antes de que alguien lo revise.

3. Puntuación de la reversibilidad en bandas, no en una escala

El riesgo puntuado del 1 al 5 es un sentimiento con un número adjunto, y promedia lo catastrófico con lo trivial en un cómodo 3. Utilice bandas que describan una recuperación real:

• Deshacer solo, en cuestión de minutos. El operador lo elimina. Nadie más se entera de lo que sucedió.
• Deshacer con un colega, dentro de un día. Alguien con permisos diferentes tiene que actuar y ahora hay un registro.
• No se puede deshacer sin contactar a la contraparte. Se debe informar al cliente, al proveedor o a la autoridad. La disculpa es parte de la solución.

La banda, no el promedio, es la clave de clasificación.

4. Cuente las decisiones por separado de los pasos

Camine una instancia y marque cada punto por donde entra el juicio. No clics: los clics son precisamente lo que la máquina hace bien. El juicio es donde las entradas subdeterminan la respuesta.

Una cotización que requiere catorce búsquedas y una llamada para determinar si se debe descontar es un buen candidato: automatice las catorce y bloquee la una. Una aprobación de tres pasos en la que en cada paso una persona decide si cree que el solicitante es lo contrario: un pequeño recuento de pasos que oculta tres juicios separados y un número bajo en la hoja que lo halaga.

5. Ordenar por banda, luego densidad, luego volumen

Primera banda de reversibilidad. Dentro de una banda, menos decisiones por instancia superan a más. El volumen es el factor de desempate, no la clave de clasificación.

El volumen intentará volver a subir a la parte superior de la hoja, porque las horas ahorradas es el número que solicitó la persona que financia esto. Puede permanecer en la hoja como una columna. No llega a ser ese tipo de cosas.

6. Nombra la puerta antes de construir algo.

Para el candidato ganador, escriba la acción exacta que requiere una firma humana y la superficie exacta donde el humano la da. “Una persona aprueba el reembolso en la vista del servicio de asistencia técnica existente antes de publicarlo” es una puerta. “Humano en el circuito” es una política, y una política no detiene una escritura.

Si no puedes nombrar la acción, aún no has encontrado el límite, lo que significa que el paso 4 se realizó en el grano equivocado. Dónde pertenece realmente el ser humano en el circuito en un flujo de trabajo de IA es el mismo problema planteado desde el otro extremo.

7. Escriba la ruta de deshacer antes de enviarlo

La instancia 400 será incorrecta. Decida ahora en qué hace clic el operador, a quién se le notifica y cómo se ve el registro de la corrección.

Un sistema sin una ruta de deshacer no se corrige cuando falla. Se apaga y rara vez se vuelve a accionar el interruptor.

¿Qué suele fallar cuando ejecutas esta auditoría?

Cada paso tiene una falla característica y casi siempre es un retroceso hacia la medición más fácil.

¿Qué pasa si el flujo de trabajo con mayor cantidad de horas es también el menos reversible?

No te lo saltes. Lo divides.

Casi todos los flujos de trabajo costosos e irreversibles son un largo cuerpo mecánico que termina en una decisión breve. La revisión del contrato consiste en leer cuarenta páginas y luego decidir si se firma. Un reembolso consiste en comprobar seis sistemas y luego decidir si se paga. La irreversibilidad vive en el último paso, y suele ser el más corto.

Automatizar el cuerpo. Deje el manual de decisiones y brinde al ser humano mejores aportes que antes: las seis búsquedas ya realizadas, las contradicciones que surgieron, el documento faltante nombrado. De todos modos, las horas provienen principalmente del cuerpo. Lo que ha eliminado es la búsqueda, no el juicio, que es la distinción Cómo medir si un flujo de trabajo de IA está realmente funcionando existe para mantener la honestidad.

Esa división es también lo que supone el reglamento. La Ley de IA de la UE exige que una persona que supervise un sistema de alto riesgo pueda decidir no utilizarlo o ignorar, anular o revertir su salida: la reversibilidad se trata como una propiedad con la que se debe construir el sistema, no como una promesa hecha al respecto después. Estas obligaciones se aplicarán a partir del 2 de diciembre de 2027 para los sistemas enumerados en el anexo III.

Ese es el mismo criterio que el paso 3, llegando desde una dirección diferente. El regulador no pregunta cuántas horas ahorra el sistema. Se pregunta si una persona nombrada puede retirar la salida.

¿Qué no es este argumento?

No se trata de automatizar sólo cosas triviales. La reversibilidad es un criterio de secuenciación, no un techo. Una vez que un equipo tiene un sistema en el que confía, un registro de auditoría que lee y una ruta para deshacer que realmente ha utilizado, los flujos de trabajo irreversibles quedan disponibles, con una puerta y con una conversación diferente sobre para qué sirve la puerta.

Tampoco es un ejercicio de cumplimiento. Nada aquí produce un documento para un regulador. Produce un orden de clasificación, y el orden de clasificación es diferente al que le proporcionó la hoja de cálculo.

Y no rescata un proceso roto. Un flujo de trabajo que es incoherente cuando lo ejecutan humanos sigue siendo incoherente a mayor velocidad, lo cual es un diagnóstico aparte sobre el que escribí en por qué generalmente falla agregar un agente de IA a un flujo de trabajo roto. La auditoría le dice por dónde empezar. No te dice cuál es el destino que vale la pena alcanzar.

Resumen

Ordene su lista de candidatos según qué tan barato se puede recuperar un resultado incorrecto, y el flujo de trabajo que llegue a la cima rara vez será el que tenga más horas dedicadas. Ese es el punto. Las horas siguen ahí el próximo trimestre, y para entonces el equipo tiene un sistema que ya corrigió una vez y mantuvo.

Esta semana: tome los tres flujos de trabajo que se encuentran actualmente en la parte superior de la hoja de cálculo de alguien y, para cada uno, escriba la oración que describa quién debe participar para deshacer un único resultado incorrecto. Si la oración de un flujo de trabajo nombra al cliente, no es el primero.