Έλεγχος ροών AI: γιατί οι ώρες εξοικονόμησης είναι λάθος κριτήριο

Άμεση απάντηση

Ένας έλεγχος ροών εργασίας AI καταλήγει στην κατάταξη που καθορίζει ποια ροή θα αυτοματοποιήσει πρώτη μια επιχείρηση. Οι περισσότεροι έλεγχοι βασίζονται στις ώρες που εξοικονομούνται. Αυτό μετρά το πιθανό όφελος, αλλά δεν λέει τίποτα για το κόστος ενός λάθους. Προτείνω πρώτα την αναστρεψιμότητα, πόσο εύκολα και οικονομικά ανακαλείται ένα λανθασμένο αποτέλεσμα, έπειτα την πυκνότητα αποφάσεων και τέλος τον όγκο εργασίας.

Βασικά συμπεράσματα

• Οι ώρες που αποθηκεύτηκαν μετρούν το έπαθλο. Δεν προβλέπει εάν ο αυτοματισμός επιβιώνει από την πρώτη κακή του απόδοση.
• Η αναστρεψιμότητα είναι μια ερώτηση με μια απάντηση: ποιος πρέπει να εμπλακεί για να το αναιρέσει και πόσο καιρό έχει.
• Η πυκνότητα αποφάσεων δεν είναι μέτρηση βημάτων. Δεκατέσσερα μηχανικά βήματα και μια κλήση κρίσης είναι μια ευκολότερη κατασκευή από τρία βήματα που είναι όλα κρίση.
• Ο πρώτος αυτοματισμός σε μια εταιρεία έχει μία δουλειά και δεν είναι εξοικονόμηση ωρών. Κερδίζει το δικαίωμα κατασκευής του δεύτερου.

Το υπολογιστικό φύλλο που επιλέγει τη λάθος ροή εργασίας

Ο έλεγχος φτάνει σχεδόν πάντα ως υπολογιστικό φύλλο. Στήλες: όνομα διεργασίας, ιδιοκτήτης, ώρες την εβδομάδα, καταλληλότητα τεχνητής νοημοσύνης με υψηλή, μεσαία ή χαμηλή βαθμολογία. Κάποιος ταξινομείται κατεβαίνοντας με τις ώρες και η πάνω σειρά γίνεται ο πιλότος.

Αυτό το υπολογιστικό φύλλο δεν έχει στήλη για το τι συμβαίνει όταν η έξοδος είναι λάθος.

Παρακολουθήστε πώς συμπληρώνεται. Ένας υποψήφιος πελάτης εξάγει μια λίστα εισιτηρίων από το γραφείο υποστήριξης και την επικολλά στα Φύλλα. Η στήλη ώρες ανά εβδομάδα είναι μια εικασία, που συλλέγεται ρωτώντας τέσσερις επικεφαλής τμημάτων σε ένα νήμα Slack και στρογγυλοποιώντας οτιδήποτε λένε. Η στήλη καταλληλότητας AI συμπληρώνεται από όποιον παρακολούθησε μια επίδειξη προμηθευτή πιο πρόσφατα. Κανείς δεν ανοίγει ούτε μία πραγματική παρουσία: το συγκεκριμένο email, το συγκεκριμένο PDF που επισυνάπτεται σε αυτό, το συγκεκριμένο πεδίο που κάποιος πληκτρολογεί ξανά στο ERP στη συνέχεια. Το φύλλο ολοκληρώνεται σε ένα απόγευμα, γεγονός που είναι μέρος του γιατί το εμπιστεύονται.

Είναι εύλογη παράλειψη. Οι ώρες είναι μετρήσιμες και βρίσκονται ήδη στο φύλλο χρόνου κάποιου, ενώ το “τι συμβαίνει όταν είναι λάθος” απαιτεί να ρωτήσετε ένα άτομο που κάνει τη δουλειά και η απάντηση είναι μια παράγραφος και όχι ένας αριθμός. Έτσι, ο έλεγχος μετρά ό,τι είναι εύκολο να μετρηθεί και ονομάζει το αποτέλεσμα λίστα προτεραιότητας.

Οι φορείς τυποποίησης δεν αντιμετωπίζουν την απόφαση τόσο επιπόλαια. Το Πλαίσιο Διαχείρισης Κινδύνων AI του NIST παραθέτει μια ρητή διαδικασία για τη λήψη αποφάσεων εκκίνησης/απαγόρευσης ανάθεσης και εγκατάστασης μεταξύ των αποτελεσμάτων που υπάρχει για να παράγει, και η λειτουργία Χάρτη του ζητά να καθορίζονται και να τεκμηριώνονται οι ανοχές οργανωτικού κινδύνου αντί να λαμβάνονται υπόψη. Ένα απόγευμα στο Sheets δεν είναι αυτή η διαδικασία.

Το αποτέλεσμα είναι μια συστηματική προκατάληψη προς ροές εργασιών που είναι δαπανηρές για να γίνουν λάθος. Υψηλές ώρες την εβδομάδα συνήθως σημαίνει υψηλός όγκος και υψηλός όγκος σε μια επιχειρησιακή διαδικασία συνήθως σημαίνει ότι η διαδικασία αγγίζει πελάτες, χρήματα ή ένα ρεκόρ στο οποίο βασίζεται κάποιος άλλος. Αυτές είναι ακριβώς οι ροές εργασίας όπου μια λανθασμένη έξοδος δεν μπορεί να ανακληθεί αθόρυβα.

Τι πρέπει να μετράει η βαθμολογία

Το ερώτημα που προσπαθεί στην πραγματικότητα να απαντήσει ο έλεγχος δεν είναι «πού είναι ο περισσότερος χρόνος». Είναι “ποια ροή εργασίας μπορούμε να αλλάξουμε χωρίς η αλλαγή να είναι μοιραία εάν το σύστημα είναι λάθος.”

Δύο ιδιότητες απαντούν σε αυτό. Κανένα από τα δύο δεν εμφανίζεται στο τυπικό φύλλο.

Η αναστρεψιμότητα είναι το κόστος της αναίρεσης μιας λανθασμένης εξόδου αφού φύγει από τον έλεγχο του χειριστή. Μια συνταγμένη απάντηση που βρίσκεται σε μια ουρά αναθεώρησης δεν κοστίζει τίποτα για απόρριψη. Η επιστροφή χρημάτων που δημοσιεύεται στην κάρτα ενός πελάτη κοστίζει ένα δεύτερο άτομο, μια καταχώριση συμφωνίας και μια συνομιλία. Μια τιμή που προωθείται ζωντανά σε έναν δημόσιο κατάλογο είναι τεχνικά ασήμαντη και ακριβή στην εμπιστοσύνη, επειδή κάποιος την έχει ήδη τραβήξει ένα στιγμιότυπο οθόνης.

Πυκνότητα απόφασης είναι ο αριθμός των σημείων ανά περίπτωση όπου δύο ικανά άτομα, με τις ίδιες εισροές, θα μπορούσαν να παράγουν διαφορετικά αποτελέσματα. Αυτό δεν είναι το ίδιο με τον αριθμό των βημάτων. Τα βήματα είναι μηχανικά και είναι το μέρος που αυτοματοποιεί καλά. Οι αποφάσεις είναι εκεί όπου το σύστημα είτε χρειάζεται μια πύλη είτε πρέπει να σταματήσει.

Η βαθμολογία αποθηκευμένων ωρών συμπτύσσεται σε έναν αριθμό και τις χάνει. Μια ροή εργασίας μπορεί να είναι το μεγαλύτερο στοιχείο στο φύλλο και το χειρότερο δυνατό σημείο έναρξης, επειδή κάθε μεμονωμένη περίπτωση τελειώνει με μια μη αναστρέψιμη απόφαση.

Γιατί ο πρώτος αυτοματισμός δεν αφορά ώρες

Υπάρχει ένας δεύτερος λόγος ταξινόμησης με αυτόν τον τρόπο, και έχει μεγαλύτερη σημασία από την αριθμητική.

Ο πρώτος αυτοματισμός που στέλνει μια εταιρεία καθορίζει εάν υπάρχει και δεύτερος. Όχι λόγω της απόδοσης επένδυσης (ROI), κανείς δεν υπολογίζει την απόδοση επένδυσης με ειλικρίνεια σε εκείνο το στάδιο, αλλά λόγω αυτού που είδε η ομάδα να συμβαίνει. Εάν το πρώτο σύστημα παρήγαγε ένα ορατό, ακριβό λάθος μπροστά σε έναν πελάτη, η επόμενη πρόταση φτάνει σε ένα δωμάτιο που έχει ήδη αποφασίσει. Η ένσταση θα διατυπωθεί ως ερώτηση σχετικά με την ακρίβεια. Δεν είναι θέμα ακρίβειας.

Άρα ο πρώτος υποψήφιος θα πρέπει να επιλεγεί για φθηνή αποτυχία, όχι μέγιστο έπαθλο. Δεν αγοράζετε ώρες. Αγοράζετε την προθυμία του οργανισμού να συνεχίσει, και αυτό κοστολογείται στο πόσο επιβιώσιμο είναι το πρώτο λάθος.

Αυτή είναι η ίδια αποτυχία που βρίσκω συνέχεια ένα επίπεδο προς τα κάτω, στο γιατί τα περισσότερα έργα υιοθέτησης τεχνητής νοημοσύνης ξεκινούν από λάθος επίπεδο: μια σωστή απόφαση που ελήφθη ενάντια στη λάθος μονάδα ανάλυσης.

Πώς να εκτελέσετε τον έλεγχο

1. Λίστα παρουσιών, όχι διεργασιών

Η “υποστήριξη πελατών” δεν είναι μια ροή εργασίας. “Ένας πελάτης στέλνει email ρωτώντας πού είναι η παραγγελία του” είναι μια ροή εργασίας. Το ίδιο ισχύει και για “ένα email πελάτη που ζητά να ακυρώσει μια παραγγελία που έχει ήδη αποσταλεί.” Αυτοί οι δύο μοιράζονται ένα τμήμα, ένα inbox και ένα άτομο, και δεν έχουν τίποτα άλλο κοινό - το ένα καταλήγει σε αναζήτηση, το άλλο καταλήγει σε διακίνηση χρημάτων.

Το τεχνούργημα είναι μια λίστα ζευγών ενεργοποίησης-προς-αποτέλεσμα, που είναι γραμμένο με βάση ένα μόνο παράδειγμα. Περιμένετε τριάντα έως εξήντα από αυτούς σε μια μικρή εταιρεία και περιμένετε πολλά να είναι πράγματα για τα οποία κανείς δεν είχε όνομα.

2. Σημειώστε πού εξέρχεται το καθένα από τον έλεγχό σας

Για κάθε περίπτωση, ονομάστε το σημείο όπου η έξοδος σταματά να είναι επεξεργάσιμη: τα εισερχόμενα ενός πελάτη, μια τραπεζική μεταφορά, μια δημόσια σελίδα, ένα αρχειοθετημένο έγγραφο, μια καταχώρηση στο καθολικό, ένα μήνυμα προς έναν προμηθευτή.

Ορισμένες ροές εργασίας δεν εξέρχονται ποτέ. Τερματίζουν σε μια εσωτερική ουρά που διαβάζει στη συνέχεια ένας συνάδελφος. Αυτά είναι τα φθηνότερα μέρη της εταιρείας για να κάνουμε λάθος, και είναι εκεί που ανήκει η πρώτη κατασκευή.

Η παγίδα εδώ είναι να υποθέσουμε ότι το εσωτερικό ίσον ασφαλές. Ένα επίπεδο αποθέματος, μια καταχώριση στο καθολικό ή ένα πεδίο CRM από το οποίο διαβάζονται τρεις άλλες διεργασίες είναι ένα σημείο εξόδου, επειδή το σφάλμα διαδίδεται πριν το ελέγξει κάποιος.

3. Αναστρεψιμότητα βαθμολογίας σε ζώνες, όχι σε κλίμακα

Ο κίνδυνος που βαθμολογείται από 1 έως 5 είναι ένα συναίσθημα με έναν αριθμό που επισυνάπτεται και υπολογίζει τον μέσο όρο του καταστροφικού με το ασήμαντο σε ένα άνετο 3. Χρησιμοποιήστε ζώνες που περιγράφουν μια πραγματική ανάκαμψη:

• Αναίρεση μόνη της, μέσα σε λίγα λεπτά. Ο χειριστής τη διαγράφει. Κανείς άλλος δεν μαθαίνει ότι συνέβη.
• Αναίρεση με έναν συνάδελφο, εντός μιας ημέρας. Κάποιος με διαφορετικά δικαιώματα πρέπει να ενεργήσει, και υπάρχει τώρα ένα αρχείο.
• Δεν είναι δυνατή η αναίρεση χωρίς επικοινωνία με τον αντισυμβαλλόμενο. Ο πελάτης, ο προμηθευτής ή η αρχή πρέπει να ενημερωθούν. Η συγγνώμη είναι μέρος της επιδιόρθωσης.

Το συγκρότημα, όχι ο μέσος όρος, είναι το κλειδί.

4. Μετρήστε τις αποφάσεις χωριστά από τα βήματα

Περπατήστε ένα παράδειγμα και σημειώστε κάθε σημείο όπου μπαίνει η κρίση. Όχι κλικ, τα κλικ είναι ακριβώς αυτό στο οποίο είναι καλό το μηχάνημα. Η κρίση είναι όπου οι εισροές υποκαθορίζουν την απάντηση.

Ένα απόσπασμα που απαιτεί δεκατέσσερις αναζητήσεις και μία κλήση για το αν θα γίνει έκπτωση είναι μια ισχυρή υποψήφια: αυτοματοποιήστε τα δεκατέσσερα, περάστε το ένα. Μια έγκριση σε τρία στάδια όπου κάθε βήμα είναι ένα άτομο που αποφασίζει αν πιστεύει ότι ο αιτών είναι το αντίθετο, ένας μικρός αριθμός βημάτων που κρύβει τρεις ξεχωριστές κρίσεις και έναν χαμηλό αριθμό στο φύλλο που τον κολακεύει.

5. Ταξινόμηση ανά ζώνη, μετά πυκνότητα και μετά ένταση

Ζώνη αναστρεψιμότητας πρώτα. Μέσα σε μια μπάντα, λιγότερες αποφάσεις ανά περίπτωση ξεπερνούν τις περισσότερες. Ο όγκος είναι το tie-break, όχι το κλειδί ταξινόμησης.

Το Volume θα προσπαθήσει να ανέβει ξανά στην κορυφή του φύλλου, επειδή οι ώρες που εξοικονομήθηκαν είναι ο αριθμός που ζήτησε το άτομο που χρηματοδοτεί. Μπορεί να μείνει στο φύλλο ως στήλη. Δεν γίνεται να είναι το είδος.

6. Ονομάστε την πύλη πριν κατασκευάσετε οτιδήποτε

Για τον νικητή υποψήφιο, γράψτε την ακριβή ενέργεια που απαιτεί ανθρώπινη υπογραφή και την ακριβή επιφάνεια όπου την δίνει ο άνθρωπος. “Ένα άτομο εγκρίνει την επιστροφή χρημάτων στην υπάρχουσα προβολή του γραφείου υποστήριξης πριν δημοσιεύσει” είναι μια πύλη. Το “Human in the loop” είναι μια πολιτική και μια πολιτική δεν σταματά μια εγγραφή.

Εάν δεν μπορείτε να ονομάσετε τη δράση, δεν έχετε βρει ακόμα το όριο, πράγμα που σημαίνει ότι το βήμα 4 έγινε με λάθος κόκκο. Όπου ο άνθρωπος στον βρόχο ανήκει πραγματικά σε μια ροή εργασίας AI είναι το ίδιο πρόβλημα που αναφέρεται από την άλλη άκρη.

7. Γράψτε τη διαδρομή αναίρεσης πριν αποσταλεί

Το παράδειγμα 400 θα είναι λάθος. Αποφασίστε τώρα τι κάνει κλικ ο χειριστής, ποιος ειδοποιείται και πώς φαίνεται το αρχείο της διόρθωσης.

Ένα σύστημα χωρίς διαδρομή αναίρεσης δεν διορθώνεται όταν αποτύχει. Απενεργοποιείται και ο διακόπτης σπάνια γυρίζει πίσω.

Τι συνήθως χαλάει όταν εκτελείτε αυτόν τον έλεγχο;

Κάθε βήμα έχει μια χαρακτηριστική αποτυχία και είναι σχεδόν πάντα μια υποχώρηση στην ευκολότερη μέτρηση.

Τι γίνεται αν η ροή εργασίας των υψηλότερων ωρών είναι και η λιγότερο αναστρέψιμη;

Δεν το προσπερνάς. Το χωρίζεις.

Σχεδόν κάθε ακριβή μη αναστρέψιμη ροή εργασίας είναι ένα μακρύ μηχανικό σώμα που καταλήγει σε μια σύντομη απόφαση. Η αναθεώρηση του συμβολαίου διαβάζει σαράντα σελίδες και μετά αποφασίζει αν θα υπογράψει. Η επιστροφή χρημάτων είναι ο έλεγχος έξι συστημάτων και, στη συνέχεια, η απόφαση για πληρωμή. Το μη αναστρέψιμο ζει στο τελευταίο βήμα, και συνήθως είναι το πιο σύντομο.

Αυτοματοποιήστε το σώμα. Αφήστε το εγχειρίδιο απόφασης και δώστε στον άνθρωπο καλύτερες πληροφορίες από ό,τι πριν: οι έξι αναζητήσεις που έχουν ήδη γίνει, οι αντιφάσεις που εμφανίστηκαν, το έγγραφο που λείπει με όνομα. Οι ώρες ούτως ή άλλως προέρχονται κυρίως από το σώμα. Αυτό που καταργήσατε είναι η αναζήτηση, όχι η κρίση, η οποία είναι η διάκριση Πώς να μετρήσετε εάν μια ροή εργασίας AI λειτουργεί πραγματικά υπάρχει για να παραμείνουμε ειλικρινείς.

Αυτή η διάσπαση προϋποθέτει επίσης ο κανονισμός. Ο νόμος της ΕΕ για την τεχνητή νοημοσύνη απαιτεί από ένα άτομο που επιβλέπει ένα σύστημα υψηλού κινδύνου να μπορεί να αποφασίσει να μην το χρησιμοποιήσει ή να παραβλέπει, παρακάμψει ή αντιστρέψει την απόδοσή του: η αντιστρεψιμότητα αντιμετωπίζεται ως ιδιότητα με την οποία πρέπει να κατασκευαστεί το σύστημα, όχι ως υπόσχεση που θα δοθεί για αυτό στη συνέχεια. Αυτές οι υποχρεώσεις ισχύουν από τις 2 Δεκεμβρίου 2027 για τα συστήματα που αναφέρονται στο παράρτημα III.

Αυτό είναι το ίδιο κριτήριο με το βήμα 3, φθάνοντας από διαφορετική κατεύθυνση. Ο ρυθμιστής δεν ρωτά πόσες ώρες εξοικονομεί το σύστημα. Ρωτάει εάν ένα κατονομαζόμενο άτομο μπορεί να τραβήξει την έξοδο πίσω.

Τι δεν είναι αυτό το επιχείρημα

Δεν πρόκειται για αυτοματοποίηση μόνο ασήμαντων πραγμάτων. Η αναστρεψιμότητα είναι ένα κριτήριο αλληλουχίας, όχι ένα ανώτατο όριο. Μόλις μια ομάδα έχει ένα σύστημα που εμπιστεύεται, μια ίχνος ελέγχου που διαβάζει και μια διαδρομή αναίρεσης που έχει πραγματικά χρησιμοποιήσει, οι μη αναστρέψιμες ροές εργασίας γίνονται διαθέσιμες, με μια πύλη και με μια διαφορετική συζήτηση σχετικά με το σκοπό της πύλης.

Δεν είναι επίσης άσκηση συμμόρφωσης. Τίποτα εδώ δεν παράγει έγγραφο για ρυθμιστή. Παράγει μια σειρά ταξινόμησης και η σειρά ταξινόμησης είναι διαφορετική από αυτή που σας έδωσε το υπολογιστικό φύλλο.

Και δεν σώζει μια χαλασμένη διαδικασία. Μια ροή εργασίας που είναι ασυνάρτητη όταν την εκτελούν οι άνθρωποι παραμένει ασυνάρτητη σε υψηλότερη ταχύτητα, κάτι που είναι μια ξεχωριστή διάγνωση για την οποία έχω γράψει στο γιατί συνήθως αποτυγχάνει η προσθήκη ενός παράγοντα τεχνητής νοημοσύνης σε μια σπασμένη ροή εργασίας. Ο έλεγχος σας λέει από πού να ξεκινήσετε. Δεν σας λέει τον προορισμό που αξίζει να φτάσετε.

Περίληψη

Ταξινομήστε τη λίστα των υποψηφίων σας ανάλογα με το πόσο φθηνά μπορεί να αποσυρθεί ένα λάθος αποτέλεσμα και η ροή εργασίας που φτάνει στην κορυφή σπάνια θα είναι αυτή με τις περισσότερες ώρες. Αυτό είναι το θέμα. Οι ώρες εξακολουθούν να υπάρχουν στο επόμενο τρίμηνο και μέχρι τότε η ομάδα έχει ένα σύστημα που έχει ήδη διορθώσει μία φορά και το έχει κρατήσει.

Αυτή την εβδομάδα: πάρτε τις τρεις ροές εργασίας που βρίσκονται αυτή τη στιγμή στην κορυφή του υπολογιστικού φύλλου κάποιου και, για καθεμία, γράψτε την πρόταση που περιγράφει ποιος πρέπει να εμπλακεί για να αναιρέσετε ένα μόνο λάθος αποτέλεσμα. Εάν η πρόταση μιας ροής εργασίας ονοματίζει τον πελάτη, δεν είναι η πρώτη.