Πού ανήκει πραγματικά ο άνθρωπος στον βρόχο μιας ροής εργασίας AI

Άμεση απάντηση

Το human-in-the-loop δεν είναι μία γενική πολιτική που ενεργοποιείς για ένα έργο AI. Είναι μια απόφαση τοποθέτησης: ποιες συγκεκριμένες ενέργειες σε μια ροή εργασίας χρειάζονται έγκριση ανθρώπου πριν εκτελεστούν, με βάση το πόσο αναστρέψιμη είναι η ενέργεια, ποιος είναι υπεύθυνος αν πάει στραβά, και πόσο σίγουρο είναι πραγματικά το μοντέλο σε αυτό το συγκεκριμένο βήμα. Το να αντιμετωπίζεις το HITL ως μία ρύθμιση σε επίπεδο εταιρείας είναι ο λόγος που οι εφαρμογές AI είτε κολλάνε σε χειροκίνητο έλεγχο παντού, είτε παραλείπουν την εποπτεία ακριβώς εκεί που είχε σημασία.

Βασικά σημεία

• Το HITL είναι σχεδιαστική επιλογή ανά βήμα, όχι διακόπτης ανά έργο. Η ίδια ροή εργασίας μπορεί να έχει τρεις ενέργειες με πύλη και δώδεκα χωρίς.
• Η πύλη ανήκει εκεί όπου συμπίπτουν τρεις συνθήκες: η ενέργεια είναι δύσκολο να αναιρεθεί, κάποιος είναι υπεύθυνος αν είναι λάθος, και η εμπιστοσύνη του μοντέλου σε αυτή τη συγκεκριμένη περίπτωση είναι χαμηλή.
• Κανονισμοί όπως ο EU AI Act επιβάλλουν ανθρώπινη εποπτεία για καθορισμένες κατηγορίες υψηλού κινδύνου, όχι για κάθε σύστημα που τυχαίνει να χρησιμοποιεί AI.
• Η δρομολόγηση με βάση την εμπιστοσύνη, δηλαδή η αυτόματη έγκριση αποτελεσμάτων υψηλής εμπιστοσύνης και η κλιμάκωση των υπολοίπων, είναι αυτό που επιτρέπει στο HITL να κλιμακωθεί πέρα από τον χειροκίνητο έλεγχο κάθε στοιχείου.
• Μια πύλη που πρόσθεσες πέρυσι δεν είναι μόνιμη. Μετακινείται καθώς αλλάζει το μετρημένο ποσοστό σφάλματος του μοντέλου σε αυτό το στενό έργο. Η ευθύνη και οι αδειοδοτημένες πράξεις δεν μετακινούνται μαζί της.

Τι σημαίνει πραγματικά το “human-in-the-loop”

Κάθε προμηθευτής AI ισχυρίζεται ότι το προϊόν του “έχει άνθρωπο στον βρόχο”, και σχεδόν κανένας δεν μπορεί να σου πει σε ποιον βρόχο, ή πού ακριβώς κάθεται εκεί ο άνθρωπος. Αυτή η ασάφεια είναι το πρόβλημα. Το HITL εμφανίζεται σε τρία γνήσια διαφορετικά στάδια, και η σύγχυσή τους είναι ο λόγος που ο όρος έχασε το νόημά του.

Το πρώτο στάδιο είναι η επισήμανση δεδομένων και η εκπαίδευση του μοντέλου: κάποιος επισημαίνει παραδείγματα ώστε ένα μοντέλο να μάθει ένα μοτίβο. Το δεύτερο είναι η δοκιμή και η ανατροφοδότηση: κάποιος διορθώνει αποτελέσματα χαμηλής εμπιστοσύνης και αυτές οι διορθώσεις επανεκπαιδεύουν το μοντέλο με τον καιρό. Το τρίτο, και αυτό που πραγματικά έχει σημασία για μια επιχείρηση που τρέχει AI σε παραγωγή, είναι η πύλη απόφασης: πριν εκτελεστεί μια ενέργεια που έχει προτείνει η AI, ένα άτομο την ελέγχει και την εγκρίνει.

Αν αγοράζεις ή χτίζεις AI για τις λειτουργίες σου, τα στάδια ένα και δύο είναι πρόβλημα του προμηθευτή. Το στάδιο τρία είναι δικό σου. Αυτός είναι ο βρόχος στον οποίο πραγματικά λειτουργεί ένα σύστημα παρακολούθησης πωλήσεων με AI: το μοντέλο συντάσσει ένα μήνυμα από το context του CRM, και ένα άτομο το εγκρίνει πριν σταλεί. Τίποτα στη διαδικασία εκπαίδευσης του μοντέλου δεν αλλάζει αυτή την πύλη. Η πύλη υπάρχει επειδή η ενέργεια, ένα email σε έναν πραγματικό υποψήφιο πελάτη, είναι δύσκολο να αναιρεθεί καθαρά.

Πού πρέπει πραγματικά να κάθεται η πύλη ελέγχου σε μια ροή εργασίας;

Ούτε παντού, ούτε πουθενά. Η πύλη ανήκει στο σημείο τομής τριών ερωτημάτων, που τίθενται για μία συγκεκριμένη ενέργεια, όχι για “το σύστημα AI” ως σύνολο.

Είναι η ενέργεια αναστρέψιμη; Ένα προσχέδιο email είναι αναστρέψιμο μέχρι να εγκριθεί και να σταλεί. Μια επιστροφή χρημάτων που έχει ήδη επεξεργαστεί, ένα συμβόλαιο που έχει ήδη υπογραφεί, ή μια δήλωση που έχει ήδη υποβληθεί σε μητρώο δεν είναι. Η μη αναστρεψιμότητα είναι το πρώτο φίλτρο: αν ένα λάθος μπορεί να εντοπιστεί και να διορθωθεί παρακάτω χωρίς πραγματικό κόστος, μια πύλη πριν την εκτέλεση είναι συχνά επιπλέον φόρτος, όχι προστασία.

Ποιος είναι υπεύθυνος αν είναι λάθος; Εδώ είναι που η ρυθμιζόμενη και αδειοδοτημένη εργασία διαφέρει από όλα τα υπόλοιπα. Ένα σύστημα συμμόρφωσης σήμανσης CE μπορεί να συντάξει αυτόματα έναν τεχνικό φάκελο, να κυνηγήσει ελλείπουσες εκθέσεις δοκιμών και να σημειώσει κενά, όμως το άτομο που υπογράφει τη δήλωση συμμόρφωσης είναι νομικά υπεύθυνο για το περιεχόμενό της, και αυτή η υπογραφή πρέπει να παραμείνει ανθρώπινη. Η ίδια λογική ισχύει για ένα λογιστικό σύστημα: η AI μπορεί να κατηγοριοποιήσει συναλλαγές και να προετοιμάσει εγγραφές, αλλά ο λογιστής που φέρει την ευθύνη εγκρίνει τι πραγματικά καταχωρείται στο βιβλίο και υποβάλλεται στο myDATA. Αυτές δεν είναι πύλες που αφαιρούνται καθώς βελτιώνεται το μοντέλο. Υπάρχουν επειδή το όνομα και η άδεια ενός συγκεκριμένου ατόμου συνδέονται με το αποτέλεσμα, όχι επειδή το μοντέλο μπορεί να κάνει λάθος.

Ο EU AI Act επισημοποιεί μια εκδοχή αυτού σε ρυθμιστικό επίπεδο. Η δηλωμένη προτεραιότητα του Ευρωπαϊκού Κοινοβουλίου ήταν ότι “τα συστήματα AI πρέπει να εποπτεύονται από ανθρώπους, και όχι από αυτοματισμό, για να αποτρέπονται επιβλαβή αποτελέσματα”, αλλά αυτή η απαίτηση αφορά καθορισμένες κατηγορίες υψηλού κινδύνου: κρίσιμες υποδομές, αποφάσεις απασχόλησης, επιβολή του νόμου, μετανάστευση και έλεγχο συνόρων, και προϊόντα που ήδη καλύπτονται από την ενωσιακή νομοθεσία ασφάλειας, όπως ιατρικές συσκευές, αυτοκίνητα και ανελκυστήρες. Δεν επιβάλλει μια γενική εντολή εποπτείας σε κάθε σύστημα που αγγίζει την AI. Ένα εσωτερικό εργαλείο χαμηλού κινδύνου που συντάσσει follow-up μηνύματα σε ένα CRM δεν εμπίπτει καν σε αυτή την απαίτηση. Το να συγχέεις το “η ΕΕ λέει ότι η AI χρειάζεται ανθρώπινη εποπτεία” με το “η ΕΕ λέει ότι η δική μου AI χρειάζεται ανθρώπινη εποπτεία” οδηγεί στο να βάζεις πύλες σε εργασία που ποτέ δεν ρυθμιζόταν, και να χάνεις τις κατηγορίες που πραγματικά ρυθμίζονται.

Πόσο σίγουρο είναι το μοντέλο για αυτή τη συγκεκριμένη περίπτωση, αυτή τη στιγμή; Αυτή είναι η μεταβλητή που κάνει το HITL να κλιμακώνεται αντί να γίνεται μπλόκο. Μια ροή εργασίας που ελέγχει κάθε αποτέλεσμα ξεχωριστά απλώς έχει ξαναχτίσει τη χειροκίνητη διαδικασία με επιπλέον βήματα. Η εναλλακτική είναι η δρομολόγηση με βάση την εμπιστοσύνη: τα αποτελέσματα υψηλής εμπιστοσύνης εγκρίνονται αυτόματα και προχωρούν αμέσως, οι χαμηλής εμπιστοσύνης ή ασαφείς περιπτώσεις σημειώνονται για έναν άνθρωπο. Τα συστήματα επεξεργασίας εγγράφων χρησιμοποιούν αυτό συνεχώς, καταχωρώντας αυτόματα ένα πεδίο τιμολογίου που διαβάζεται καθαρά και δρομολογώντας σε άνθρωπο ένα θολό ή ασαφές. Το όριο του “αρκετά σίγουρο” δεν είναι σταθερό. Ορίζεται από το πόσο ακριβή θα ήταν μια λάθος αυτόματη έγκριση για αυτό το συγκεκριμένο πεδίο, κάτι που μας γυρίζει στα δύο πρώτα ερωτήματα.

Τι δεν είναι το human-in-the-loop

Δεν είναι ένα ενιαίο κουτάκι που εφαρμόζεται ομοιόμορφα σε ένα ολόκληρο προϊόν. Ένα σύστημα μπορεί να έχει αυστηρή πύλη στις εγκρίσεις επιστροφών χρημάτων και καμία πύλη στη σύνταξη μιας απάντησης υποστήριξης, μέσα στην ίδια ροή εξυπηρέτησης πελατών.

Δεν είναι επίσης το ίδιο ερώτημα με το “εκπαιδεύτηκε αυτό το μοντέλο με ανθρώπινη ανατροφοδότηση”. Η ανθρώπινη συμμετοχή κατά την εκπαίδευση, όπως οι κύκλοι επισήμανσης και διόρθωσης που βελτιώνουν ένα μοντέλο με τον καιρό, δεν λέει τίποτα για το αν μια συγκεκριμένη ενέργεια παραγωγής χρειάζεται έγκριση πριν την εκτέλεση. Ένα καλά εκπαιδευμένο μοντέλο μπορεί ακόμα να χρειάζεται πύλη σε αποτελέσματα υψηλού ρίσκου, και ένα ελαφρώς εκπαιδευμένο μπορεί να μείνει με ασφάλεια χωρίς πύλη σε αποτελέσματα χαμηλού ρίσκου.

Επίσης δεν είναι μόνιμο εξ ορισμού, αν και συχνά περιγράφεται έτσι. Υπάρχει μια πραγματική μετατόπιση σε εξέλιξη, που μερικές φορές ονομάζεται AI-in-the-loop, όπου στενά, καλά ορισμένα, επικυρωμένα έργα (τρέξιμο ενός test suite, διόρθωση σφάλματος lint, refactoring κώδικα με υπάρχοντα tests ως βάση αλήθειας) μετακινούνται από την απαίτηση έγκρισης σε κάθε βήμα στο να τρέχουν αυτόνομα με έναν άνθρωπο να ελέγχει τα αποτελέσματα αντί για κάθε ενέργεια. Αυτή η μετατόπιση είναι νόμιμη για έργα όπου η επιτυχία επαληθεύεται μηχανικά. Δεν αποτελεί απόδειξη ότι πρέπει να μετακινηθούν πύλες που συνδέονται με ευθύνη, αδειοδοτημένες πράξεις ή μη αναστρέψιμες αποφάσεις που αφορούν άμεσα τον πελάτη. Αυτές οι πύλες δεν βρίσκονται εκεί επειδή το μοντέλο δεν ήταν ακόμα αρκετά καλό. Βρίσκονται εκεί επειδή ένα συγκεκριμένο άτομο είναι υπεύθυνο για το αποτέλεσμα, και αυτό δεν αλλάζει με την απόδοση του μοντέλου.

Σύνοψη

Το HITL παύει να είναι χρήσιμο ως έννοια τη στιγμή που εφαρμόζεται σε ολόκληρο ένα έργο αντί σε μια συγκεκριμένη ενέργεια. Η πύλη ανήκει σε βήματα που είναι δύσκολο να αναιρεθούν, φέρουν την ευθύνη ή την άδεια κάποιου, ή εμπίπτουν σε κατηγορία που πραγματικά κατονομάζει η νομοθεσία, και μένει εκτός σε βήματα που ένα μοντέλο χειρίζεται αξιόπιστα και φθηνά, όπου το λάθος είναι φθηνό να διορθωθεί. Αποφάσισε την τοποθέτηση της πύλης ενέργεια προς ενέργεια, με στοιχεία για κάθε μία, αντί να δηλώνεις όλο το σύστημα “human-in-the-loop” ή “αυτόνομο” και να το θεωρείς τελειωμένο.