Αξιολόγηση βιογραφικών με AI: πώς οι απορρίψεις παραμένουν ελέγξιμες

Άμεση απάντηση

Η συμμόρφωση στην αξιολόγηση βιογραφικών με AI είναι πρώτα πρόβλημα τήρησης αρχείων και μετά πρόβλημα μοντέλου. Το πραγματικό αποτέλεσμα του συστήματος δεν είναι η τελική λίστα που διαβάζει ο υπεύθυνος προσλήψεων. Είναι το πολύ μεγαλύτερο σύνολο αιτήσεων που δεν άνοιξε κανείς, επειδή μια βαθμολογία τις έθεσε κάτω από το όριο επιλογής. Αν η ροή εργασίας δεν μπορεί να ανασυνθέσει γιατί αποκλείστηκε καθεμία και να αποδείξει ότι ένας συγκεκριμένος άνθρωπος είχε την αρμοδιότητα να διαφωνήσει, δεν υπάρχει επαρκές υλικό για έλεγχο.

Βασικά συμπεράσματα

• Σύμφωνα με το Παράρτημα III του νόμου για την τεχνητή νοημοσύνη της ΕΕ, η τεχνητή νοημοσύνη που χρησιμοποιείται για την ανάλυση και το φιλτράρισμα των αιτήσεων εργασίας και την αξιολόγηση των υποψηφίων είναι ένα σύστημα υψηλού κινδύνου. Αυτές οι υποχρεώσεις αναβλήθηκαν για τις 2 Δεκεμβρίου 2027 και δεν καταργήθηκαν.
• Το τεκμήριο συμμόρφωσης είναι το σύνολο απορριφθεισών αιτήσεων: οι βαθμολογημένοι υποψήφιοι που ένας άνθρωπος δεν άνοιξε ποτέ, μαζί με τα στοιχεία που τους έβαλαν εκεί.
• Το άρθρο 26 παράγραφος 2 απαιτεί από το άτομο που ασκεί την εποπτεία να έχει ικανότητα, εκπαίδευση και εξουσία. Ένας αναθεωρητής που διαβάζει μόνο τη σελίδα ένα από μια λίστα κατάταξης έχει παρουσία και όχι εξουσιοδότηση.
• Το αρχείο επιβολής της νομοθεσίας της Νέας Υόρκης δείχνει τι παράγει ελάχιστα στοιχεία. Η ρυθμιστική αρχή της πόλης εξέτασε 32 εταιρείες και εντόπισε μία περίπτωση μη συμμόρφωσης. κρατικοί ελεγκτές που εξετάζουν τις ίδιες εταιρείες εντόπισαν τουλάχιστον 17.

Ποιο πρόβλημα αναλαμβάνει πραγματικά αυτό το σύστημα;

Ένα σύστημα αξιολόγησης κατέχει το όριο μεταξύ φιλτραρίσματος και λήψης απόφασης, και σε όγκο αυτό το όριο δεν υπάρχει.

Οι πωλητές είναι προσεκτικοί εδώ και η φροντίδα είναι ακριβής. Τα εργαλεία αξιολόγησης περιγράφουν τους εαυτούς τους ως υποψηφίους που κατατάσσουν ή εμφανίζονται στην επιφάνεια αντί να τους απορρίπτουν, επειδή ένας υπεύθυνος προσλήψεων εξακολουθεί να κάνει κλικ. Αυτή η περιγραφή είναι τεχνικά αληθής και λειτουργικά κούφια. Όταν φτάνουν αρκετές εκατοντάδες αιτήσεις για ένα άνοιγμα και ο κριτής καταρτίζει μια λίστα κατάταξης μέχρι να συμπληρωθεί το ημερολόγιο των συνεντεύξεων, το μοντέλο επέλεξε το διαχωρισμό. Το κλικ το επιβεβαίωσε.

Αυτό είναι το ίδιο σχήμα με το σύστημα προέγκρισης που δεν υπογράφει ποτέ την άρνηση: ένα σύστημα που δεν εκδίδει ποτέ την άρνηση μπορεί να κάνει την άρνηση αναπόφευκτη, ελέγχοντας τι φτάνει στο άτομο που υπογράφει. Η πρόσληψη έχει αυτή τη μορφή με ασθενέστερη γραφειοκρατία. Μια απόρριψη αξίωσης δημιουργεί μια επιστολή με συνημμένο λόγο. Ένας υποψήφιος που βρίσκεται κάτω από την κατάταξη μιας λίστας κατάταξης δεν παράγει απολύτως τίποτα.

Αυτό δεν αποτελεί επιχείρημα ότι η κατάταξη είναι μεροληπτική. Μπορεί να είναι, και ένας έλεγχος μεροληψίας είναι ένας τρόπος για να το ανακαλύψετε. Το επιχείρημα είναι στενότερο. Οι περισσότερες στοίβες διαλογής δεν μπορούν να παράγουν τα στοιχεία που θα έλυσαν το ερώτημα προς οποιαδήποτε κατεύθυνση, επειδή το χαμένο μισό της παραγωγής δεν καταγράφεται ποτέ ως απόφαση. Καταγράφεται ως απουσία.

Η υπάρχουσα ροή εργασίας που θα χαρτογραφούσα πρώτα

Πριν σχεδιάσω οτιδήποτε, θα ιχνηλάτησα τη διαδρομή που ακολουθεί στην πραγματικότητα μια εφαρμογή, συμπεριλαμβανομένων των εξαρτημάτων που δεν εγγράφει κανένας.

Μια αίτηση φτάνει μέσω ενός πίνακα εργασίας ή μιας σελίδας σταδιοδρομίας. Το σύστημα παρακολούθησης του αιτούντος το αναλύει σε πεδία και η ανάλυση έχει απώλειες με τρόπους που κανείς δεν καταγράφει: ένα PDF δύο στηλών που ο αναλυτής διαβάζει εκτός λειτουργίας, μια μορφή ημερομηνίας που ερμηνεύει ως κενό απασχόλησης. Ένα αντίστοιχο βήμα βαθμολογεί την αναλυμένη εγγραφή έναντι μιας επιταγής που έγραψε κάποιος γρήγορα, συχνά αντιγράφοντας την περσινή. Εμφανίζεται μια λίστα κατάταξης. Ένας υπεύθυνος προσλήψεων εξετάζει την κορυφή του. Όλοι κάτω από το πάσο μετακινούνται σε μια κατάσταση που σημαίνει “δεν προχώρησε” και, στις περισσότερες εταιρείες, σε ένα email απόρριψης που ενεργοποιείται από έναν κανόνα.

Τότε το ρεκόρ ολοκληρώνεται. Το αποτέλεσμα διατηρείται. Η κατάταξη εξατμίζεται.

Κάθε ένα από αυτά τα βήματα προηγείται της τεχνητής νοημοσύνης και τα περισσότερα από αυτά ήταν καλά όταν κάποιος διάβαζε κάθε εφαρμογή. Το βήμα βαθμολόγησης είναι αυτό που άλλαξε. Μετατόπισε την αποκοπή από το εύρος της προσοχής ενός ανθρώπου σε έναν αριθμό και η τήρηση αρχείων δεν ακολούθησε ποτέ.

Πώς θα λειτουργούσε το σύστημα

Η αλλαγή σχεδιασμού είναι εύκολο να δηλωθεί και δύσχρηστη στην εφαρμογή: αντιμετωπίζετε κάθε φιλτραρισμένη εφαρμογή ως μια απόφαση που οφείλει έναν λόγο, με τους ίδιους όρους όπως μια προσφορά.

Ένα αντικείμενο απαίτησης, έκδοση. Τα κριτήρια ζουν σε ένα δομημένο αρχείο με έναν ιδιοκτήτη και μια έκδοση, όχι σε πεζογραφία σε μια αγγελία εργασίας. Όταν κάποιος επεξεργάζεται την “εμπειρία 5 ετών” σε “3 χρόνια”, αυτή η τροποποίηση έχει μια χρονική σήμανση και ένα όνομα και κάθε υποψήφιος που βαθμολογείται κάτω από την παλιά έκδοση εξακολουθεί να είναι ανιχνεύσιμος σε αυτήν.

Μια βαθμολογία που φέρει τα στοιχεία της. Η θέση ενός υποψηφίου αποθηκεύει τα κριτήρια που ταιριάζουν, τα εύρη του κειμένου που ταίριαζαν, τα κριτήρια που χάθηκαν και την εμπιστοσύνη ανάλυσης για κάθε πεδίο που εμπλέκεται. Ένας αριθμός από μόνος του δεν εξηγεί τίποτα έξι μήνες αργότερα, ακριβώς τη στιγμή που τον ρωτούν.

Μια ρητή αποκοπή, που ορίζεται από ένα άτομο. Κάποιος επιλέγει να ελέγξει τα κορυφαία σαράντα και αυτή η επιλογή καταγράφεται με το όνομά του και τον λόγο. Σήμερα η αποκοπή είναι εμφανής: είναι οπουδήποτε ο υπεύθυνος προσλήψεων τελείωσε την Πέμπτη. Το να το κάνουμε σαφές είναι η μοναδική αλλαγή που μετατρέπει μια μετατόπιση σε απόφαση.

Ένα σύνολο απορριφθεισών αιτήσεων που μπορεί να ζητηθεί. Από τους υποψηφίους που κόπηκαν αυτόν τον μήνα, πόσοι κόπηκαν με ένα ακριβώς κριτήριο; Ποιο κριτήριο συγκίνησε τον περισσότερο κόσμο; Πού έπεσε η εμπιστοσύνη ανάλυσης κάτω από το όριο και μήπως κάποιος εξέτασε αυτές τις εφαρμογές με το χέρι;

Τίποτα από αυτά δεν χρειάζεται καλύτερο μοντέλο. Χρειάζεται το σύστημα να γράψει όσα έχει ήδη υπολογίσει. Τα περισσότερα εργαλεία απορρίπτουν το ενδιάμεσο επειδή η διατήρηση των βαθμολογιών ήταν σαν να διατηρείται μια υποχρέωση. Αυτό το ένστικτο είναι πλέον πίσω. Από τις 2 Δεκεμβρίου 2027, οι προγραμματιστές συστημάτων υψηλού κινδύνου στην ΕΕ πρέπει να διατηρούν τα αρχεία καταγραφής που δημιουργεί αυτόματα ένα σύστημα για τουλάχιστον έξι μήνες, εκτός εάν άλλη νομοθεσία ορίζει διαφορετικά. Η απουσία αρχείου παύει να λειτουργεί ως προστασία.

Τι παραμένει υπό τον έλεγχο του ανθρώπου;

Τρία πράγματα, και κανένα από αυτά δεν “εξετάζει τη λίστα”.

Το cut-off παραμένει ανθρώπινο, γιατί είναι η απόφαση που καθορίζει το μέγεθος του σύνολο απορριφθεισών αιτήσεων. Τα κριτήρια παραμένουν ανθρώπινα, γιατί μια απαίτηση είναι μια αξίωση για το τι απαιτεί η δουλειά και κάποιος πρέπει να την υπερασπιστεί. Η διαδρομή εξαίρεσης παραμένει ανθρώπινη και πρέπει να είναι μια πραγματική διαδρομή: ένας κριτικός που εντοπίζει έναν ισχυρό υποψήφιο κάτω από τη γραμμή πρέπει να μπορεί να τον τραβήξει και να καταγράψει αυτή την παράκαμψη ως σήμα για την κατάταξη, όχι ως ιδιωτική χάρη.

Το άρθρο 26 παράγραφος 2 είναι ασυνήθιστα άμεσο σχετικά με το πρότυπο. Οι προγραμματιστές πρέπει να αναθέσουν την επίβλεψη σε άτομα με την απαραίτητη ικανότητα, εκπαίδευση και εξουσία. Η αρχή είναι η λειτουργική λέξη. Ένας υπεύθυνος προσλήψεων που μπορεί να προωθήσει έναν υποψήφιο, αλλά δεν μπορεί να θέσει σε παύση μια αίτηση, να αλλάξει ένα κριτήριο ή να απορρίψει την κατάταξη, έχει λάβει άποψη και όχι επίβλεψη. Αυτή η διάκριση διατρέχει τα περισσότερα από αυτά που γράφω για το πού ανήκει πραγματικά ο άνθρωπος στη βρόχο, και η πρόσληψη είναι εκεί που είναι πιο εύκολο να παραποιηθείς.

Πώς θα αξιολογούσα τη διαδρομή

Δεν είναι χρόνος για πρόσληψη. Ο χρόνος ενοικίασης βελτιώνει τη στιγμή που διαβάζετε λιγότερες εφαρμογές, η οποία είναι ακριβώς η υπό εξέταση συμπεριφορά.

Ποσοστό ανακατασκευής. Λάβετε τυχαία είκοσι αιτήσεις που απορρίφθηκαν από το τελευταίο τρίμηνο και προσπαθήστε να εξηγήσετε κάθε αποτέλεσμα χρησιμοποιώντας μόνο αυτά που διατήρησαν τα συστήματα. Το ποσοστό που μπορείτε να εξηγήσετε είναι η πραγματική σας θέση συμμόρφωσης. Αν είναι χαμηλό, η υλοτόμηση είναι διακόσμηση.

Ποσοστό παράκαμψης, ανά αναθεωρητή. Πόσο συχνά ένας άνθρωπος μετακινεί έναν υποψήφιο πέρα από το όριο; Ένα ποσοστό μηδέν σε μια ολόκληρη ομάδα δεν είναι απόδειξη ενός καλού μοντέλου. Είναι απόδειξη ότι κανείς δεν πιστεύει ότι η διαφωνία είναι μέρος της δουλειάς του.

Περικοπές με ένα κριτήριο. Το μερίδιο των απορρίψεων που ενεργοποιούν ακριβώς ένα χαμένο κριτήριο. Ένα υψηλό μερίδιο σάς λέει ότι η απαίτηση κάνει το φιλτράρισμα, όχι την αξιολόγηση, και οι αιτήσεις είναι εκεί όπου συσσωρεύονται οι αντιγραμμένες υποθέσεις.

Υπάρχει ένα ακόμη, και είναι το εμπορικά ενδιαφέρον: πόσοι υποψήφιοι που απορρίφθηκαν θα αντέστρεφε ένας διευθυντής προσλήψεων εάν του έδειχνε τα στοιχεία; Αυτός ο αριθμός είναι το κόστος της τρέχουσας αποκοπής. Σχεδόν κανείς δεν το μετράει, γιατί σχεδόν κανείς δεν κράτησε το σετ.

Πότε αυτή η υλοποίηση δεν είναι κατάλληλη

Εάν ένας ρόλος προσελκύει μερικές δεκάδες εφαρμογές, αυτό είναι επιβάρυνση. Το σημείο συμφόρησης είναι η προμήθεια, όχι το φιλτράρισμα, και η προσθήκη ενός επιπέδου βαθμολόγησης με μια ίχνος ελέγχου λύνει ένα πρόβλημα που δεν έχετε. Τα συστήματα αξιολόγησης κερδίζουν τη θέση τους σε τόμους όπου η ανάγνωση των πάντων είναι πραγματικά αδύνατη.

Είναι επίσης λάθος κατασκευή εάν ο οργανισμός θέλει η κατάταξη να παραμείνει ακαταλόγιστη. Ένα σύστημα που καταγράφει τις απορρίψεις του είναι ένα σύστημα με το οποίο μπορεί να γίνει αντιπαράθεση, εσωτερικά από έναν διευθυντή προσλήψεων και εξωτερικά από έναν υποψήφιο. Αυτό είναι το ζητούμενο και είναι πραγματικό κόστος. Καλύτερα να είμαστε ειλικρινείς ότι το επιθυμούμε παρά να αγοράσουμε μια ίχνος ελέγχου που κανείς δεν σκοπεύει να ανοίξει.

Ο έλεγχος μεροληψίας δεν είναι ούτε αυτός. Ο τοπικός νόμος 144 της Νέας Υόρκης απαιτεί έλεγχο μεροληψίας που διενεργείται όχι περισσότερο από ένα χρόνο πριν από τη χρήση του εργαλείου, μια δημοσιευμένη περίληψη των αποτελεσμάτων και ειδοποίηση προς τους υποψηφίους προτού τα αξιολογήσει ένα αυτοματοποιημένο εργαλείο, με αστικές ποινές μεταξύ 500 και 1.500 $ ανά ημέρα για παραβιάσεις. Ο έλεγχος μεροληψίας είναι ένας στατιστικός έλεγχος των ποσοστών επιλογής μεταξύ των ομάδων. Περιγράφει το συνολικό σχήμα της παραγωγής και δεν μπορεί να πει γιατί κόπηκε κάποιο άτομο. Το σύνολο απορριφθεισών αιτήσεων είναι το επίπεδο ανά υποψήφιο από κάτω. Κανένα από τα δύο δεν υποκαθιστά το άλλο.

Αξίζει να διαβάσετε το αρχείο επιβολής πριν αποφασίσετε πόσο από αυτό είναι θέατρο. Σε έναν Δεκέμβριο του 2025 έλεγχο της επιβολής του νόμου στην πόλη, οι ελεγκτές της Πολιτείας της Νέας Υόρκης ανέφεραν ότι το Υπουργείο Προστασίας Καταναλωτών και Εργαζομένων είχε ερευνήσει 32 εταιρείες και εντόπισε μία μόνο περίπτωση μη συμμόρφωσης, ενώ οι ελεγκτές που εξέτασαν αυτές τις ίδιες εταιρείες εντόπισαν αδύναμο επιχείρημα για τουλάχιστον 17. Είναι ένα σημάδι ότι τα διαθέσιμα στοιχεία σήμερα είναι αρκετά φτωχά ώστε ούτε η ρυθμιστική αρχή να τα δει.

Πώς εντάσσεται αυτό στη συνεργασία

Τα teardowns εδώ συνεχίζουν να φτάνουν στο ίδιο δομικό σημείο από διαφορετικές βιομηχανίες. Στις ασφαλιστικές αξιώσεις και στην αναθεώρηση συμβολαίου, το μοντέλο διαβάζεται γρηγορότερα από ένα άτομο και δεν είναι εκεί που κάθεται η αξία. Η τιμή βρίσκεται σε αυτό που καταγράφει το σύστημα σχετικά με τη δική του αβεβαιότητα και στο ποιος επιτρέπεται να ενεργήσει σε αυτήν. Η ίδια ερώτηση αφορά το πώς θα ήταν μια ροή εργασιών συμμόρφωσης με τεχνητή νοημοσύνη.

Η πρόσληψη είναι εκεί όπου αυτό το επιχείρημα είναι πιο εύκολο να παραιτηθεί και πιο δύσκολο να αποφευχθεί. Το πιο εύκολο, γιατί η εξέταση μοιάζει σαν να ταξινομεί και όχι να αποφασίζει. Το πιο δύσκολο, επειδή το άτομο στην άλλη πλευρά της αποκοπής δεν έχει ορατότητα, δεν έχει οδό προσφυγής και, από τις 2 Δεκεμβρίου 2027 στην ΕΕ, ρυθμιστική αρχή που δικαιούται να ζητήσει τον φάκελο. Η Digital Omnibus deferral μετατόπισε αυτήν την ημερομηνία κατά δεκαέξι μήνες. Δεν άλλαξε τι πρέπει να περιέχει το αρχείο.

Εάν εκτελείτε ήδη έλεγχο με τη βοήθεια AI, η πρώτη χρήσιμη άσκηση δεν κοστίζει τίποτα. Πάρτε τις απορρίψεις του προηγούμενου μήνα, επιλέξτε είκοσι και προσπαθήστε να τις εξηγήσετε από τα δικά σας συστήματα. Ό,τι βρείτε είναι η ειλικρινής αφετηρία.

Περίληψη

Τα συστήματα αξιολόγησης κρίνονται στη σύντομη λίστα και ελέγχονται για τις απορρίψεις, και η απόσταση μεταξύ αυτών των δύο γεγονότων είναι εκεί που βρίσκεται το έργο. Δημιουργήστε το σύνολο απορριφθεισών αιτήσεων ως έξοδο πρώτης κατηγορίας (διαμορφωμένα κριτήρια, βαθμολογίες που φέρουν τα αποδεικτικά τους στοιχεία, μια αποκοπή που επέλεξε ένα άτομο, μια εγγραφή που μπορείτε να αναζητήσετε) και το αρχείο συμμόρφωσης πέφτει από ένα σύστημα που αξίζει να υπάρχει ανεξάρτητα από οποιονδήποτε κανονισμό.

Δεν το έχω δημιουργήσει αυτό με ένα ζωντανό σύστημα παρακολούθησης αιτούντων και ο σχεδιασμός δεν είναι το δύσκολο κομμάτι. Το δύσκολο μέρος είναι ότι τα περισσότερα από αυτά τα συστήματα δεν εκθέτουν ποτέ καθόλου τις ενδιάμεσες βαθμολογίες. Κάτι που κάνει την πρώτη ερώτηση για έναν πωλητή κάτι διαφορετικό από το πόσο καλή είναι η κατάταξη. Είναι αν μπορείτε να βγάλετε την κατάταξη.