Ο βρόχος έρευνας που ξέρει πότε να μην τρέξει

Άμεση απάντηση

Αυτό είναι ένα προγραμματισμένο σύστημα έρευνας που ξοδεύει πραγματικά χρήματα, και το μεγαλύτερο μέρος της μηχανικής του αφορά το να μην τα ξοδεύει. Τρεις πράκτορες τρέχουν κάθε εβδομάδα στον δικό μου ιστότοπο: ένας έλεγχος κατάταξης, ένα επί πληρωμή σκανάρισμα ορατότητας σε AI, και ένα brief περιεχομένου. Το ενδιαφέρον δεν είναι ότι τρέχουν. Είναι ότι το σκανάρισμα μπορεί να αρνηθεί να ξεκινήσει με οκτώ διαφορετικούς τρόπους, ο καθένας με τον δικό του κωδικό εξόδου, και ότι κάθε άρνηση αναφέρεται σε ένα άτομο σε απλή γλώσσα αντί να ξαναδοκιμάζεται.

Αυτό είναι το λειτουργικό σύστημα που χρησιμοποιώ για τη δική μου επιχείρηση, όχι μια μελέτη περίπτωσης πελάτη. Το περιγράφω επειδή τα τεκμήρια είναι επιθεωρήσιμα: ένα εκδοχοποιημένο αρχείο τιμών, ένα βιβλίο κόστους, χρονοσημασμένα στιγμιότυπα δεδομένων, και εβδομαδιαίες αναφορές εκτέλεσης.

Βασικά συμπεράσματα

• Η αυτονομία δεν είναι άδεια για δράση. Είναι ένα πρόγραμμα συν μια ρητή λίστα συνθηκών κάτω από τις οποίες το σύστημα σταματά.
• Η πύλη προϋπολογισμού τρέχει πριν από το πρώτο αίτημα, τιμολογημένη από ένα αρχείο με ημερομηνία.
• Η ενεργοποίηση της ίδιας εβδομαδιαίας εργασίας δύο φορές απορρίπτεται, δεν χρεώνεται δύο φορές.
• Μια μερικώς ολοκληρωμένη μέτρηση αναφέρεται ως αχρησιμοποίητη αντί να συγκαλύπτεται.
• Η ίδια αρχιτεκτονική είναι το πρώτο σύστημα στον αυτοματισμό ροών εργασίας με AI.

Ποιο πρόβλημα κατέχει πραγματικά αυτό το σύστημα;

Η δουλειά είναι έρευνα που πρέπει να γίνεται με ρυθμό: πού κατατάσσεται ο ιστότοπος, αν τον αναφέρουν οι μηχανές απάντησης AI, και τι να γραφτεί στη συνέχεια. Με το χέρι είναι τρεις ή τέσσερις ώρες την εβδομάδα, παραλείπεται όποτε η εβδομάδα είναι φορτωμένη, και το αποτέλεσμα σιγά σιγά μετατοπίζεται από την τεκμηρίωση στη γνώμη — καταλήγεις να γράφεις για το θέμα που φαίνεται ενδιαφέρον αντί για αυτό που υποστηρίζουν τα δεδομένα.

Είναι το ίδιο σχήμα με το πρόβλημα πωλήσεων στην ανάλυση του συστήματος παρακολούθησης στο CRM: μια επαναλαμβανόμενη διαδρομή, στηριγμένη στη μνήμη ενός ατόμου, που υποβαθμίζεται τη στιγμή που μετακινείται η προσοχή. Διαφορετικό τμήμα, ίδιο μοτίβο αποτυχίας.

Η διαφορά είναι στο προφίλ κινδύνου. Μια χαμένη παρακολούθηση κοστίζει μια ευκαιρία. Ένας βρόχος έρευνας με πρόσβαση σε API και έναν προγραμματιστή εργασιών μπορεί να κοστίσει χρήματα κάθε φορά που αποτυγχάνει, και μπορεί επίσης να παράγει έναν σίγουρο αριθμό που είναι λάθος — κάτι χειρότερο, γιατί ενεργείς πάνω σε αυτόν.

Η υπάρχουσα ροή εργασίας που χαρτογραφώ πρώτα

Ό,τι κάνει τώρα το σύστημα αντιστοιχεί σε μια γραμμή αυτού του πίνακα. Τίποτα δεν αυτοματοποιήθηκε επειδή ήταν αυτοματοποιήσιμο· αυτοματοποιήθηκε επειδή ήταν σε αυτόν τον πίνακα.

Πώς τρέχει ο βρόχος

Τρεις προγραμματισμένοι πράκτορες, όλοι σε Europe/Athens, όλοι ορισμένοι ως αναγνώσιμα αρχεία οδηγιών στο αποθετήριο αντί για ρυθμίσεις κρυμμένες σε ένα πάνελ SaaS.

Δευτέρα — έλεγχος κατάταξης

Φέρνει φρέσκα δεδομένα από το API του Search Console και γράφει ένα χρονοσημασμένο στιγμιότυπο, ώστε η σύγκριση εβδομάδα με εβδομάδα να σταματήσει να εξαρτάται από το να θυμάται κάποιος να κάνει εξαγωγή. Στη συνέχεια επαληθεύει ότι το παράθυρο δεδομένων δεν είναι μεγαλύτερο από τέσσερις ημέρες πριν αναλύσει οτιδήποτε. Αν μια λήψη αποτύχει, αναφέρει την αποτυχία και την ηλικία των υπαρχόντων δεδομένων. Ο κανόνας στο αρχείο είναι ξεκάθαρος: να μην αναλύονται παλιά αρχεία σιωπηλά.

Τετάρτη — σκανάρισμα ορατότητας σε AI

Το μόνο βήμα που κοστίζει χρήματα. Ρωτάει ένα σταθερό σύνολο ερωτήσεων αγοραστή σε αρκετές πλατφόρμες AI με ενεργοποιημένη αναζήτηση ιστού, και καταγράφει ποιος αναφέρθηκε. Στη μέση της εβδομάδας εκ σχεδιασμού, ώστε να υπάρχει χρόνος να αντιδράσω πριν την Παρασκευή.

Παρασκευή — brief περιεχομένου

Κατατάσσει ευκαιρίες με βάση τις γραμμές που παρήγαγαν οι δύο προηγούμενες ημέρες, και γράφει ένα brief. Όχι τρία. Αν δεν υπάρχει ολοκληρωμένη αναφορά κενών, έχει οδηγία να μην επινοήσει θέμα — καταλήγει συστήνοντας να τρέξει αντ’ αυτού ο έλεγχος κενών.

Πότε το σύστημα αρνείται να ενεργήσει

Αυτό είναι το κομμάτι που αξίζει να αντιγραφεί.

Το σκανάρισμα της Τετάρτης έχει οκτώ πιθανά αποτελέσματα, και μόνο ένα από αυτά σημαίνει «έγινε πλήρης μέτρηση».

Τέσσερις μηχανισμοί παράγουν αυτές τις αρνήσεις.

Μια πύλη προϋπολογισμού που τρέχει πριν από το πρώτο αίτημα. Το σκανάρισμα τιμολογεί ακριβώς αυτό που πρόκειται να στείλει, χρησιμοποιώντας ένα αρχείο τιμών με έκδοση, μια pricing_date, και μια σημείωση που καταγράφει πώς επαληθεύτηκε κάθε τιμή. Αν η εκτίμηση ξεπερνά το ρυθμισμένο μέγιστο ανά εκτέλεση, σταματά και τυπώνει τι θα κόστιζε. Δεν στέλνεται τίποτα. Η υπέρβαση του ορίου απαιτεί μια σημαία που περνάει σκόπιμα ένα άτομο, και το προγραμματισμένο script είναι ρητό ότι δεν πρέπει ποτέ να περνιέται από ένα πρόγραμμα.

Ένας φύλακας idempotency. Η εβδομαδιαία εργασία παράγει ένα σταθερό ID εκτέλεσης από την εβδομάδα ISO. Η ενεργοποίησή της δύο φορές στην ίδια εβδομάδα κάνει τη δεύτερη εκτέλεση να απορρίπτεται με κωδικό εξόδου 3 αντί να χρεώνεται ξανά. Η εξαναγκασμένη πραγματικά νέα εκτέλεση σημαίνει επιλογή νέου ID σκόπιμα.

Επανάληψη που δεν ξαναπληρώνει. Αν ένα σκανάρισμα σταματήσει στη μέση, η επανεκτέλεσή του με το ίδιο ID στέλνει μόνο τις εργασίες που ποτέ δεν πέτυχαν. Η ολοκληρωμένη εργασία δεν αγοράζεται δύο φορές. Μερικές παροδικές αποτυχίες δικτύου δεν θα έπρεπε να κοστίζουν ένα πλήρες επανασκανάρισμα για να διορθωθούν.

Ένας έλεγχος αναντιστοιχίας πλάνου. Αν η λίστα ερωτήσεων αλλάξει αφού έχει ξεκινήσει ένα ID εκτέλεσης, το σύστημα αρνείται να συνεχίσει, επειδή η συνέχιση θα ανακάτευε δύο διαφορετικά σύνολα ερωτήσεων σε ένα ενιαίο εβδομαδιαίο νούμερο. Λέει να ξεκινήσει νέο ID εκτέλεσης αντ’ αυτού.

Κάτω από και τους τέσσερις υπάρχει μία αρχή: μια επανάληψη κοστίζει πραγματικά χρήματα, οπότε είναι απόφαση του ιδιοκτήτη, όχι του προγραμματιστή εργασιών. Οι κλάδοι αποτυχίας το λένε σε κείμενο, και καταλήγουν με οδηγία να μην ξεκινήσει άλλο σκανάρισμα για αντιστάθμιση.

Τι παραμένει υπό ανθρώπινο έλεγχο

• Δημοσίευση. Ο πράκτορας της Παρασκευής παράγει ένα brief και σταματά. Η σύνταξη είναι απόφαση του ιδιοκτήτη.
• Δαπάνη πάνω από το όριο. Μια χειροκίνητη σημαία, ποτέ ένα πρόγραμμα.
• Επανεκτέλεση ενός αποτυχημένου επί πληρωμή σκαναρίσματος. Αναφέρεται, ποτέ αυτόματα.
• Αναφορά μιας ημιτελούς εβδομάδας. Το script δηλώνει ξεκάθαρα ότι ένα ημιτελές σκανάρισμα δεν πρέπει να αναφέρεται ως το εβδομαδιαίο νούμερο.

Το σημείωμα της Anthropic για το πώς χτίζονται αποτελεσματικοί πράκτορες κάνει το ίδιο επιχείρημα από την αντίθετη πλευρά: ξεκίνα με μια απλή, επιθεωρήσιμη ροή εργασίας και πρόσθεσε αυτονομία μόνο εκεί που την κερδίζει. Οι κωδικοί άρνησης είναι το πώς κρατάω τη ροή εργασίας επιθεωρήσιμη όσο τρέχει χωρίς επίβλεψη.

Πώς μετράω τον ίδιο τον βρόχο

Δύο συνήθειες κάνουν το μεγαλύτερο μέρος της δουλειάς εδώ, και οι δύο αφορούν την άρνηση να κολακέψω το σύστημα.

Μετρήσεις που μετράνε διαφορετικά πράγματα δεν συγχωνεύονται ποτέ. Η αναγνωρισιμότητα με βάση το όνομα και η ανακάλυψη κατηγορίας χωρίς αναφορά ονόματος αναφέρονται ξεχωριστά. Ο συνδυασμός τους παράγει έναν ενιαίο αριθμό που πάντα φαίνεται καλύτερος από την πραγματικότητα, επειδή το ίδιο το όνομά σου τον φουσκώνει.

Οι κανόνες ταύτισης αυστηροποιούνται όταν είναι λάθος. Ο συγκριτής μάρκας αρχικά δεχόταν το γυμνό όνομα και επώνυμο. Αυτό ταίριαζε με άσχετα άτομα και φούσκωνε το ποσοστό αναφοράς με αποτελέσματα που δεν μπορούσαν να ελεγχθούν, οπότε αφαιρέθηκαν και καταγράφηκαν ως απορριφθέντα ψευδώνυμα με τον λόγο επισυναπτόμενο. Ο αριθμός έπεσε. Αυτό ήταν το σωστό αποτέλεσμα.

Η ίδια πειθαρχία ισχύει και για τα κενά: μια πλατφόρμα χωρίς κλειδί API καταγράφεται ως unavailable, ποτέ δεν εκτιμάται. Και οι αναφορές φέρουν μια μόνιμη προειδοποίηση — αυτά είναι αποτελέσματα API με ενεργοποιημένη αναζήτηση ιστού, που παρακολουθούν αξιόπιστα την κατεύθυνση αλλά δεν είναι αντίγραφο του τι βλέπει ένα άτομο σε μια εφαρμογή καταναλωτή.

Δεν δημοσιεύω έναν ισχυρισμό απόδοσης για αυτό το σύστημα. Η ειλικρινής δήλωση είναι πιο στενή: η έρευνα τώρα γίνεται με πρόγραμμα, κάθε επί πληρωμή εκτέλεση έχει καταγραφή κόστους, και οι εβδομάδες όπου δεν μετρήθηκε τίποτα είναι ορατές ως τέτοιες. Αυτό μπορώ να το δείξω.

Πότε είναι λάθος επιλογή αυτή η κατασκευή

• Η δουλειά γίνεται μία φορά τον μήνα και ένα άτομο μπορεί απλώς να την κάνει.
• Κανείς δεν θα διαβάσει το αποτέλεσμα. Μια προγραμματισμένη αναφορά χωρίς αναγνώστη είναι ένα προγραμματισμένο κόστος.
• Η ομάδα θέλει ένα πάνελ αντί για μια απόφαση. Αυτός ο βρόχος καταλήγει σε μία συστημένη ενέργεια.
• Δεν υπάρχει ιδιοκτήτης προϋπολογισμού. Κάθε σύστημα με κλειδί API χρειάζεται ένα άτομο που να είναι δικά του τα χρήματα.

Αν ο περιορισμός είναι ο δημόσιος ιστότοπος αντί για τις λειτουργίες πίσω από αυτόν, αυτό είναι διαφορετικό πρόβλημα και ανήκει στο SimplySites.

Πώς συνδέεται αυτό με τη συνεργασία

Δύο αναλύσεις, δύο τμήματα, μία αρχιτεκτονική: μια σκανδάλη που η εταιρεία ήδη κατέχει, ένα μοντέλο που κάνει την προετοιμασία, ένας άνθρωπος σε ό,τι είναι μη αναστρέψιμο, και μια μέτρηση στην οποία επιτρέπεται να μην αναφέρει τίποτα.

Αυτό το μοτίβο είναι αυτό που χτίζω μέσα σε εταιρείες κατά τη διάρκεια μιας ενσωματωμένης συνεργασίας AI. Οι λειτουργίες έρευνας τείνουν να είναι το ασφαλέστερο σημείο για να ξεκινήσει κανείς, επειδή ο τρόπος αποτυχίας είναι μια χαμένη εκτέλεση αντί για ένα λάθος που βλέπει ο πελάτης — κάτι που την κάνει καλό πρώτο σύστημα για μια ομάδα που μαθαίνει να επιβλέπει ένα τέτοιο.

Αν μια επαναλαμβανόμενη διαδρομή στην επιχείρησή σας ήδη εξαρτάται από το να θυμάται ένα άτομο να την κάνει, περίγραψε το σημείο συμφόρησης και θα οριοθετήσουμε τον μικρότερο χρήσιμο βρόχο.

Σύνοψη

Έφτιαξα έναν βρόχο έρευνας που τρέχει τρεις φορές την εβδομάδα και είναι σχεδιασμένος κυρίως γύρω από τις συνθήκες κάτω από τις οποίες πρέπει να σταματήσει: μια πύλη προϋπολογισμού πριν από το πρώτο αίτημα, έναν φύλακα idempotency που αρνείται να πληρώσει δύο φορές, μια σημασιολογία επανάληψης που ποτέ δεν ξαναγοράζει ολοκληρωμένη δουλειά, και οκτώ κωδικούς εξόδου που λένε σε ένα άτομο ακριβώς τι συνέβη. Αυτονομία εδώ σημαίνει ότι το σύστημα ενεργεί με πρόγραμμα χωρίς επίβλεψη και αρνείται να ενεργήσει χωρίς άδεια. Γίνε μέλος του newsletter αυτοματισμού με AI για την επόμενη ανάλυση.