Πώς Ανέλαβα Δύο Συμβόλαια AI Rater Χωρίς Πτυχίο Τεχνολογίας

Laptop με κάρτες σύγκρισης δύο απαντήσεων και ρουμπρίκα για εργασίες RLHF και αξιολόγησης AI

Η δουλειά AI rater είναι το πιο αθόρυβο υψηλόμισθο κανάλι μικρο-εργασιών στο οικοσύστημα. Το ανακάλυψα τυχαία στις αρχές του 2024, και μέχρι το τέλος του χρόνου είχα κερδίσει λίγο πάνω από 4.300 ευρώ μέσα από δύο εξειδικευμένους φορείς. Κανείς στα mainstream φόρουμ μικρο-εργασιών δεν το συζητά, επειδή όσοι μπαίνουν μέσα τείνουν να το κρατούν για τον εαυτό τους.

Τι είναι πραγματικά αυτή η δουλειά

Στην πράξη, διαβάζεις ένα prompt, διαβάζεις δύο ή τρεις απαντήσεις μοντέλου, και τις κατατάσσεις βάσει ενός rubric. Μερικές φορές γράφεις εσύ μια καλύτερη εκδοχή. Μερικές φορές σημειώνεις ποια από τις δύο απαντήσεις είναι ασφαλέστερη, πιο αληθής ή πιο χρήσιμη. Οι τύποι εργασιών που χειρίστηκα ήταν: κατάταξη προτιμήσεων, fact checking, ετικέτες ασφάλειας, και αναγραφή. Κανένας δεν απαιτούσε τεχνικό υπόβαθρο. Όλοι απαιτούσαν σαφή γραπτά Αγγλικά και την ικανότητα να αιτιολογείς μια βαθμολογία σε δύο έως τέσσερις προτάσεις χωρίς περιττολογία.

Από πού προέρχονται πραγματικά τα gigs

Όχι από τις μεγάλες mainstream πλατφόρμες. Τα δύο συμβόλαια που ανέλαβα ήρθαν μέσω εξειδικευμένων φορέων που λειτουργούν ως μεσάζοντες ανάμεσα στα AI labs και τους μεμονωμένους raters. Σκέψου τους ως γραφεία προσωπικού. Στη δική μου περίπτωση: ένας βρετανικός φορέας που διαχειρίζεται δεδομένα προτίμησης για ένα μεγάλο lab, και ένας ευρωπαϊκός φορέας που εκτελεί αξιολογήσεις ασφάλειας για διαφορετικό lab. Και οι δύο βρέθηκαν αναζητώντας στο LinkedIn ρόλους με ετικέτα Data Analyst Part Time και λέξεις-κλειδιά preference data ή RLHF, και στη συνέχεια κάνοντας απευθείας αίτηση. Για το ευρύτερο playbook στον εντοπισμό ήσυχης εργασίας που κανείς δεν διαφημίζει, το hub Freelance έχει την πλήρη στρατηγική μου.

  1. Αναζήτηση LinkedIn: φιλτράρισμα για part time, contract, remote· λέξεις-κλειδιά RLHF, AI annotation, preference data, rater.
  2. Σελίδες εταιρειών: εντόπισε 8 έως 12 εξειδικευμένους φορείς, ακολούθησέ τους, κάνε αίτηση σε κάθε rater ρόλο που ανοίγει.
  3. Screener: αναμένεις μια απλήρωτη γραπτή εργασία 90 λεπτών, συνήθως 4 έως 6 ασκήσεις κατάταξης.
  4. Συνέντευξη: τηλεφωνική κλήση 20 έως 30 λεπτών με έναν program manager. Μη τεχνική, εστιασμένη στη σκέψη rubric.
  5. Πληρωμένη δέσμη αξιολόγησης: 2 έως 5 ώρες πληρωμένης εργασίας που βαθμολογείται βάσει εσωτερικών benchmarks. Πέρα από αυτό, είσαι μέσα.

Τα χρήματα, χωρίς υπερβολές

Στα δύο συμβόλαιά μου, οι τιμές ήταν 18 και 22 ευρώ την ώρα αντίστοιχα. Οι όροι πληρωμής ήταν net 15 για τον πρώτο φορέα και net 30 για τον δεύτερο, και οι δύο μέσω τραπεζικής μεταφοράς SEPA με τιμολόγιο ΦΠΑ στο πλαίσιο της ατομικής μου επιχείρησης. Ο όγκος κυμάνθηκε άγρια· έναν μήνα κατέγραψα 41 πληρωμένες ώρες, τον επόμενο μήνα επτά. Αντιμετώπισέ το ως ένα υψηλής τιμής, χαμηλής αξιοπιστίας κανάλι και λειτουργεί. Αντιμετώπισέ το ως αντικατάσταση μισθού και θα χαλάσει τον προϋπολογισμό σου.

Για τη σύγκριση με άλλα freelance κανάλια που τρέχω παράλληλα, το άρθρο Prolific vs Userlytics είναι το συνοδευτικό ανάγνωσμα. Για τη νοοτροπία πίσω από τη στοίβαξη πολλών μικρών ροών εισοδήματος ώστε καμία μόνη να μην πρέπει να σε στηρίξει, το άρθρο για εφαρμογές μερισμάτων εφαρμόζει την ίδια λογική σε διαφορετικό κανάλι.

Οι κόκκινες σημαίες που μου κόστισαν χρόνο

Έκανα αίτηση σε έντεκα φορείς πριν από την πρώτη μου προσφορά. Τρεις ήταν απάτες ή παρόμοιες με MLM, δύο δεν απάντησαν ποτέ, τέσσερις με πέρασαν από screener και με ghostαραν. Οι υπόλοιποι δύο πλήρωσαν. Κόκκινες σημαίες που φιλτράρω τώρα αμέσως: απλήρωτα screeners πάνω από δύο ώρες, τιμές που διαφημίζονται πάνω από 40 ευρώ την ώρα για γενικιστές raters, οποιοσδήποτε φορέας που ζητά δοκιμαστική πληρωμή ή έλεγχο πιστοληπτικής ικανότητας, και οποιοσδήποτε ρόλος που απαιτεί να πληρώσεις για εκπαιδευτικό μάθημα. Οι νόμιμοι φορείς πληρώνουν τη δέσμη αξιολόγησης, κάθε φορά.

Η σπάνια συμβουλή του John

Γράψε ένα καθαρό δείγμα αξιολόγησης και επαναχρησιμοποίησέ το

Τα screeners ζητούν σχεδόν πάντα να κατατάξεις δύο εξόδους μοντέλου και να αιτιολογήσεις την κατάταξη. Έγραψα ένα πρότυπο αξιολόγησης, 180 λέξεις, δομημένο ως τι ζητούσε το prompt, πώς το χειρίστηκε κάθε απάντηση, γιατί κατατάσσω την Α πάνω από την Β. Επαναχρησιμοποιώντας αυτή τη δομή σε κάθε screener μείωσα τον χρόνο γραφής από 90 λεπτά σε 40 λεπτά, και σκόραρα πάνω από τον πήχη σε τέσσερις από πέντε αιτήσεις.

Τι θα απέφευγα

Μην υπογράφεις NDA χωρίς να διαβάσεις τη ρήτρα μη ανταγωνισμού. Ένας φορέας μου πρόσφερε ένα συμβόλαιο 24 ευρώ την ώρα που θα με απέκλειε από κάθε άλλη δουλειά AI annotation για 12 μήνες μετά τη λήξη. Αποχώρησα, πήρα την προσφορά 18 ευρώ την ώρα που δεν είχε τέτοια ρήτρα, και κράτησα την επιλογή να στοιβάξω ένα δεύτερο συμβόλαιο έξι μήνες αργότερα. Η ευελιξία άξιζε τα 6 ευρώ.

Συχνές ερωτήσεις

Χρειάζομαι τεχνικό υπόβαθρο για να αξιολογώ εξόδους AI;

Όχι, αλλά χρειάζεσαι σαφή γραφή στα Αγγλικά και υπομονετικό μάτι για λεπτομέρειες. Το υπόβαθρό μου είναι στο trading αθλητικών στοιχημάτων, όχι στη μηχανική μάθηση, και πέρασα το screener στη δεύτερη προσπάθεια. Αυτό που μετράει πραγματικά είναι η ικανότητα να αιτιολογείς μια βαθμολογία σε ένα καθαρό παράγραφο.

Πόσος χρόνος απαιτείται από την αίτηση έως την πρώτη πληρωμένη εργασία;

Τρεις έως έξι εβδομάδες στην εμπειρία μου. Η διαδικασία onboarding περνά από recruiter, γραπτό screener, σύντομη συνέντευξη, και στη συνέχεια πληρωμένη δέσμη αξιολόγησης. Οτιδήποτε ταχύτερο από τρεις εβδομάδες είναι συνήθως ένα χαμηλόμισθο πρόγραμμα στο οποίο πρέπει να είσαι καχύποπτος.

Είναι το εισόδημα αρκετά σταθερό για να το σχεδιάσεις;

Όχι μηνιαίως. Τα προγράμματα ανεβαίνουν και κατεβαίνουν σε κύματα τεσσάρων έως οκτώ εβδομάδων. Έχω δει 30 ώρες την εβδομάδα να προσφέρονται και μετά μηδέν για δεκαπέντε μέρες. Αντιμετώπισέ το ως ένα υψηλής τιμής, χαμηλής αξιοπιστίας κανάλι, όχι ως μισθό.