Jak zdobyłem dwie umowy oceniania AI bez dyplomu technicznego

Laptop z kartami porównawczymi i rubryką do pracy RLHF i oceniania AI

Praca oceniania AI to najspokojniejszy, dobrze płatny tor mikrozadań w ekosystemie. Natknąłem się na nią przypadkowo na początku 2024 roku, a do końca roku zarobiłem nieco ponad 4 300 euro u dwóch niszowych dostawców. Nikt na głównych forach mikrozadań o tym nie mówi, bo osoby, które się dostają, zwykle to zachowują dla siebie.

Na czym polega ta praca w praktyce

W praktyce czytasz prompt, czytasz dwie lub trzy odpowiedzi modelu i oceniasz je według rubryki. Czasem sam piszesz lepszą wersję. Czasem adnotujesz, która z dwóch odpowiedzi jest bezpieczniejsza, bardziej prawdziwa lub pomocna. Rodzaje zadań, które wykonywałem: ranking preferencji, sprawdzanie faktów, etykietowanie bezpieczeństwa i przepisywanie. Żadne nie wymagało technicznego wykształcenia. Wszystkie wymagały jasnego pisania po angielsku i zdolności uzasadnienia oceny w dwóch do czterech zdaniach bez lania wody.

Skąd faktycznie pochodzą te zlecenia

Nie z dużych platform ogólnodostępnych. Dwie umowy, które zawarłem, przyszły przez niszowych dostawców działających jako pośrednicy między laboratoriami AI a indywidualnymi oceniającymi. Pomyśl o nich jak o agencjach zatrudnienia. W moim przypadku: jeden dostawca z siedzibą w Wielkiej Brytanii obsługujący dane preferencji dla dużego laboratorium oraz jeden europejski dostawca prowadzący oceny bezpieczeństwa dla innego laboratorium. Obaj zostali znalezieni przez wyszukiwanie na LinkedIn stanowisk oznaczonych *Data Analyst Part Time* ze słowami kluczowymi *preference data* lub *RLHF*, a następnie bezpośrednie aplikowanie. Szerszy opis strategii znajdowania cichej pracy, której nikt nie reklamuje, zawiera hub Freelance.

  1. Wyszukiwanie na LinkedIn: filtruj po niepełny etat, kontrakt, zdalnie; słowa kluczowe *RLHF*, *AI annotation*, *preference data*, *rater*.
  2. Strony firm: zidentyfikuj 8–12 niszowych dostawców, obserwuj ich, aplikuj na każde otwarte stanowisko oceniającego.
  3. Przesiewacz: spodziewaj się 90-minutowego nieodpłatnego zadania pisemnego, zazwyczaj 4–6 ćwiczeń rankingowych.
  4. Rozmowa kwalifikacyjna: 20–30-minutowa rozmowa z menedżerem programu. Nie techniczna, skupiona na myśleniu według rubryki.
  5. Płatna partia kwalifikacyjna: 2–5 godzin płatnej pracy ocenianej według wewnętrznych benchmarków. Zdaj ją, a jesteś w programie.

Pieniądze — bez owijania w bawełnę

W moich dwóch umowach stawki wynosiły odpowiednio 18 i 22 euro za godzinę. Warunki płatności to net 15 u pierwszego dostawcy i net 30 u drugiego, oba przez przelew SEPA z fakturowaniem VAT na mój status mikroprzedsiębiorcy. Wolumen zmieniał się gwałtownie; w jednym miesiącu zalogowałem 41 płatnych godzin, w następnym siedem. Traktuj to jako wysokostawkowy, mało niezawodny tor i działa. Traktuj to jako zastępstwo pensji i zniszczy ci budżet.

Dla porównania z innymi torami freelance, które prowadzę równolegle, artykuł Prolific vs Userlytics to towarzyszący materiał. Dla filozofii łączenia kilku małych strumieni dochodu, żeby żaden nie musiał cię sam utrzymywać, artykuł o aplikacjach dywidendowych stosuje tę samą logikę na innym torze.

Czerwone flagi, które kosztowały mnie czas

Aplikowałem do jedenastu dostawców przed pierwszą ofertą. Trzech było oszustwami lub MLM, dwóch nigdy nie odpowiedziało, czterech przeprowadziło mnie przez przesiewacz i zniknęło. Pozostałych dwóch zapłaciło. Czerwone flagi, które teraz natychmiast odfiltrowuję: nieopłacone przesiewacze dłuższe niż dwie godziny, stawki reklamowane powyżej 40 dolarów za godzinę dla oceniających generalistów, każdy dostawca proszący o płatność testową lub sprawdzenie kredytowe, i każde stanowisko wymagające opłacenia kursu szkoleniowego. Legalni dostawcy płacą za partię kwalifikacyjną, zawsze.

Rzadka wskazówka Johna

Napisz jedną czystą przykładową ocenę, potem ją wielokrotnie używaj

Przesiewacze niemal zawsze proszą o ocenę dwóch wyników modelu i uzasadnienie rankingu. Napisałem jeden szablon oceny, 180 słów, ustrukturyzowany jako *czego prompt wymagał, jak każda odpowiedź to obsłużyła, dlaczego rankinguję A powyżej B*. Wielokrotne używanie tej struktury w każdym przesiewaczu skróciło mój czas pisania z 90 minut do 40 minut i pozwoliło mi zaliczyć powyżej poprzeczki cztery z pięciu aplikacji.

Czego bym unikał

Nie podpisuj NDA bez czytania klauzuli o zakazie konkurencji. Jeden dostawca zaoferował mi umowę na 24 euro za godzinę, która blokowałaby mi dostęp do jakiejkolwiek innej pracy z adnotacją AI przez 12 miesięcy po rozwiązaniu. Odszedłem, wziąłem ofertę na 18 euro za godzinę bez takiej klauzuli i zachowałem opcję dołożenia drugiej umowy sześć miesięcy później. Elastyczność była warta tych 6 euro.

Często zadawane pytania

Czy potrzebuję technicznego wykształcenia, by oceniać wyniki AI?

Nie, ale potrzebujesz jasnego pisania po angielsku i cierpliwego oka na niuanse. Moje tło to trading sportowy, a nie uczenie maszynowe, i zdałem przesiewacz za drugim podejściem. To, co naprawdę się liczy, to zdolność uzasadnienia oceny w jednym czystym akapicie.

Ile czasu mija od zgłoszenia do pierwszego płatnego zadania?

Od trzech do sześciu tygodni w moim doświadczeniu. Proces onboardingu przebiega przez rekrutera, pisemny przesiewacz, krótką rozmowę kwalifikacyjną i płatną partię kwalifikacyjną. Cokolwiek szybszego niż trzy tygodnie to zazwyczaj słabiej płatny program, wobec którego powinieneś być sceptyczny.

Czy dochód jest wystarczająco stabilny, żeby na nim planować?

Nie miesięcznie. Programy nabierają tempa i kończą się w falach trwających cztery do ośmiu tygodni. Widziałem 30 godzin tygodniowo, a potem zero przez dwa tygodnie. Traktuj to jako wysoko oprocentowany, mało niezawodny tor, a nie pensję.