Kaip be techninio diplomo gavau dvi AI vertintojo sutartis

Nešiojamasis kompiuteris su palyginimo kortelėmis ir vertinimo kriterijais, skirtais RLHF ir AI vertintojų darbui

AI vertintojo darbas – tyliausias gerai apmokamas mikroužduočių takelis ekosistemoje. Ant jo užkliuvau atsitiktinai 2024 m. pradžioje, o iki metų pabaigos per du nišinius tiekėjus jau buvau užsidirbęs šiek tiek daugiau nei 4 300 eurų. Pagrindiniuose mikroužduočių forumuose apie tai niekas nekalba, nes tie, kurie pakliūva, linkę laikyti paslaptyje.

Ką iš tikrųjų dirbate

Praktikoje skaitote užklausą, skaitote du ar tris modelio atsakymus ir rikiuojate juos pagal vertinimo kriterijus. Kartais patys parašote geresnę versiją. Kartais pažymite, kuris iš dviejų atsakymų saugesnis, teisingesnis ar naudingesnis. Užduočių tipai, su kuriais dirbau: pirmenybės rikiavimas, faktų tikrinimas, saugumo žymėjimas ir perrašymas. Nei vienai nereikėjo techninio išsilavinimo. Visoms reikėjo aiškios rašytinės anglų kalbos ir gebėjimo pagrįsti įvertinimą dviem–keturiais sakiniais be vandens.

Iš kur iš tikrųjų atsiranda šie darbai

Ne iš didelių pagrindinių platformų. Dvi mano sutartys atėjo per nišinius tiekėjus, veikiančius kaip tarpininkai tarp AI laboratorijų ir individualių vertintojų. Įsivaizduokite juos kaip personalo agentūras. Mano atveju: vienas JK įsikūręs tiekėjas, tvarkantis pirmenybės duomenis didelei laboratorijai, ir vienas europietiškas tiekėjas, vykdantis saugumo vertinimus kitai laboratorijai. Abu radau ieškodamas LinkedIn pozicijų su žyme *Data Analyst Part Time* ir raktažodžiais *preference data* arba *RLHF*, o tada paraiškas teikiau tiesiogiai. Platesnę strategiją, kaip rasti tylų niekur nereklamuojamą darbą, rasite Laisvai samdomo darbo centre.

  1. LinkedIn paieška: filtruokite part time, sutartinį, nuotolinį; raktažodžiai *RLHF*, *AI annotation*, *preference data*, *rater*.
  2. Įmonių puslapiai: identifikuokite 8–12 nišinių tiekėjų, sekite juos, teikite paraiškas į bet kokią atsidariusią vertintojo poziciją.
  3. Atranka: tikėkitės 90 minučių neapmokamos rašytinės užduoties, paprastai 4–6 rikiavimo pratybų.
  4. Pokalbis: 20–30 minučių skambutis su programos vadovu. Ne techninis, orientuotas į mąstymą pagal vertinimo kriterijus.
  5. Apmokama kvalifikacinė partija: 2–5 valandos apmokamo darbo, vertinamo pagal vidinius etalonus. Praeinate – esate priimtas.

Pinigai, be reklamos triukšmo

Abiejose mano sutartyse įkainiai atitinkamai siekė 18 ir 22 eurus per valandą. Mokėjimo sąlygos – net 15 pirmajam tiekėjui ir net 30 antrajam, abi per SEPA banko pavedimą, išrašant PVM sąskaitą faktūrą pagal mano individualios veiklos statusą. Apimtis labai svyravo; vieną mėnesį užfiksavau 41 apmokamą valandą, kitą mėnesį – septynias. Traktuokite tai kaip aukšto įkainio, mažo patikimumo takelį ir jis veiks. Traktuokite kaip atlyginimą pakeičiantį šaltinį – sulaužys jūsų biudžetą.

Palyginimui su kitais mano lygiagrečiai valdomais laisvai samdomo darbo takeliais yra Prolific vs Userlytics straipsnis. Filosofijai, kaip sluoksniuoti kelis mažus pajamų srautus taip, kad nė vienam nereikėtų jūsų vieno neštis, ta pati logika pritaikyta dividendų programėlių straipsnyje.

Raudonos vėliavos, kurios man kainavo laiko

Iki pirmojo pasiūlymo pateikiau paraiškas vienuolikai tiekėjų. Trys buvo apgavystės ar į MLM panašios schemos, du niekada neatsakė, keturi pravedė per atranką ir dingo. Likę du apmokėjo. Raudonos vėliavos, kurias dabar iškart filtruoju: neapmokamos atrankos, trunkančios ilgiau nei dvi valandas, reklamuojami įkainiai virš 40 dolerių per valandą bendriems vertintojams, bet koks tiekėjas, prašantis bandomojo mokėjimo ar kredito patikros, ir bet kokia pozicija, reikalaujanti susimokėti už mokymo kursą. Teisėti tiekėjai už kvalifikacinę partiją moka visada.

Retas John patarimas

Parašykite vieną švarų vertinimo pavyzdį ir jį pakartotinai naudokite

Atrankos beveik visada prašo surikiuoti du modelio atsakymus ir pagrįsti rikiavimą. Parašiau vieną 180 žodžių šablono vertinimą, kurio struktūra: *ko prašė užklausa, kaip kiekvienas atsakymas tai sprendė, kodėl A aukščiau nei B*. Šios struktūros pakartotinis naudojimas kiekvienoje atrankoje sumažino rašymo laiką nuo 90 iki 40 minučių ir keturiose iš penkių paraiškų peržengė slenkstį.

Ko vengčiau

Nepasirašykite NDA neperskaitę nekonkuravimo sąlygos. Vienas tiekėjas pasiūlė 24 eurų per valandą sutartį, kuri būtų užblokavusi bet kokį kitą AI anotavimo darbą 12 mėnesių po nutraukimo. Pasitraukiau, paėmiau 18 eurų per valandą pasiūlymą be tokios sąlygos ir išsaugojau galimybę po šešių mėnesių sukaupti antrą sutartį. Lankstumas buvo vertas tų 6 eurų.

Dažni klausimai

Ar reikia techninio išsilavinimo, kad vertinčiau AI atsakymus?

Ne, tačiau reikia aiškios anglų kalbos rašte ir kantrios akies niuansams. Mano fonas – sporto prekyba, ne mašininis mokymasis, o atranką perėjau iš antro karto. Tai, kas iš tiesų svarbu, yra gebėjimas pagrįsti įvertinimą vienoje aiškioje pastraipoje.

Kiek trunka nuo paraiškos iki pirmos apmokamos užduoties?

Pagal mano patirtį – nuo trijų iki šešių savaičių. Priėmimo procesas eina per darbuotojų paieškos vadybininką, rašytinę atranką, trumpą pokalbį ir apmokamą kvalifikacinę partiją. Bet kas greičiau nei per tris savaites paprastai yra žemesnio mokėjimo programa, į kurią reikėtų žiūrėti skeptiškai.

Ar pajamos pakankamai stabilios, kad būtų galima planuoti?

Ne mėnesio mastu. Programos didėja ir mažėja keturių–aštuonių savaičių bangomis. Mačiau pasiūlymus dirbti 30 valandų per savaitę, o paskui nulį dvi savaites. Traktuokite tai kaip aukšto įkainio, mažo patikimumo takelį, o ne atlyginimą.