10 întrebări rușinoase despre rețelele neuronale: Răspunsuri specialistul în învățare automată Igor Kotenkov
Miscelaneu / / August 08, 2023
Am adunat tot ce ai vrut să știi, dar ai fost prea timid să întrebi.
În nou serie Articolele unor experți cunoscuți răspund la întrebări care de obicei sunt jenant de adresat: se pare că toată lumea știe deja despre asta, iar cel care pune întrebări va părea prost.
De data aceasta am discutat cu specialistul în inteligență artificială Igor Kotenkov. Veți afla dacă vă puteți salva copia digitală pentru strănepoții voștri, de ce nu se poate avea încredere 100% în neuroni și dacă lumea este în pericolul unei revolte a mașinilor.
Igor Kotenkov
1. Cum funcționează rețelele neuronale? Este un fel de magie. Cum ar putea fi creat ChatGPT? Și Midjourney sau DALL-E?
O rețea neuronală este un model matematic inventat cu scopul de a înțelege cum funcționează creierul unui organism viu. Adevărat, au fost luate ca bază ideile cele mai de bază ale începutului celei de-a doua jumătate a secolului XX, care acum pot fi numite irelevante sau prea simplificate.
Chiar și numele „rețea neuronală” provine de la cuvântul „neuron” - acesta este numele uneia dintre principalele unități funcționale ale creierului. Rețelele neuronale în sine sunt formate din noduri - neuroni artificiali. Deci putem spune că multe idei de arhitecturi moderne au fost „peeped” din natura însăși.
Dar, mai important, rețeaua neuronală este un model matematic. Și deoarece acesta este ceva legat de matematică, atunci putem folosi întreaga putere a aparatului matematic pentru a afla sau a evalua proprietățile unui astfel de model. Puteți considera o rețea neuronală ca o funcție, iar o funcție este, de asemenea, un obiect matematic. Cel mai simplu și mai ușor de înțeles exemplu: o funcție care, să zicem, ia ca intrare orice număr și îi adaugă 2: f (4) = 6, f (10) = 12.
Dar o astfel de funcție este foarte ușor de programat, chiar și un copil se poate descurca după câteva ore de învățare a limbilor străine. programare. Și motivul este că o astfel de funcție este foarte ușor de formalizat, descrisă în detaliu într-un limbaj simplu și ușor de înțeles.
Cu toate acestea, există unele sarcini pe care nici nu știm cum să le abordăm. De exemplu, vă pot oferi fotografii cu pisici și câini amestecați și le puteți sorta în două grămezi fără probleme. Dar de ce anume te ghidezi atunci când stabilești răspunsul? Ambele sunt pufoase. Ambele specii au o coadă, urechi, doi ochi. Poate dimensiunea? Dar sunt câini foarte mici, sunt pisici mari.
Nu putem descrie multe sarcini din lumea reală, nu cunoaștem dependența observației noastre și un răspuns „corect” condiționat.
Știm doar să dăm acest răspuns - și gata, fără să ne gândim la cum iese.
Aici vin rețelele neuronale în ajutor. Aceste funcții matematice sunt antrenate din date. Nu trebuie să descrii relația dintre intrare și ieșire. Pur și simplu pregătești două teancuri de fotografii și trenuri model pentru a da răspunsuri corecte. Ea însăși învață să găsească această legătură, o găsește ea însăși, bazându-se pe greșelicine. Ai confundat o pisică Bengal și un Rottweiler? Ei bine, data viitoare va fi mai bine!
Procesul de învățare a unei rețele neuronale este o astfel de ajustare a „neuronilor” pentru a învăța cum să rezolvi o problemă și să dai răspunsul corect. Și ceea ce este cel mai remarcabil: există o dovadă teoretică că o rețea neuronală suficient de mare cu un set de date suficient de mare poate învăța orice funcție complexă. Dar cel mai important lucru aici este puterea de calcul (pentru că neuronul poate fi foarte mare) și disponibilitatea datelor etichetate. Anume marcate, adică au clasa „câine”, pisică sau orice altceva.
Nu înțelegem pe deplin cum funcționează modelele - modelele cele mai complexe și mari le place ChatGPT aproape inanalizabil.
Cei mai buni cercetători lucrează la provocarea de a „înțelege” funcționarea interioară a proceselor lor chiar acum.
Dar știm pentru ce sarcină au fost antrenate modelele, ce eroare au încercat să minimizeze în timpul antrenamentului. Pentru ChatGPT, sarcina constă din două. Prima este predicția cuvântului următor în funcție de contextul său: „mama s-a spălat...” Ce? Acesta este ceea ce modelul ar trebui să prezică.
A doua sarcină este să ne asigurăm că răspunsurile nu sunt ofensatoare, dar, în același timp, rămân utile și de înțeles. De aceea, modelul a devenit viral - este antrenat direct pentru a genera genul de text care le place oamenilor!
Puteți citi mai multe despre cum funcționează ChatGPT în mine articol.
2. Pot neuronii să gândească?
Oamenii de știință încă nu înțeleg ce înseamnă „a gândi” sau „raționa” și cum funcționează intelectul în general. Prin urmare, este dificil de judecat dacă un model precum ChatGPT are astfel de proprietăți.
Să ne imaginăm o situație: te apropii de ușa apartamentului tău. Ai idee că trebuie să scoți cheia din buzunarul din stânga al rucsacului pentru a deschide ușa? Putem spune că descrierea și prezentarea acțiunilor este un proces de gândire? În esență, am stabilit o relație între starea actuală și ținta dorită (ușa deschisă). Dacă credeți că răspunsul la întrebarea de mai sus este da, atunci răspunsul meu ar fi același. 🙂
Un alt lucru este atunci când vine vorba de gânduri inovatoare care nu au fost exprimate înainte sau nu sunt atât de comune. La urma urmei, de exemplu, puteți găsi cu ușurință defecte în exemplul de mai sus: „Da, am citit acest model de 100500 de ori pe Internet și în cărți. Bineînțeles că ea știe! Nimic surprinzător.” Apropo, de unde ai știut? Este pentru că părinții tăi ți-au arătat în copilărie și ai urmărit procesul sute de zile la rând?
În acest caz, nu există un răspuns exact. Iar ideea aici este că nu luăm în considerare o componentă importantă: probabilitatea.
Cât de probabil este ca modelul să genereze un gând care se potrivește definiției dvs. specifice a „gândului”?
La urma urmei, un neuron precum ChatGPT poate fi făcut să genereze un milion de răspunsuri diferite la aceeași cerere. De exemplu, „veniți cu o idee pentru cercetare științifică». Dacă o generație dintr-un milion este cu adevărat interesantă și nouă, asta contează ca dovadă că un model poate da naștere unei idei? Dar cum va diferi de un papagal care strigă cuvinte aleatorii care nu-nu și se adaugă la ceva de înțeles?
Pe de altă parte, oamenii nu dau întotdeauna gânduri corecte - unele fraze duc la o fundătură și se termină în nimic. De ce rețelele neuronale nu pot ierta asta? Ei bine, o idee nouă dintr-un milion generat este foarte proastă... Dar dacă 100 dintr-un milion? Mie? Unde este această graniță?
Aceasta este ceea ce nu știm. Tendința este că la început credem că va fi dificil pentru mașini să rezolve problema X. De exemplu, pentru a trece testul Turing, unde trebuie doar să discutați cu o persoană timp de o jumătate de oră. Apoi, odată cu dezvoltarea tehnologiei, oamenii vin cu modalități de a rezolva, sau mai degrabă, de a antrena modele pentru o sarcină. Și spunem: „Ei bine, a fost de fapt un test greșit, iată unul nou pentru tine, neuronii cu siguranță nu îl vor putea trece!” Și situația se repetă.
Acele tehnologii care sunt acum, acum 80 de ani, ar fi fost percepute ca un miracol. Și acum încercăm cu toată puterea să împingem granița „rezonabilității” pentru a nu admite în fața noastră că mașinile știu deja să gândească. De fapt, este chiar posibil ca mai întâi să inventăm ceva, apoi să post factum și să-l definim retrospectiv ca AI.
3. Dacă neuronii pot desena și scrie poezie, atunci pot fi creativi și aproape ca oamenii?
Răspunsul se bazează în mare măsură pe informațiile de mai sus. Ce este creativitatea? Câtă creativitate are o persoană obișnuită? Ești sigur că un portar din Siberia știe să creeze? Și de ce?
Ce se întâmplă dacă un model poate produce o poezie sau un tablou care, condiționat, va ajunge în finala unui concurs orășenesc pentru scriitori amatori sau artiști pentru copii? Și dacă asta nu se întâmplă de fiecare dată, ci una din o sută?
Majoritatea acestor întrebări sunt discutabile. Dacă vi se pare că răspunsul este evident, încercați să intervieviți prietenii și rudele. Cu o probabilitate foarte mare, punctul lor de vedere nu va coincide cu al tău. Și aici principalul nu este ceartă.
4. Este posibil să aveți încredere în răspunsurile rețelelor neuronale și să nu mai căutați pe google?
Totul depinde de modul în care sunt folosite modelele. Dacă le puneți o întrebare fără context, fără informații însoțitoare în prompt și vă așteptați la un răspuns pe subiecte în care acuratețea faptelor este importantă și nu tonul general al răspunsului (de exemplu, o succesiune de evenimente într-o anumită perioadă, dar fără o mențiune exactă a locurilor și a datelor), atunci răspunsul este Nu.
Prin casnic estimat OpenAI, în astfel de situații, cel mai bun model de până acum, GPT-4, răspunde corect în aproximativ 70-80% din cazuri, în funcție de tematica întrebărilor.
Poate părea că aceste numere sunt foarte departe de „acuratețea” reală ideală de 100%. Dar, de fapt, acesta este un salt mare în comparație cu generația anterioară de modele (ChatGPT, bazat pe arhitectura GPT-3.5) - acelea aveau o precizie de 40-50%. Se pare că un astfel de salt a fost făcut în cadrul a 6-8 luni de cercetare.
Este clar că cu cât ne apropiem de 100%, cu atât va fi mai dificil să facem niște corecții pentru a nu „spărge” nimic în înțelegerea și cunoașterea modelului.
Cu toate acestea, toate cele de mai sus se referă la întrebări fără context. De exemplu, puteți întreba: „Când a fost Einstein? Modelul ar trebui să se bazeze numai pe cunoștințele interne care au fost „conectate” în el în etapa de instruire pe termen lung privind datele de pe tot internetul. Deci persoana respectivă nu va putea răspunde! Dar dacă mi-au dat o pagină de pe Wikipedia, atunci aș putea să o citesc și să răspund după sursa de informații. Atunci corectitudinea răspunsurilor ar fi aproape de 100% (ajustată pentru corectitudinea sursei).
În consecință, dacă modelul este prevăzut cu un context în care sunt conținute informații, atunci răspunsul va fi mult mai de încredere.
Dar dacă lăsăm modelul să caute pe google și să găsească surse de informații pe internet? Pentru ca ea însăși să găsească sursa și să construiască un răspuns pe baza ei? Ei bine, asta s-a făcut deja! Prin urmare, nu puteți căuta pe google, ci puteți delega o parte a căutării pe Internet către GPT-4 însuși. Cu toate acestea, acest lucru necesită un abonament plătit.
În ceea ce privește progresul suplimentar în dezvoltarea fiabilității informațiilor faptice în cadrul modelului, CEO-ul OpenAI, Sam Altman dă o estimare de 1,5–2 ani pentru a rezolva această problemă de către o echipă de cercetători. Îl vom aștepta cu mare nerăbdare! Dar pentru moment, rețineți că nu trebuie să aveți încredere 100% în ceea ce este scris de un neuron și să verificați din nou măcar sursele.
5. Este adevărat că rețelele neuronale fură desene ale artiștilor adevărați?
Da și nu - ambele părți ale conflictului se ceartă activ despre acest lucru în instanțele din întreaga lume. Se poate spune cu siguranță că imaginile nu sunt stocate direct în modele, apare doar „vigherea”.
În acest plan neuronii foarte asemănătoare cu oamenii care studiază mai întâi arta, stiluri diferite, se uită la munca autorilor și apoi încearcă să imite.
Cu toate acestea, modelele învață, așa cum am aflat deja, după principiul minimizării erorilor. Iar dacă în timpul antrenamentului modelul vede de sute de ori aceeași imagine (sau foarte asemănătoare), atunci, din punctul ei de vedere, cea mai bună strategie este să-și amintească imaginea.
Să luăm un exemplu: profesorul tău de la școala de artă a ales o strategie foarte ciudată. Desenez două imagini în fiecare zi: prima este întotdeauna unică, într-un stil nou, iar a doua este Mona Lisa. După un an, încerci să evaluezi ceea ce ai învățat. Din moment ce ai desenat Mona Lisa de peste 300 de ori, iti amintesti aproape toate detaliile si acum o poti reproduce. Nu va fi exact originalul și cu siguranță vei adăuga ceva propriu. Culori va fi ușor diferit.
Și acum vi se cere să desenați ceva care a fost acum 100 de zile (și pe care l-ați văzut o dată). Veți reproduce mult mai puțin exact ceea ce este necesar. Doar pentru că mâna nu este îndesată.
La fel este și cu neuronii: ei învață la fel în toate imaginile, doar unele sunt mai frecvente, ceea ce înseamnă că modelul este amendat și în timpul antrenamentului mai des. Acest lucru este valabil nu numai pentru picturile artiștilor - pentru orice imagine (chiar și reclamă) din eșantionul de formare. Acum există metode pentru eliminarea duplicatelor (pentru că antrenamentul pe ele este cel puțin ineficient), dar nu sunt perfecte. Cercetările arată că există imagini care apar de 400-500 de ori în timpul unui antrenament.
Verdictul meu: rețelele neuronale nu fură imagini, ci pur și simplu iau în considerare desenele ca exemple. Cu cât exemplul este mai popular, cu atât modelul îl reproduce mai exact.
Oamenii fac același lucru în timpul antrenamentului: se uită la frumusețe, studiază detaliile, stilurile diferite artiștilor. Dar pentru artiștii sau fotografi care și-au petrecut jumătate din viață învățând un meșteșug, punctul de vedere este adesea radical diferit de cel descris mai sus.
6. Este adevărat că „totul este pierdut” și rețelele neuronale vor lua munca oamenilor? Cui îi pasă cel mai mult?
Este important să se separe doar „rețelele neuronale” care îndeplinesc anumite sarcini de rețelele neuronale de uz general, cum ar fi ChatGPT. Aceștia din urmă sunt foarte buni să urmeze instrucțiunile și sunt capabili să învețe din exemple în context. Adevărat, acum dimensiunea „memoriei” lor este limitată la 10-50 de pagini de text, la fel ca și abilitățile de reflecție și planificare.
Dar dacă munca cuiva se reduce la executarea de rutină a instrucțiunilor și acest lucru este ușor de învățat în câteva zile citind articole (sau dacă întregul Internet este umplut cu aceste informații), iar costul forței de muncă este peste medie - atunci în curând o astfel de muncă automatiza.
Dar, prin ea însăși, automatizarea nu înseamnă o înlocuire completă a oamenilor. Doar o parte din munca de rutină poate fi optimizată.
O persoană va începe să obțină sarcini mai interesante și mai creative cărora mașina (până acum) nu le poate face față.
Dacă dăm exemple, atunci la grupul de schimbătoare sau înlocuibile profesii Aș include, să zicem, asistenții-consultanți fiscali care ajută la pregătirea unei declarații și verifică erorile tipice, identifică inconsecvențele. Schimbările sunt posibile într-o astfel de specialitate precum un manager de date de studii clinice - esența muncii este în completarea rapoartelor și reconcilierea lor cu un tabel de standarde.
Dar un bucătar sau un șofer de autobuz vor fi la cerere mult mai mult timp, pur și simplu pentru că pot conecta rețele neuronale și un real lumea fizică este destul de complicată, mai ales în ceea ce privește legislația și reglementările - mulțumită birocraților că s-au îndepărtat Criza AI!
Sunt de așteptat schimbări mari în industriile asociate cu materialele tipărite și informațiile textuale: jurnalism, educaţie. Cu o probabilitate foarte mare pentru primul, neuronii vor scrie foarte curând schițe cu un set de teze, în care oamenii vor face deja schimbări de punct.
Sunt cel mai mulțumit de schimbările din domeniul educației. Mânca cercetare, care arată că calitatea educației depinde direct de „personalitatea” abordării și de cât timp îl alocă profesorul unui anumit elev. Cel mai simplu exemplu: predarea în grupuri de 30 de persoane folosind un manual este mult mai rău decât individual tutore pentru nevoi specifice (deși după același program ca în manual). Odată cu dezvoltarea AI, umanitatea va avea ocazia să ofere un asistent personalizat fiecărui student. Este pur și simplu incredibil! Rolul profesorului se va schimba, după cum văd eu, către unul strategic și de control: determinarea programului general și a secvenței de studiu, testarea cunoștințelor și așa mai departe.
7. Este posibil să-ți încarci conștiința într-un computer, să faci un geamăn digital și să trăiești pentru totdeauna?
În sensul în care este imaginat pe baza SF, nu. Nu poți decât să înveți modelul să-ți imite stilul de comunicare, să-ți înveți glumele. Poate că modelele de nivel GPT-4 vor putea chiar să inventeze altele noi, încadrate în stilul și modul tău unic de prezentare, dar acest lucru în mod clar nu înseamnă un transfer complet al conștiinței.
Noi, ca umanitate, din nou, nu știm ce este conștiința, unde este stocată, cum diferă ea de ceilalți, ce mă face pe mine - pe mine și pe tine - pe tine. Dacă se dovedește brusc că toate acestea sunt doar un set de amintiri și experiențe, multiplicate cu caracteristici individuale percepția, atunci, cel mai probabil, va fi posibil să se transfere cumva cunoștințe către rețelele neuronale, astfel încât acestea să simuleze viața viitoare pe baza lor.
8. Este periculos să vă încărcați vocea, aspectul, stilul text de vorbire într-o rețea neuronală? Se pare că o astfel de identitate digitală poate fi furată.
Nu puteți descărca literalmente nimic în ele. Îi puteți antrena (sau îi puteți reinstrui) în așa fel încât rezultatele să semene mai mult cu aspectul, vocea sau textul dvs. Și un astfel de model antrenat chiar poate fi furat, adică pur și simplu copiați scriptul și un set de parametri pentru a rula pe alt computer.
Puteți chiar să generați un videoclip cu o solicitare transfera bani pe cheltuiala altcuiva, în care ruda ta va crede: cei mai buni algoritmi de deepfake și clonare vocală au atins deja acest nivel. Adevărat, sunt necesare mii de dolari și zeci de ore de înregistrare, dar totuși.
În general, odată cu dezvoltarea tehnologiei, problema identificării și confirmării identității devine mai importantă.
Și încearcă să o rezolve într-un fel sau altul. De exemplu, există un startup WorldCoin (de fapt, face o criptomonedă), în care a investit șeful OpenAI, Sam Altman. Semnificația startup-ului este că fiecare informație despre o persoană va fi semnată de propria sa cheie pentru identificarea ulterioară. Același lucru va fi valabil și pentru mass-media, pentru a ști cu siguranță dacă această știre este adevărată sau falsă.
Dar, din păcate, în timp ce toate acestea sunt în stadiul de prototipuri. Și nu consider că introducerea profundă a sistemelor în toate industriile va fi implementată la orizontul următorului deceniu, pur și simplu pentru că este prea complicată și la scară largă.
9. Pot neuronii să înceapă să dăuneze și să preia lumea?
Pericolul nu sunt evoluțiile actuale, ci ceea ce le va urma cu dezvoltarea ulterioară. În prezent, nu au fost inventate metode pentru a controla funcționarea rețelelor neuronale. Luați, de exemplu, o sarcină foarte simplă: să vă asigurați că modelul nu înjură. Niciodata. Nu există nicio metodă care să vă permită să urmați o astfel de regulă. Până acum, puteți găsi diferite moduri de a-l „crește” la fel.
Acum imaginați-vă că vorbim despre GPT-8 în mod condiționat, ale cărui abilități vor fi comparabile cu abilitățile celor mai capabili și inteligenți oameni. Rețeaua neuronală poate programa, folosi internetul, știe psihologie și înțelege cum gândesc oamenii. Dacă îi dai frâu liber și nu stabilești o sarcină anume, atunci ce va face? Dacă află că nu poate fi controlată?
Probabilitatea unei întorsături proaste a evenimentelor nu este atât de mare, potrivit estimărilor. Apropo, nu există o evaluare general acceptată - deși toată lumea se ceartă despre detalii, despre consecințele dăunătoare și așa mai departe. Acum ei numesc cifre aproximative de la 0,01% la 10%.
În opinia mea, acestea sunt riscuri uriașe, presupunând că cel mai negativ scenariu este distrugerea umanității.
Interesant, ChatGPT și GPT-4 sunt produse care au fost create de echipe care lucrează la problemele de „aliniere” a intențiilor oamenilor și ale neuronilor (detalii pot fi găsite Aici). De aceea modelele ascultă atât de bine instrucțiunile, încearcă să nu fii nepoliticos, pun întrebări clarificatoare, dar acest lucru este încă foarte departe de ideal. Problema controlului nu este nici pe jumătate rezolvată. Și deși nu știm dacă se rezolvă deloc și, dacă da, prin ce metode. Acesta este cel mai tare subiect de cercetare pentru astăzi.
10. Se poate o rețea neuronală să se îndrăgostească de o persoană?
Cu abordările și arhitecturile actuale ale neuronilor, nu. Ele generează doar textul cel mai plauzibil ca o continuare a textului introdus. Dacă arunci primul capitol al unei povești de dragoste, rescriindu-l sub personalitatea ta și îi ceri modelului să răspundă la scrisoarea ta de dragoste, ea va face față. Dar nu pentru că m-am îndrăgostit, ci pentru că se potrivește cel mai bine contextului și cererii „scrie-mi o scrisoare!”. Amintiți-vă că modelele învață să genereze text care urmează instrucțiunile.
Mai mult, rețelele neuronale din versiunea de bază nu au memorie - între două lansări diferite, uită totul și revine la „setările din fabrică”. Memoria poate fi adăugată artificial, parcă din lateral, astfel încât, să zicem, 10 pagini din cele mai relevante „amintiri” să fie introduse în model. Dar apoi se dovedește că pur și simplu introducem un set de evenimente în modelul original și spunem: „Cum te-ai comporta în astfel de condiții?” Modelul nu are sentimente.
Citeste si🧐
- Unde și cum este folosită inteligența artificială: 6 exemple din viață
- 9 întrebări naive despre inteligența artificială
- 8 mituri ale inteligenței artificiale pe care le cred chiar și programatorii