Oamenii de știință de la Stanford au descoperit că GPT-4 devine mai prost în timp
Miscelaneu / / July 20, 2023
Precizia versiunii cu plată a ChatGPT a fost mai mică decât cea a chatbot-ului gratuit.
Nou studiu de la oamenii de știință de la Universitatea Stanford au confirmat ceea ce internauții s-au plâns de săptămâni întregi: ChatGPT Plus, bazat pe GPT-4 a devenit cu adevărat mai prost - spre deosebire de GPT-3.5, care rulează versiunea gratuită a chatbot-ului.
În studiul lor, autorii au comparat răspunsurile la diferite solicitări de la un chatbot bazat pe GPT-4 și GPT-3.5. ei a constatat că comportamentul chatbot-ului și acuratețea răspunsurilor la unele solicitări în noua versiune sunt semnificative înrăutăţit.
Autorii au comparat modelele de limbă GPT-4 și GPT-3.5 lansate în martie și ianuarie. Ei au descoperit că în acest timp precizia lui GPT-4 a scăzut considerabil, în timp ce cea a lui GPT-3.5, dimpotrivă, a crescut.
De exemplu, acuratețea răspunsului la întrebarea dacă 17077 este un număr prim a scăzut cu 95,2%, în timp ce GPT-3,5, dimpotrivă, a crescut de la 7,4% la 86,8%. De asemenea, șansa executării cu succes a codului scris de rețeaua neuronală a scăzut în versiunile actuale ale ambelor modele.
Anterior, vicepreședintele OpenAI Peter Welinder a făcut-o deja răspuns la acuzațiile utilizatorilor ChatGPT Plus:
Nu, nu am făcut GPT-4 mai prost. Totul este exact invers: facem fiecare versiune nouă mai inteligentă decât cea anterioară.
Acum avem această ipoteză: atunci când folosești ceva mai activ, începi să observi probleme pe care nu le-ai văzut înainte.
Peter Welinder
VP de produs la OpenAI
Într-unul dintre răspunsurile la acest tweet, Welinder întrebă furnizați dovezi că chatbot-ul a devenit mai rău. Un studiu al oamenilor de știință de la Stanford a apărut la 5 zile după aceea - și nu a existat încă un răspuns de la OpenAI.
Nu este prima dată când GPT-4 este acuzat că furnizează informații false. În martie, analiștii NewsGuard descoperitcă ChatGPT bazat pe GPT-4 este mai ușor de făcut să spună o minciună - în timp ce OpenAI însuși susține o creștere cu 40% a preciziei răspunsurilor în comparație cu GPT-3.5. ÎN în special, în testele NewsGuard, noua versiune a rețelei neuronale a fost mai puțin probabil să respingă informații false - inclusiv date false despre evenimente și teorii moderne. conspirații.
Citeste si🧐
- 6 analogi pentru ChatGPT
- James Cameron despre pericolele AI: „Te-am avertizat în 1984, dar nu ai ascultat”
- 8 mituri ale inteligenței artificiale pe care le cred chiar și programatorii