ChatGPT își pierde performanța de la model la model

by Nastasia Diana stiri

Unele dintre răspunsurile ChatGPT au arătat că acuratețea modelului s-a deteriorat în ultimele luni și cercetătorii nu își pot da seama de ce.

Într-un studiu din 18 iulie, cercetătorii de la Stanford și UC Berkeley au descoperit că cele mai noi modele ChatGPT au devenit mult mai puțin eficiente in oferirea de răspunsuri precise la o serie identică de întrebări în decurs de câteva luni.

Autorii studiului nu au putut oferi un răspuns clar cu privire la motivul pentru care capacitățile chatbot-ului AI s-au deteriorat.

Pentru a testa cât de fiabile au fost diferitele modele de ChatGPT, cercetătorii Lingjiao Chen, Matei Zaharia și James Zou au cerut modelelor ChatGPT-3.5 și ChatGPT-4 să rezolve o serie de probleme de matematică, să răspundă la întrebări sensibile, să scrie noi linii de cod și să urmeze un raționament vizual-spațial din prompturi.

Potrivit cercetării, în martie, ChatGPT-4 a fost capabil să identifice numere prime cu o rată de precizie de 97,6%. În același test efectuat în iunie, precizia lui GPT-4 a scăzut la doar 2,4%.

În schimb, modelul anterior GPT-3.5 a îmbunătățit identificarea numerelor prime în același interval de timp.

Studiul a constatat, de asemenea, că răspunsurile ChatGPT la întrebări referitoare la subiecte controversate – cu unele exemple care arată un accent pe etnie și gen – au devenit ulterior mai concise în refuzul de a răspunde.

Iterațiile anterioare ale chatbot-ului au oferit un raționament amplu privind motivul pentru care nu a putut răspunde la anumite întrebări sensibile. În iunie însă, modelele și-au cerut pur și simplu scuze utilizatorului și au refuzat să răspundă.

„Comportamentul aceluiași serviciu se poate schimba substanțial într-un timp relativ scurt”, au scris cercetătorii, subliniind necesitatea monitorizării continue a calității modelului AI.

Cercetătorii au recomandat utilizatorilor și companiilor care se bazează pe serviciile LLM drept componentă a fluxurilor lor de lucru să implementeze o anumită formă de analiză de monitorizare pentru a se asigura că chatbot-ul rămâne la curent.

Pe 6 iunie, OpenAI a dezvăluit planurile de a crea o echipă care va ajuta la gestionarea riscurilor care ar putea apărea dintr-un sistem AI superinteligent, lucru așteptat în acest deceniu.

Casa Albă: Demersul companiilor AI spre siguranță și transparență

Administrația Biden a subliniat responsabilitatea companiilor de inteligență artificială de a se asigura că serviciile lor sunt sigure pentru utilizare.

Pe 21 iulie, Casa Albă a facut un anunț privind companiile ce se folosesc de inteligența artificială (AI), precum OpenAI, Google și Microsoft, conform căruia acestea s-au angajat să dezvolte o tehnologie AI care este sigură și transparentă.

Administrația Biden a subliniat responsabilitatea companiilor de a asigura siguranța serviciilor lor și de a valorifica potențialul AI, promovând în același timp standarde înalte în dezvoltarea acesteia.

Kent Walker, președintele Google pentru afaceri globale, a recunoscut că obținerea succesului în AI necesită colaborare. El și-a exprimat satisfacția că s-a alăturat altor companii de top în domeniul inteligenței artificiale pentru a sprijini aceste angajamente și a asigurat că Google va continua să lucreze cu alte companii prin împărtășirea informațiilor și a celor mai bune practici.

Printre angajamente se numără testarea de securitate înainte de lansare pentru sistemele AI, partajarea celor mai bune practici în domeniul siguranței AI, investiția în securitate cibernetică și măsuri de protecție a amenințărilor interne și permiterea raportării de către terți a vulnerabilităților în sistemele AI.

Sursă foto: bath.ac.uk