ChatGPT trece examenul neurologic pentru prima dată

Cea mai recentă actualizare a OpenAI a modelului său de limbă mare (LLM), ChatGPT 4.0, a trecut un examen de neurologie clinică cu 85% răspunsuri corecte într-un studiu de dovadă a conceptului. Autorii cercetării cred că, după unele reglaje, LLM-urile ar putea avea „aplicații semnificative” în neurologia clinică. Rezultatele experimentului, realizat de un grup de cercetători de la Spitalul Universitar Heidelberg și Centrul German de Cercetare a Cancerului din Heidelberg, au fost publicate pe 7 decembrie. Testul, efectuat pe 31 mai, a inclus două LLM, ChatGPT 3.5 și mai târziu. versiunea, ChatGPT 4.0.

Cercetătorii au folosit setul de întrebări pentru un examen de neurologie de la Consiliul American de Psihiatrie și Neurologie cu o mică cohortă de întrebări de la Consiliul European pentru Neurologie.

În timp ce versiunea mai veche a ChatGPT a obținut un scor de 66,8%, răspunzând corect la 1306 de întrebări din 1956, modelul mai recent, ChatGPT 4.0, a câștigat 85% cu 1662 de răspunsuri corecte. Scorul mediu uman a fost de 73,8%. ChatGPT 4.0 a depășit utilizatorii umani la întrebările comportamentale, cognitive și psihologice și a „trecut” efectiv examenul de neurologie, deoarece 70% dintre răspunsurile corecte sunt în general considerate un scor de trecere în instituțiile de învățământ.

Cu toate acestea, ambele modele au demonstrat performanțe mai slabe în sarcinile care necesită „gândire de ordin superior” decât întrebările care necesită doar „gândire de ordin inferior”.

Potrivit grupului de cercetători care efectuează experimentul, aceste rezultate servesc drept recomandare de utilizare a LLM-urilor în neurologia clinică după unele modificări: „Aceste constatări sugerează că, cu perfecționări suplimentare, modelele mari de limbaj ar putea avea aplicații semnificative în neurologia clinică”.

Cercetătorii subliniază că încă sunt rezervați. Deși există o perspectivă clară pentru aplicarea LLM-urilor în documentarea și sistemele de sprijin pentru luarea deciziilor, neurologii ar trebui să fie precauți cu privire la utilizarea lor în practică, deoarece sunt încă imperfecți în ceea ce privește sarcinile cognitive de ordin înalt. Unul dintre autorii studiului, dr. Varun Venkataramani, a spus: “Vedem studiul nostru mai mult ca o dovadă a conceptului pentru capacitățile LLM-urilor. Există încă nevoie de dezvoltare și, probabil, chiar o reglare fină specifică a LLM-urilor pentru a le face aplicabile în mod corespunzător pentru neurologia clinică. „

AI lucrează deja la unele sarcini majore din domeniul sănătății, cum ar fi găsirea remediului pentru cancer pentru AstraZeneca sau combaterea prescripției excesive de antibiotice în Hong Kong.

Oficialii UE ajung la un acord „istoric” de reglementare a AI

Acordul obligă modele precum ChatGPT și AI în general să urmeze regulile de transparență înainte de intrarea pe piață.

Negociatorii Parlamentului European și ai Consiliului au ajuns la un acord provizoriu cu privire la regulile care reglementează utilizarea inteligenței artificiale vineri, 8 decembrie.

Acordul acoperă utilizarea guvernamentală a AI în supravegherea biometrică, modul de reglementare a sistemelor AI, cum ar fi ChatGPT, și regulile de transparență care trebuie urmate înainte de intrarea pe piață. Aceasta acoperă documentele tehnice, respectarea drepturilor de autor ale Uniunii Europene și partajarea rezumatelor conținutului de formare.

UE dorește să fie prima autoritate supranațională cu legi privind AI, specificând modul în care aceasta va fi utilizată în mod benefic, protejând în același timp împotriva riscurilor. Acordul a fost încheiat în urma unei dezbateri de aproape 24 de ore pe 8 decembrie și după 15 ore de negocieri.

Acordul prevede că modelele AI cu impact semnificativ și riscuri sistemice trebuie să evalueze și să abordeze aceste riscuri, să efectueze teste contradictorii pentru rezistența sistemului, să raporteze incidentele Comisiei Europene, să asigure securitatea cibernetică și să dezvăluie eficiența energetică. „Implementarea corectă va fi esențială – Parlamentul va urmări cu atenție sprijinirea noilor idei de afaceri cu sandbox și reguli eficiente pentru cele mai puternice modele.”

După încheierea înțelegerii, comisarul european pentru piața internă Thierry Breton a postat pe X (fostul Twitter) „Istoric! #AIAct este mult mai mult decât un cadru de reguli – este o rampă de lansare pentru startup-urile și cercetătorii din UE pentru a conduce cursa globală de inteligență artificială. Ce-i mai bun are să vină!”

Conform acordului, inteligența artificială de uz general cu riscuri trebuie să urmeze coduri. Guvernele pot utiliza supravegherea biometrică în timp real doar în cazuri specifice, cum ar fi anumite infracțiuni sau amenințări severe în spațiile publice.

Acordul interzice manipularea cognitiv-comportamentală, imitarea imaginilor faciale de pe internet sau înregistrări CCTV, scorul social și sistemele biometrice care deduc detalii personale precum convingerile și orientarea. Consumatorii ar avea dreptul de a depune reclamații și de a obține explicații.

Amenzile pentru încălcări ale regulilor ar varia de la 7,5 milioane de euro (8,1 milioane de dolari) sau 1,5% din cifra de afaceri până la 35 de milioane de euro (37,7 milioane de dolari) sau 7% din cifra de afaceri globală, în funcție de nivelul de  încălcarea a regulilor și dimensiunea companiei.

Potrivit declarației Parlamentului European, textul convenit va trebui acum să fie adoptat oficial de parlament și consiliu înainte de a deveni lege europeană. Comisiile pentru piața internă și libertățile civile ale parlamentului vor vota acordul la o ședință viitoare.

Sursă foto: newrepublic.com