Google a învățat un model AI cum să folosească alte modele AI și a devenit cu 40% mai bun la codificare

Cercetarea ar putea face posibilă predarea modelelor vechi de AI noi trucuri fără sesiuni costisitoare de reglare fină sau de reinstruire. Cercetătorii de inteligență artificială (AI) de la Google Research și Google DeepMind au dezvoltat o metodă prin care un model de limbaj mare (LLM) poate fi îmbunătățit cu alte modele de limbaj.

Aceasta abordează una dintre cele mai mari probleme ale LLM-urilor, permițând dezvoltatorilor să îmbunătățească modelele existente cu noi abilități fără a fi nevoie să pornească de la zero sau să se angajeze în sesiuni costisitoare de reinstruire/ajustare fină.

Învățarea chatbot-urilor vechi trucuri noi

Cercetarea a fost efectuată folosind PaLM2-S LLM de la Google, un model despre care compania spune că este comparabil cu GPT-4, AI care stă la baza ChatGPT al OpenAI.

PaLM2-S a fost evaluat de la sine în experimentele echipei și apoi din nou după ce a fost modificat cu modele de limbaj mai mici, specializate. Sarcinile efectuate au inclus traducerea, în care versiunea augmentată a arătat o îmbunătățire cu 13% față de linia de bază și codificare.

Când a fost testat în sarcinile de codificare, modelul hibrid a arătat îmbunătățiri semnificative, conform lucrării: „În mod similar, atunci când PaLM2-S este augmentat cu un model specific codului, vedem o îmbunătățire relativă de 40% față de modelul de bază pentru generarea și explicarea codului– la egalitate cu omologii complet ajustați.”

Implicații potențial masive

Îmbunătățirile de performanță arătate pot părea să aibă efecte directe asupra industriei AI. La traducerea unei limbi cu suport redus în engleză, de exemplu, performanța îmbunătățită în sarcinile de traducere a fost evident cea mai semnificativă. Aceasta este încă o problemă remarcabilă de învățare automată, iar abordarea Google ar putea face diferența.

Dreptul de autor versus inteligența artificială

Producătorii unora dintre cele mai populare modele de limbaj mari au fost numiți ca inculpați în numeroase procese bazate pe acuzațiile că aceste sisteme AI sunt instruite pe date protejate prin drepturi de autor.

Întrebarea la care vor trebui să răspundă parlamentarii și instanțele este dacă o companie cu scop profit poate folosi legal aceste date pentru a-și instrui modelele lingvistice. În extremă, dacă instanțele ar decide că dezvoltatorii nu pot folosi astfel de date și că orice modele instruite pe materiale protejate prin drepturi de autor trebuie eliminate, ar putea fi imposibil din punct de vedere tehnic sau financiar să ofere în continuare serviciile afectate.

În esență, din cauza costurilor ridicate implicate în formarea modelelor lingvistice mari și a dependenței lor de testele masive de date, produse precum ChatGPT, așa cum sunt construite astăzi, ar putea să nu fie viabile într-un peisaj AI mai reglementat al Statelor Unite.

Cu toate acestea, dacă noua schemă de creștere a LLM de la Google se desfășoară odată cu dezvoltarea ulterioară, este posibil ca multe dintre cerințele de scalare și costurile de dezvoltare a unui LLM de la zero sau recalificarea unuia existent să poată fi atenuate.

Sursă foto: linkedin.com