PaLM-2 este un model de limbaj dezvoltat de Google care își propune să aducă inteligența artificială în unele dintre cele mai populare aplicații ale Google, cum ar fi Gmail, Google Docs și Bard. Compania susține că PaLM-2 are abilități îmbunătățite de raționament deoarece a fost antrenat pe un set larg de date care include lucrări științifice și matematice și pagini web. PaLM-2 este succesorul modelului anterior Pathways Language Model (PaLM) lansat în 2022. Prima versiune a PaLM a fost antrenată pe 540 de miliarde de parametri, ceea ce o face una dintre cele mai mari LLM-uri din jur. Cu toate acestea, în 2023, Google a venit cu PaLM-2, care este mult mai mic ca dimensiune, dar este mai rapid și mai eficient decât concurența.
Care sunt caracteristicile PaLM 2?
Caracteristicile PaLM 2 includ abilități avansate de raționament comun, interpretare logică mai bună, matematică avansată, conversație multilingvă, stăpânirea programării și multe altele. PaLM 2 este un model de limbaj mare (LLM) lansat de Google care este capabil să efectueze raționament avansat, codificare și matematică. Este de asemenea multilingv și suportă mai mult de 100 de limbi. PaLM 2 este succesorul modelului Pathways Language Model (PaLM) lansat în 2022.
PaLM 2 este mai mic decât predecesorul său PaLM și decât alte modele competitive, dar este mai rapid și mai eficient. În raportul tehnic de 92 de pagini al lui PaLM 2, Google nu a menționat dimensiunea parametrilor, dar conform unui raport TechCrunch, unul dintre modelele PaLM 2 este antrenat doar pe 14,7 miliarde de parametri, ceea ce este mult mai puțin decât PaLM 1 și alte modele competitive. Câteva cercetări pe Twitter spun că cel mai mare model PaLM 2 este probabil antrenat pe 100 de miliarde de parametri, ceea ce este încă mult mai mic decât concurenții.
PaLM 2 poate fi adaptat pentru diferite cazuri de utilizare. Google a anunțat că PaLM 2 va veni în patru modele diferite – Gecko, Otter, Bison și Unicorn; Gecko fiind cel mai mic și Unicorn fiind cel mai mare. Gecko poate rula chiar și pe smartphone-uri fiind complet offline. Poate procesa 20 de tokeni pe secundă pe un telefon emblematic, ceea ce înseamnă aproximativ 16 cuvinte pe secundă. În plus față de asta, PaLM 2 poate fi ajustat fin pentru a face un model specific domeniului imediat. Google a creat deja Med-PaLM 2, un LLM specific medical ajustat fin pe PaLM 2 care a primit competența la nivelul “Expert” în întrebările stilului US Medical Licensing Exam. A obținut o precizie de 85,4% în testul USMLE, chiar mai mare decât GPT-4 (84%).
PaLM 2 are capacitatea de a înțelege idiomuri, poezii, texte nuanțate și chiar ghicitori în alte limbi datorită capacității sale multilingve. De asemenea poate genera cod oferind sugestii conștiente de context și poate traduce cod dintr-un limbaj în altul.
Care sunt celelalte modele competitive?
Din raportul tehnic de 92 de pagini al Google despre PaLM 2, nu se menționează dimensiunea parametrilor. Conform unui raport TechCrunch, unul dintre modelele PaLM 2 este antrenat doar pe 14,7 miliarde de parametri, ceea ce este mult mai puțin decât PaLM 1 și alte modele competitive. Unii cercetători de pe Twitter spun că cel mai mare model PaLM 2 este probabil antrenat pe 100 de miliarde de parametri, ceea ce este încă mult mai mic decât concurenții.
De exemplu, modelul GPT-4 al OpenAI se spune că este antrenat pe 1 trilion de parametri, ceea ce este uimitor. Modelul GPT-4 este cel puțin de 10 ori mai mare decât PaLM 2.
În general, PaLM 2 este un model LLM care este mai rapid, relativ mai mic și eficient din punct de vedere al costurilor pentru că servește mai puțini parametri. În același timp, aduce capabilități precum raționamentul cu bun-simț, o interpretare mai bună a logicii, matematică avansată, conversație multilingvă, stăpânirea codificării și multe altele.
Sursa : tomsguide.com
