18:35
Comentarii Adauga Comentariu

Queen 2.5


Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă...
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ...
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri...
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ...
  • Îmbunătățirea matematică: abilitatea matematică a lui Qwen2.5 a cunoscut o îmbunătățire rapidă...
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane...
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor...

Card model Qwen2.5

Modele Params Parametrii non-Emb Straturi Capete (KV) Încorporarea cravatei Lungimea contextului Lungimea generației Licenţă
Qwen2.5-0.5B 0,49B 0,36B 24 14 / 2 Da 32K 8K Apache 2.0
Qwen2.5-1.5B 1,54B 1,31B 28 12 / 2 Da 32K 8K Apache 2.0
Qwen2.5-3B 3.09B 2,77B 36 16 / 2 Da 32K 8K Cercetarea Qwen
Qwen2.5-7B 7,61B 6,53B 28 28 / 4 Nu 128K 8K Apache 2.0
Qwen2.5-14B 14.7B 13.1B 48 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-32B 32,5B 31.0B 64 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-72B 72,7B 70,0B 80 64 / 8 Nu 128K 8K Qwen

Performanțe Qwen2.5

Performanța modelelor Qwen2.5 este evaluată pe o gamă largă de sarcini, incluzând matematică, codare și multilingvism.

Performanță Qwen2.5-72B

Modelul de bază Qwen2.5-72B iese în evidență prin depășirea semnificativă a altor modele din categoria sa într-un spectru larg de sarcini.

Performanță Qwen2.5-14B/32B

Modelele Qwen2.5-14B și Qwen2.5-32B oferă performanțe robuste în sarcini generale precum MMLU și BBH...

Performanță Qwen2.5-7B

Modelul Qwen2.5-7B depășește atât predecesorii, cât și concurenții săi într-o gamă largă de benchmark-uri.

Concluzii

Modelele Qwen2.5 reprezintă un progres semnificativ, oferind performanțe competitive într-o gamă variată de domenii și fiind optimizate pentru utilizare în aplicații diverse.


(Mediafax)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Cristina Gherasimov: România este principalul nostru susținător în procesul de aderare la UE

_ VAX RANIT? O femeie sănătoasă de 29 de ani primește un diagnostic șocant | Dincolo de titluri

_ Oficialul din San Diego spune că orașul este „noul epicentru” al crizei la frontieră

Căratorul de genti al agentului KGB Sikviu Brucan, pe nume Lucian Mîndruță a făcut afirmații șocante într-o emisiune a Digi FM,

_ Așteptarea a luat sfârșit: Ei sunt cei 3 ruși care vor să-l lase fără loc de muncă pe Vladimir Putin

_ Stoc de petrol din SUA va fi reumplut în acest an: secretarul Energiei

_ Patru persoane trimise în judecată pentru corupţie în dosarul Electrocentrale Rovinari

_ Termenul limită pentru procesul lui Trump se apropie - Ce avere ar avea, de fapt, fostul președinte al SUA

_ Ministerul de Externe: Două femei din România au murit în urma incendiului din Valencia/ VIDEO

_ Ce recorduri în materie de turism se vor depăși anul acesta?

_ În vizită la un centru de prevenire a sinuciderilor, Prinţul William dă veşti despre soţia sa Kate, bolnavă de cancer

_ Real Madrid este clubul cu cele mai mari venituri din fotbal în sezonul 2022-2023

_ Fum puternic, flăcări izbucnesc din v�rful zg�rie-norilor din apropierea World Trade Center (VIDEO)

_ KJP devine ur�t cu Peter Doocy după ce o presează asupra negării electorale a lui Biden: �Făcea doar o glumă�

_ Câţi români îşi doresc comasarea alegerilor? Răspunsul lui Mihai Tudose

_ În ciuda protestelor fermierilor, România pregătește culoare de export pentru cerealele ucrainene: anunț făcut de MAE

_ „Rețetă pentru o planetă locuibilă”: un nou raport despre cum să facem agricultura neutră în carbon

_ Over 28 tonnes of waste stopped from entering Romania at southern and western border

_ PNL pregătește o mare lovitură: momentul special ales pentru lansarea noului Number One

_ Codul frontierelor Schengen, modificat! Consiliul UE și Parlamentul European au ajuns la un acord provizoriu

_ Acești marsupiali masculi renunță la somn pentru sex în timpul sezonului de reproducere

_ Apa de la robinet din Câmpina, Prahova, nu este recomandată pentru consum, conform unei analize recente

_ Guvernul a adoptat noi măsuri pentru fermieri: se dau subvenții importante

_ Ungaria, singura ţară care nu a ratificat aderarea Suediei la NATO. Cum răspunde premierul suedez invitației lui Viktor Orban

_ Over 20,000 pigs to be euthanized in Vrancea County, following outbreak of swine fever

_ „Situație de licitare multiplă”: prețurile caselor Hamptons au atins un nivel record pe măsură ce cumpărarea Frenzy revine

_ Sorin Grindeanu provoacă un șoc în PSD: N-am votat-o pe Dăncilă la prezidențiale. N-am putut/ Video

_ Președintele Mike Johnson susține �nființarea candidatului la Congresul din Ohio, Derek Merrin, care a candidat �mpotriva lui JR Majewski, aliniat de Trump

_ Aniversare transformată în agresiune sexuală! Pilot din Neamț, acuzat că s-a dat la o adolescentă de 15 ani în timpul zborului făcut cadou de părinţi

_ PNL, peste pragul psihologic de 20% la alegerile europarlamentare

_ Florin Roman (PNL): Am blocat noi taxe în 2024, dar și dorința PSD de a umbla la cota unică și Pilonul II de pensii

_ Acestea sunt cele mai populare instrumente AI

_ Zelenski se implică în mediul de afaceri al Ucrainei, unul dintre pilonii cheie ai puterii țării

_ După retragerea haotică din Afganistan, americanii iau în calcul să plece și din Siria: discuții de culise la Casa Albă (surse)

_ Vremea în Bucureşti: înnorări, fulguieli şi maximum 9 grade până sâmbătă seara

_ S-a aflat adevărul despre David Popovici! Dezvăluire de ultim moment despre sportiv. Este surpriză totală

_ În cele mai mari cazuri, legea mare se înclină hotărât spre stânga

_ 'Mai ieftin, mai rapid, mai bun'. Ghidul unui miliardar pentru combaterea schimbărilor climatice

_ Ministrul Apărării, vizită la Șantierul Naval Damen

_ Jennifer Lopez va face un film despre o jucărie celebră

_ Partea 2: Domeniul de aplicare complet al hack-ului cu mașina de vot Dominion �n Curtea Federală este MULT mai rău dec�t doar Hack-ul BIC Pen � Jurnalele de audit pot fi editate

_ Kansas City Griefs: Sondajul de producție urlă stagflație în ianuarie

_ Cercetătorii creează o formă mai sigură de Coxiella burnetii pentru uz științific

_ Gigantul suedez de telecomunicaţii Ericsson, acord de finanţare cu BEI de 420 de milioane euro

_ Marcel Ciolacu neagă implicarea lui Klaus Iohannis în rezolvarea problemelor protestatarilor: 'Ce să-mi solicite, ceva ce am rezolvat deja?'

_ Rușii încearcă să afle cel mai bine păzit secret al războiului din Ucraina / Pregătiri intense pentru intrarea avioanelor F-16 pe câmpul de luptă

_ Îți vine greu să crezi cât măsoară cel mai lung tunel feroviar din lume: în fiecare zi trec prin el 325 de trenuri - Video

_ Australian Open: Djokovic - Sinner, finala din semifinale. Italianul a început furibund şi l-a sufocat pe sârb în primele două seturi

_ Romania no longer under infringement procedure for three industrial combustion plants

_ AI descifrează un nou cod de reglare a genelor la plante și face predicții precise pentru genomul nou secvențial

_ Guvernul militar din Mali a anunţat încetarea acordului de pace cu grupurile separatiste din nordul ţării

_ Ordinele UE vor schimba total România. Predicțiile specialiștilor pentru anul 2040 sunt total surprinzătoare

_ Marcel Ciolacu: Prostii și tâmpenii au făcut mulți foști lideri ai PSD/ Video

_ Un avion de mici dimensiuni a aterizat pe o autostradă din Florida și s-a izbit de un autovehicul

_ Ministrul Apărării a fost în vizită la Şantierul Naval Damen din Galaţi

_ Starul pop vorbește despre regretul ei de avort: �Am un Grammy, dar nimic nu-mi va aduce copiii �napoi�

_ Urşii panda care trăiesc în China se apropie de 1.900 de exemplare

_ Planul premierului italian Meloni de a trimite migranți �n Albania pentru procesarea azilului a fost aprobat �n Camera inferioară a Parlamentului, care se așteaptă să ștergă și votul Senatului

_ Înalta Curte din Kenya consideră că desfășurarea poliției în Haiti este „ilegală”

_ Probioticele ar putea ajuta cainii corpulenti sa scape de kilograme


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41 Pag.42 Pag.43 Pag.44 Pag.45 Pag.46 Pag.47
Pag.48 Pag.49 Pag.50 Pag.51 Pag.52 Pag.53 Pag.54 Pag.55
Pag.56 Pag.57 Pag.58 Pag.59 Pag.60 Pag.61 Pag.62 Pag.63
Pag.64 Pag.65 Pag.66 Pag.67 Pag.68 Pag.69 Pag.70 Pag.71
Pag.72 Pag.73 Pag.74 Pag.75 Pag.76 Pag.77 Pag.78 Pag.79
Pag.80 Pag.81 Pag.82 Pag.83 Pag.84 Pag.85 Pag.86 Pag.87

Nr. de articole la aceasta sectiune: 5205, afisate in 87 pagini.