23:59
Comentarii Adauga Comentariu

ZeRO-Infinity și DeepSpeed: Deblocarea unei scale de model fără precedent pentru instruirea în profunzime a Inteligenței Artificiale



Blogul Microsoft Research

ZeRO-Infinity și DeepSpeed: Deblocarea unei scale de model fără precedent pentru instruirea în profunzime a Inteligenței Artificiale

Publicat 19 aprilie 2021

De echipa DeepSpeed

Inteligență artificială

De când a fost introdusă biblioteca de optimizare DeepSpeed ​​anul trecut, a lansat numeroase optimizări noi pentru instruirea modelelor mari de AI - îmbunătățirea scării, vitezei, costurilor și utilizabilității. Deoarece modelele mari au evoluat rapid în ultimul an, la fel și DeepSpeed. Indiferent dacă le permite cercetătorilor să creeze generația de limbi naturale Microsoft Turing de 17 miliarde de parametri (Turing-NLG) cu precizie de ultimă generație, obținând cel mai rapid record de formare BERT sau susținând formare de 10 ori mai mare folosind un singur GPU , DeepSpeed continuă să abordeze provocările din AI la scarăcu cele mai recente progrese pentru formarea la scară largă a modelelor. Acum, noua tehnologie de optimizare a memoriei ZeRO (Zero Redundancy Optimizer), inclusă în DeepSpeed, se află într-o transformare proprie. ZeRO-Infinity îmbunătățit oferă capacitatea sistemului de a trece dincolo de peretele de memorie GPU și de a antrena modele cu zeci de miliarde de parametri, un ordin de mărime mai mare decât sistemele de ultimă generație. De asemenea, oferă o cale promițătoare spre instruirea modelelor de 100 trilioane de parametri.

ZeRO-Infinity dintr-o privire: ZeRO-Infinity este o nouă tehnologie de formare profundă (DL) pentru formarea modelelor de scalare, de la un singur GPU la supercomputerele masive cu mii de GPU-uri. Alimentează dimensiuni de model fără precedent, utilizând capacitatea completă de memorie a unui sistem, exploatând simultan toată memoria eterogenă (GPU, CPU și memorie non-volatile express sau NVMe pe scurt). Aflați mai multe în lucrarea noastră, „ ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning ”. Cele mai importante momente ale ZeRO-Infinity includ:

Oferind capacitatea sistemului de a antrena un model cu peste 30 de trilioane de parametri pe 512 GPU-uri NVIDIA V100 Tensor Core, de 50 de ori mai mari decât stadiul tehnicii.

Oferind o eficiență excelentă de formare și o scalare a randamentului superliniar prin partiționarea și maparea de date noi, care pot exploata lățimile de bandă de memorie CPU / NVMe agregate și calculul procesorului, oferind peste 25 de petaflopi de transfer susținut pe 512 GPU-uri NVIDIA V100.

Continuarea misiunii echipei DeepSpeed ​​de a democratiza formarea de modele mari, permițând oamenilor de știință de date cu un singur GPU să regleze modele mai mari decât Open AI GPT-3 (175 miliarde de parametri).

Eliminarea barierei de intrare pentru formarea de modele mari, făcându-l mai simplu și mai ușor - ZeRO-Infinity depășește un trilion de parametri fără complexitatea combinării mai multor tehnici de paralelism și fără a necesita modificări în codurile de utilizator. Din câte știm, este singura tehnologie paralelă care face acest lucru. Videoclipul de mai sus arată modul în care ZeRO-Infinity valorifică în mod eficient GPU, CPU și NVMe în totalitate prin 1) partiționarea fiecărui nivel de model în toate procesele paralele de date, 2) plasarea partițiilor pe dispozitivele NVMe paralele de date corespunzătoare și 3) coordonarea mișcării datelor necesare pentru a calcula propagarea înainte / înapoi și actualizările de greutate pe GPU-urile paralele de date și respectiv CPU-uri.

Suntem, de asemenea, încântați să anunțăm integrarea DeepSpeed ​​cu Azure Machine Learning și soluțiile open-source. Mediul curatat DeepSpeed din Azure Machine Learning facilitează accesul utilizatorilor la Azure . DeepSpeed ​​este acum integrat în Hugging Face v4.2 și PyTorch Lightning v1.2. Utilizatorii Hugging Face și PyTorch Lightning își pot accelera cu ușurință modelele cu DeepSpeed ​​printr-un simplu steag „deepspeed”!

Abordarea nevoilor de formare de modele mari acum și în viitor cu ZeRO-Infinity

În ultimii trei ani, cel mai mare model dens antrenat a crescut de peste 1.000 de ori, de la o sută de milioane de parametri în era pre-BERT la peste o sută de miliarde de parametri acum. Cu toate acestea, în aceeași durată, memoria GPU simplă a crescut doar cu 5x (16 GB la 80 GB). Prin urmare, creșterea dimensiunii modelului a fost posibilă în principal prin progresele în tehnologia de sistem pentru instruirea modelelor DL ​​mari, cu tehnologii paralele precum paralelismul modelului, paralelismul conductelor și ZeRO permițând modelelor mari să se încadreze în memoria GPU agregată, creând o cale către instruirea modelelor mai mari și mai puternice.

Stadiul tehnicii în tehnologia de formare a modelelor mari este paralelismul 3D. Acesta combină paralelismul modelului (tranșarea tensorială) și paralelismul conductelor cu paralelismul datelor în moduri complexe pentru a scala modele în mod eficient, utilizând pe deplin memoria GPU agregată și calculul unui cluster. Paralelismul 3D a fost folosit în DeepSpeed și NVIDIA Megatron-LM , printre alte cadre.

În ciuda capacităților incredibile ale paralelismului 3D pentru formarea modelelor mari, ajungem acum la peretele de memorie GPU. Memoria GPU agregată pur și simplu nu este suficient de mare pentru a susține creșterea dimensiunii modelului. Chiar și cu cele mai noi GPU-uri NVIDIA A100, care au 80 GB memorie, paralelismul 3D necesită 320 de GPU-uri doar pentru a se potrivi cu un model de trilioane de parametri pentru antrenament. În plus, paralelismul 3D necesită refactorizarea semnificativă a codului de la oamenii de știință a datelor, creând o barieră mare la intrare. Trei întrebări apar:

Privind în viitor, cum susținem următoarea creștere de 1.000 de ori în dimensiunea modelului, trecând de la modele precum GPT-3 cu 175 de miliarde de parametri la modele cu sute de miliarde de parametri?

Concentrându-ne pe prezent, cum putem face ca marile modele de astăzi să fie accesibile mai multor oameni de știință care ar putea să nu aibă acces la sute la GPU-uri necesare în prezent pentru a se potrivi acestor modele?

Putem face mai ușoară pregătirea pentru modelele mari eliminând această nevoie de refactorizare a modelelor?

Astăzi, facem un salt înainte de paralelismul 3D prin introducerea ZeRO-Infinity, un sistem nou capabil să abordeze toate provocările menționate mai sus ale antrenamentului pentru modelele mari. ZeRO-Infinity extinde familia de tehnologie ZeRO cu noi inovații în cartografierea datelor și acces la memorie eterogenă de înaltă performanță, care permite ZeRO-Infinity să accepte dimensiuni masive ale modelului pe resurse GPU limitate prin exploatarea simultană a memoriei CPU și NVMe, neimputernicită de lățimea lor de bandă limitată .

ZeRO-Infinity poate antrena, de asemenea, aceste modele fără a fi nevoie să combine mai multe forme de paralelism în paralelism 3D. O face printr-o nouă abordare bazată pe calcul, centrată pe memorie, care vizează reducerea cerințelor de memorie GPU ale straturilor individuale mari, care altfel ar necesita paralelismul modelului (feliere tensoriale) pentru a se potrivi modelului în memoria GPU. În plus, ZeRO-Infinity simplifică formarea de modele mari, identificând și automatizând toate comunicațiile necesare pentru instruirea oricărei arhitecturi de model arbitrare, eliminând practic nevoia de refacturare a oricărui model chiar și atunci când se scalează la trilioane de parametri. Nu în ultimul rând, ZeRO-Infinity oferă un motor puternic de calcul și comunicare care se suprapune conceput pentru a împinge eficiența antrenamentului la limite ascunzând cât mai multă latență de comunicare.

Cu toate aceste inovații, ZeRO-Infinity redefinește capacitățile unui sistem DL, oferind o scală de model fără precedent, care este accesibilă și ușor de utilizat , obținând în același timp o eficiență excelentă a antrenamentului .

Scală de model fără precedent: instruiți modele de 30 de trilioane de parametri pe 512 GPU-uri ZeRO-Infinity oferă un salt de ordine de mărime în tehnologia sistemelor de instruire DL, deschizând o cale către susținerea următoarei creșteri de 1.000 de ori a scării modelului prin exploatarea eficientă a sistemelor de memorie eterogene pe generațiile actuale și viitoare de hardware. Acesta rulează un model cu peste un trilion de parametri pe un singur nod NVIDIA DGX-2 și peste 30 de trilioane de parametri pe 32 de noduri (512 GPU-uri). Cu o sută de noduri DGX-2 într-un cluster, proiectăm ZeRO-Infinity poate antrena modele cu peste o sută de miliarde de parametri . (vezi Figura 1 pentru detalii).

Figura 1: Compararea scării modelului între paralelism 3D și ZeRO-Infinity. Experimentele sunt efectuate pe clustere GPU utilizând sisteme NVIDIA DGX-2 16-GPU (noduri). Modelul scalează până la 32 trilioane de parametri pe 512 GPU-uri V100 (32 noduri DGX-2) pe baza rulărilor măsurate, în timp ce numărul de parametri pe 64 și 128 noduri DGX-2 se bazează pe proiecții. Pentru a permite formarea modelului la această scară, ZeRO-Infinity extinde familia de tehnologie ZeRO cu inovații distincte care vizează diferite blocaje ale memoriei.

1. Etapa 3 a ZeRO (ZeRO-3) permite eliminarea tuturor redundanțelor de memorie în formarea paralelă de date prin partiționarea stărilor modelului în procesele paralele de date.

Explorează modul în care ZeRO-3 elimină redundanțele de memorie

2. Infinity Offload Engine, o nouă bibliotecă de descărcare de date, permite exploatarea completă a arhitecturilor eterogene moderne de memorie prin descărcarea stărilor de model partiționate în memoria dispozitivului CPU sau NVMe, care sunt mult mai mari decât memoria GPU.

Figura 3: Defalcare a memoriei / stocării totale disponibile pe un singur sistem NVIDIA DGX-2. Are 3x memorie CPU și peste 50x stocare NVMe comparativ cu memoria GPU.

Explorează modul în care Infinity Offload Engine exploatează pe deplin memoria eterogenă 3. Punctul de control al activării cu descărcarea procesorului permite reducerea amprentei de memorie de activare, care poate deveni blocajul memoriei de pe GPU după ce memoria cerută de stările modelului este adresată de ZeRO-3 și Infinity Offload Engine.

Explorați modul în care punctele de control ale activării cu descărcarea procesorului conservă memoria

4. Placarea operatorului centrat pe memorie, o tehnică nouă de reprogramare a calculelor care funcționează împreună cu programul de acces și comunicare ZeRO, permite reducerea amprentei de memorie a straturilor individuale incredibil de masive care pot fi prea mari pentru a se potrivi în memoria GPU chiar și cu un singur strat la o vreme.

Explorează modul în care placarea operatorului centrat pe memorie reduce memoria de lucru pentru straturile mari

Acces mai larg la reglarea fină a modelelor extrem de mari: GPT-3 sau chiar modele mai mari pe un singur GPU

Figura 4: Compararea celor mai mari dimensiuni de model care pot fi instruite pe un singur nod NVIDIA DGX-2 utilizând diverse tehnologii de formare paralele DL. Nodul NVIDIA DGX-2 este format din 16 GPU-uri V100-32GB împreună cu 1,5 TB memorie CPU și 20 TB stocare NVMe utilizabilă. Culorile albastru, portocaliu și verde sunt utilizate pentru a reprezenta tehnologii care utilizează numai memoria GPU, GPU cu memorie CPU și GPU cu memorie atât pentru CPU, cât și pentru NVMe. ZeRO-Infinity poate rula de fapt cu peste un trilion de parametri chiar și pe un singur GPU, comparativ cu stadiul tehnicii, care este de 13 miliarde de parametri cu ZeRO Offload.

În timp ce pregătirea preliminară este primul pas important în crearea unui model masiv, reglarea fină pentru sarcini specifice este esențială pentru valorificarea întregului potențial al modelului pentru diferite scenarii. Reglarea fină a modelelor masive ușor accesibile pentru oamenii de știință a datelor ar putea permite crearea multor modele derivate pentru a satisface nevoia diferitelor scenarii de aplicație. Aceste sarcini ar putea varia de la corecția gramaticală la asistența la scriere, de la subtitrarea imaginii la generarea de cod - orice sarcină posibilă cu modelele mari de AI.

Spre deosebire de pretraining, care poate necesita milioane de ore de calcul GPU, reglarea fină a unui model cu sute de miliarde de parametri este mult mai ieftină, necesitând semnificativ mai puține ore de calcul GPU și se poate face pe un singur nod de calcul cu o mână de GPU-uri. În timp ce astfel de resurse de calcul sunt accesibile multor companii și utilizatori, din păcate, acestea sunt restricționate de memoria disponibilă pe aceste noduri de calcul, care la rândul său limitează dimensiunea modelului care poate fi reglat fin. Face inaccesibilă reglarea fină a modelelor mari pentru majoritatea companiilor și companiilor care nu au acces la clustere masive GPU.

ZeRO-Infinity schimbă complet acest peisaj, permițând oamenilor de știință de date cu acces la un singur nod, cum ar fi NVIDIA DGX-2, să regleze fin modelele cu peste un trilion de parametri (Figura 4). De fapt, poate rula modele cu peste un trilion de parametri chiar și pe un singur GPU al unui astfel de nod, deoarece are suficientă memorie CPU și NVMe. Aceasta este cu aproape 100 de ori mai mare decât stadiul tehnicii pentru antrenamentul GPU unic. Cu ZeRO-Infinity, blocajul memoriei nu mai este memoria GPU sau chiar memoria CPU. În schimb, le putem folosi acum împreună cu memoria NVMe mult mai mare și mai ieftină.

Prin ZeRO-Infinity, facem un alt pas spre democratizarea AI, permițând utilizatorilor și companiilor cu resurse limitate să valorifice puterea modelelor masive pentru aplicațiile lor specifice afacerii.


(Fluierul)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

LIVE Noul Coronavirus face ravagii în lume. 3805 morți 109827 de îmbolnăviri. Virusul ucigaș lovește Europa: 3858 în Italia, 545 în Germania, 423 în Franța, 282 în Spania. În UE nu se fac scanări de temperatură în Aeroporturi. DE CE face UE asta?

Peste 61.000 de români CER "Opriți Jaful. Vreau să las moștenire copiilor mei această țară!". NATIONALIZAREA RESURSELOR, OPRIREA CONCESIONĂRILOR PE NIMIC ȘI INTERZICEREA VÂNZĂRII TERENURILOR LA STRĂINI - e cea mai semnată Petiție de pe PetițieOnline.net.

Donald Trump le dă din nou peste nas progresiştilor federalişti de la Bruxelles: "BREXIT-ul e o binecuvântare. Fiecare țară are dreptul la identitatea ei. Mama mea e născută în Scoția. Vom construi legături economice şi militare puternice cu UK"

Partenerul Strategic NE-O TRAGE a doua oară strategic. Ambasadorul Klemm s-a pozat în Harghita cu Steagul Ținutului Secuiesc simbol al SEPARATISMULUI TERITORIAL pe criterii etnice. V-am avertizat că Ambasadorul Klemm nu s-a dus degeaba în Harghita-Covasna.

Teama de inflație cuprinde întreaga lume. Pandemia accentuează creșterea prețurilor

Joe Biden a vorbit cu Benjamin Netanyahu și Mahmoud Abbas, pe fondul confruntărilor dintre Israel și grupuri islamiste palestiniene

Securitatea a avut o „sursă primară” la Întâlnirea de la Malta, dintre Bush și Gorbaciov. NOTA ULTRA-SECRETA: "Gorbachiov si Bush au hotărât înlăturarea regimului socialist din România”

Facebook ajută Zara să vândă haine folosind jocuri video

SUA. Alegeri primare republicane. VIOLENȚE DE STRADĂ. Extremiștii de stânga progresişti finanțați de Soroş au trecut la violențe de stradă ca să împiedice mitingurile lui Donald Trump în toată America.

Lazea (BNR): Un salariu minim net de 300 de euro/lună este sustenabil pentru economie; creșterea acestuia ar trebui să ia o pauză". Dați-i lui Lazea și lui Isărescu 300 euro net pe lună pe viață și o pauză definitivă din funcțiile pe care le ocupă

Un DJ din Hong Kong s-a retras la 96 de ani, după 72 de ani de carieră

Donald Trump: "Nu vom mai preda această țară și poporul ei cântecului fals al Globalismului. Statul Națiune rămâne adevăratul fundament al fericirii. Nicio țară nu a prosperat vreodată dacă nu a reușit să pună pe primul plan interesele proprii"

FOTO EXCLUSIV/ Alina Eremia muncește și-n vacanță. A plecat la Miami să filmeze clip, dar și să-și cumpere ținute

Mircea Diaconu cel care a semnat pentru desființarea Statului Național Român ne ia de proști. El se face că nu înțelege ce înseamnă o Europă Federală în care Statele Naționale vor fi desființate. Ce a declarat Diaconu după ce am publicat ce a făcut.

DOCUMENTAR: Compozitorul Dan Ardelean împlinește 70 de ani

Cum au fost instaurate Monarhiile Străine în Balcani de către progresiștii din Anglia și Franța. P.I. 1832. Cum a fost adus un rege german și o dinastie germană în Grecia exact așa cum va fi instaurat un Rege German și o Dinastie Germană în România la 1866

Pfizer confirmă introducerea dozei trei

MOSTENIREA nestiuta a lui Ceausescu! America e SOCATA de ce a descoperit in Romania
ULTIMA ORA: Dusmanii tarii vor sa ascunda adevarul

RECORD AL NEMERNICIEI ȘI AL JAFULUI POSTDECEMBRIST. Din cauza mizeriei din România 18 milioane de români rămași în țară au făcut mai puțini copii decât 4 milioane de români plecați în afara țării . PRACTIC DISPĂREM CA NAȚIE.

NATIONALIZAREA RESURSELOR NATURALE. Fondul Suveran al Norvegiei model pentru viitorul Fond National Suveran al Romaniei - propus de Petitia Fluierul.ro. Fondul Suveran al Norvegiei a ajuns la 800 de miliarde de euro.

Tehnocratii mor de grija patronilor in loc sa moara de grija muncitorilor care lucreaza pe nimic. Ministerul Muncii si al protectiei Sociale: Majorarea salariului minim la 1.250 lei presupune pentru angajator un efort suplimentar de 1.015 lei/salariat

Decizie judecătorească: Vaccinul produs de firma Glaxo provoaca autism! Vaccinul "Infanrix Hexa”, este un vaccin hexavalent, administrat in primul an de viata, care „protejează” de poliomielita, difterie, tetanos, hepatita B, tusea convulsiva, haemophilius

Trădătorii neamului care ne dau Resursele Naturale pe Nimic. O lege care dă pe NIMIC resursele din Marea Neagră zburdă prin Parlamentul Trădător trimisă de Guvernul Trădător

"Petroliștii" de la OMV, EXXON, etc... vor ca noul regim de taxare a resurselor să se aplice doar la noile exploatări, ca să rămână cu redevențe mici la țiței și gaze. Cum suntem JEFUIȚI? Comparație cu Marea Britanie.

ADRIAN NĂSTASE VÂNZĂTORUL PETROLULUI ROMÂNESC VREA ACUM "Demnitate Națională". Nu e cam târziu, după tot ce ai vândut pe NIMIC?

Medicul Sorin Velicu din Brașov, acuzat de dare și luare de mită. Soția sa și alți doi medici din Craiova sunt cercetați în dosarul scandalos

Dosare de admitere la Universitatea Petroşani, verificate de ofiţerii anticorupţie

BBC. Mai rău ca la bolșevici. 8% din personal și manageri Trebuie sa fie Homosexuali, 12% Trebuie să fie Handicapați, 20% Trebuie să Nu fie englezi ci Negrii, Asiatici sau alți Minoritari Etnici. Se vor lua măsuri împotriva "Deviației Inconștiente".

PSD: Sărăcirea românilor, singurul lucru bine făcut în România lui Cîțu și Iohannis

Oile unui fermier au atacat baza militară de la Deveselu: "Animalele sunt mai tari ca scutul antirachetă, activează senzorii de câte ori trec prin zonă". Americanii cer distrugerea saivanului. Localnic: "Oile au fost acolo înaintea americanilor"

#saredeschidemeconomiasimortii. MORȚI. Din doar 7 morți - 6 morți s-au infectat și-au murit LA SERVICIU sau DE LA CEI APROPIAȚI LOR infectați LA SERVICIU...iar unii vor să "redeschidă economia cu virusul în ea" ca să moară ȘI MAI MULȚI.

SUA. Acest VIDEO cu discurusl lui Donald Trump poate însemna VICTORIA LUI DONALD TRUMP în ALEGERI. Depinde câți oameni vor reuși să-l vadă.

3 DECEMBRIE 1991 a încetat din viață Petre Țuțea. DE CE VOR SA-L INTERZICA PE PETRE TUTEA? Petre Țuțea: "Statul acesta îi apără pe străini de noi. Ca-n colonii. Aici stă cauza indolenței noastre: în EXPLOATARE. De ce și pentru cine să muncești în plus?"

Ion Cristoiu: Anunțul privind relaxarea omoară vaccinarea. Riscul e să murim, dar să nu ne mai dea la televizor

Tunisia. 11 elevi au fost spitalizați după ce au primit un vaccin .

Republicăm acest articol după fabricarea de probe false de către procurorii DNA. Iată DOVADA că lupta ÎMPOTRIVA CORUPȚIEI e o MARE MINCIUNĂ și o făcătură soroșiștă. Cum au fost MUȘAMALIZATE MARILE DOSARE DE JAF de ZECI DE MILIARDE din România

Cătălin Botezatu a spus cum este Bianca Drăguşanu în pat. Cum se comportă blonda când face dragoste. "Ştie să fie şi curvă..."

Cum s-a trăit în România în anii '70- '80? UNII VĂ MINT spunându-vă că s-a trăit permanent prost între anii 1965 - 1989.

A INCEPUT CEA MAI MARE CACEALMA DIN ISTORIA OMENIRII. SCOPUL? Inchiderea minelor si a termocentralelor pe carbune mult mai ieftine. COP21 Conferinta ONU pe "teme climatice" a inceput luni la Paris. Scumpirea Energiei prin falimentarea industriei carbunelui

Alina Eremia, dezvăluiri intime despre relaţia cu iubitul. "Bineînţeles că am făcut sex...."

Cum fac sex rusoaicele. Ce le fac bărbaţilor în pat depîăşeşte orice imaginaţie

ROMÂNIA: Lacheii progresismului aplaudă încălcarea drepturilor omului de către progresista UE. Ștefănuță (USR) și Bușulică (PNL) aplaudă anunțul Comisiei Europene privitor la apariția pașaportului electronic

VIDEO - Scandalul din Rahova - Momentul în care Poliția face uz de armă pentru a potoli țiganii care erau agresivi. Polițiștii făceau pe ei de frică.

Băsescu: "Trauma pandemiei de coronavirus va fi accentuată de “ticăloşia” autorităţilor de a fi lăsat oamenii să moară în casă". "S-au făcut testări puţine de dragul de a spune că la noi au fost mai puţine victime" "Asimptomaticii vor merge la birou"

Haşotti (PNL) a recitat versuri de Radu Gyr în plenul reunit al Parlamentului. Aurel Vainer (Comunitatea Evreiască) regretă "aducerea în prim-plan a lui Radu Gyr, lider al Mișcării Legionare"

NOAPTEA MINȚII. Piața Lui Soros și Realitatea TV au cântat ieri seară "Mai bine SOROȘIȘT decât Comunist" Păi, măi analfabeților SOROȘIST înseamnă NEOCOMUNIST. Își bate joc REȚEAUA SOROS cum vrea de voi din cauza analfabetismului vostru

Românii sunt ținuți ÎN MOD INTENȚIONAT cu Salarii de Mizerie pentru a fi o forță de muncă ieftină pentru MULTINAȚIONALELE STRĂINE. Salarii de MIZERIE de 300-450 de euro în toate regiunile țării.

Elon Musk consideră că obiectivul NASA de a ateriza oameni pe Lună până în 2024 este „de fapt realizabil”

ALO CIOLOȘ, SE-AUDE? DĂ REPEDE O ORDONANȚĂ DE URGENȚĂ. Zilnic populația țării e otrăvită cu fel de fel de mizerii importate. Producătorii români cer ca toate produsele din carne importate să fie însoţite de câte un certificat de calitate

Jaemin Han din Coreea de Sud, câștigător al finalei de violoncel la Concursul Enescu

Guvernul Soroș vrea "să transforme" Istoria în "Educație Cetățenească" Trufia de a șterge din memoria oamenilor trecutul. Dinu Giurăscu "Pe cine supără Istoria românilor?" Când auziți cuvântul "cetățenească" să știți că și-a băgat coada, dracul-ONG-ist.

MIREASĂ prinsă de CAVALERUL de ONOARE în timp ce îşi înşela SOŢUL: Cine este BĂRBATUL ăsta? VIDEO

APA PLATA DIN SUPERMARKETURI INFESTATĂ. Spre deosebire de Brădet Autoritățile Române Nu au dat publicității numele Supermarket-urilor care produc și vând apa plată infestată, Apa nu a fost retrasă IMEDIAT de pe rafturi cum s-a întâmplat cu brînza Brădet

Bunica unei fetiţe care a decedat la "Marie Curie": "Fetița nu a mâncat niciodată brânză de la Brădet"

În Ianuarie 2016 S-A RELUAT campania de vaccinări în țară și în județul Argeș. Aceasta s-a datorat faptului că începând din septembrie a fost o criză de vaccinuri în toată țara. În ianuarie a fost adus un nou vaccin aflat în perioada de monitorizare.

27 Martie 1918 - 27 martie 2016. 98 de ani de la UNIREA BASARABIEI CU ROMÂNIA. Zeci de mii de persoane au manifestat la Chișinău pentru Unirea României cu Republica Moldova - VIDEO

Roxana Nemeş, protagonista unui film XXX: "Eu sunt acolo. Toată lumea face asta"

Zeci de viruși par să folosească o bază ADN diferită, ADN-Z

Comuna Ceru Băcăinți din județul Alba a intrat în Scenariul Roșu, după ce un om s-a infectat cu Covid.

TOP metode de succes pentru masturbare la femei


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18

Nr. de articole la aceasta sectiune: 1048, afisate in 18 pagini.