Magazin de Hardware AI
Răsfoiți mini-PC-uri, NAS, stații de lucru, servere și hardware AI edge — fiecare sistem poate fi combinat cu servicii de instalare și inovații software de la ⏻ On Intelligence.
| Fotografie | Produs | Preț | Capacitate |
|---|
Înțelegerea capacității modelului
Capacitatea modelului se referă la numărul de parametri pe care îi conține un model de AI (ex. 70B = 70 de miliarde de parametri). Modelele mai mari necesită în general mai multă memorie și putere de calcul, dar pot oferi o calitate superioară a raționamentului și a rezultatelor.
Precizia (FP16 / FP8 / FP4) afectează memoria necesară pentru o anumită capacitate a modelului: formatele cu precizie mai scăzută reduc aproximativ la jumătate cerințele de memorie la fiecare treaptă inferioară (FP16 → FP8 → FP4), cu o anumită pierdere a preciziei rezultatelor.
| Dimensiune model | Memorie tipică (FP16) | Memorie tipică (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |