Perangkat Keras Edge AI
Modul komputasi untuk implementasi AI embedded dan edge.
| Foto | Produk | Harga | Kapasitas |
|---|
Memahami kapasitas model
Kapasitas model mengacu pada jumlah parameter dalam model AI (mis. 70B = 70 miliar parameter). Model yang lebih besar umumnya membutuhkan lebih banyak memori dan daya komputasi, tetapi dapat menawarkan penalaran dan kualitas keluaran yang lebih baik.
Presisi (FP16 / FP8 / FP4) memengaruhi kebutuhan memori untuk kapasitas model tertentu: format presisi lebih rendah kira-kira mengurangi separuh kebutuhan memori per penurunan tingkat (FP16 → FP8 → FP4), dengan sedikit pengorbanan pada presisi keluaran.
| Ukuran model | Memori tipikal (FP16) | Memori tipikal (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |