大模型部署硬件速查
显存估算 = 参数量 × 每参数字节 × 1.2（KV cache 与运行时开销），仅供参考。 数据生成时间：
-
数据未生成。请先运行
python3 scripts/fetch_models.py
生成
data.js
后再打开本页。
我的显存
GB
只显示能跑的
搜索
模型
参数量 (B)
FP16 显存
INT8 显存
INT4 显存
最低显卡门槛 (INT4)
最低 Mac (INT4)
下载量