本地大模型速度计算器
输入电脑配置和模型，算出在这台机器上的预计输出速度（tok/s）和能不能装得下
电脑配置
模型
你的内存还能上 F16 / BF16（全精度）
手填模型参数（选"自定义"后生效）
查法：huggingface.co 模型页 → Files → config.json（num_hidden_layers / num_key_value_heads / hidden_size ÷ num_attention_heads）
预计输出速度（按当前配置估算）
69.0 tok/s
完全没问题（占用 ≤60%）
展开计算公式
输出速度（全显存） = 带宽 410 GB/s × 效率系数 0.80 ÷ 每 token 读取 4.750 GB = 69.0 tok/s 每 token 读取 = 激活参数 8.19B × 0.58 B/参数（Q4_K_M） KV cache = 2 × 36 层 × 8 KV头 × 128 维 × 2 字节 × 8K tokens = 1.18 GB 内存合计 = 权重 4.75 + KV 1.18 + 开销 0.50 = 6.43 GB，占 36 GB 的 17.9% 输入处理速度 = 算力 17.0 TFLOPS × 0.5 ÷ (2 × 8.19B) = 519 tok/s
估算值为纯数学理论值：未含软件栈实现差异，实测通常为理论值的 60~85%（效率系数已按经验折算）。想知道真实速度？用 LM Studio 控制面板在本机实测 tok/s。
为什么本地模型的速度可以算出来
大模型逐字生成内容的过程（decode），每产生一个 token 都要把整个模型的权重从内存读一遍。 这意味着输出速度的上限几乎完全由内存带宽决定，而不是算力： 理论 tok/s ≈ 内存带宽 ÷ 模型每秒需要读取的字节数。举例来说，Apple M4 Max 的内存带宽约 410 GB/s， 一个 8B 参数的 Q4 量化模型体积约 4.7 GB，理论上限就是 410 ÷ 4.7 × 效率系数 ≈ 每秒 70 个 token 左右。 换一张 4060 Ti（288 GB/s），同一个模型就只剩约每秒 40 个 token 的水平。
模型体积由参数量 × 量化档位决定。Q4_K_M 这类 4 bit 量化大约每参数 0.58 字节， 7B 模型约 4.4 GB；Q8 翻近一倍，F16 全精度则是 4 倍。量化越低模型越小、跑得越快， 但质量会下降——这也是本页提供"建议档位"提示的原因：在装得下的前提下尽量选高质量档。
三个决定"能不能跑"的数字
第一是权重体积：必须小于显存或统一内存。第二是 KV cache： 模型为记住前文而保留的中间结果，随上下文长度线性增长，且与层数、KV 头数成正比—— 长上下文场景经常是 KV 而不是权重把内存顶爆，GQA 架构能把它压小很多。 第三是运行时开销：推理框架自身的计算缓冲和上下文要占 0.5 GB 起， 所以本页的判定上限是 98% 而不是 100%——填满内存的配置在实践中几乎必然加载失败。
MoE 模型的"性价比错觉"
Qwen3-30B-A3B、DeepSeek-V3 这类混合专家（MoE）模型，全部参数都要装进内存， 但每个 token 只激活一小部分专家参与计算。所以它们的内存需求按总参数算（30B 模型 Q4 要约 18 GB）， 输出速度却按激活参数算（3B 的速度，比同体积 dense 模型快数倍）。 这也是它们能在消费级硬件上"又大又快"的原因——前提是你的内存装得下全部专家。