看到有人评论，说 9G 内存就够跑 Qwen 14B 了，效果直逼 o1mini ，高配 32B 都可以跑。
求证一下，有没有大佬已经上手了，感觉怎么样。
 |
1
spike0100 3 天前 via iPhone
本地模型出错率还是挺高的。问了下中国历史上的首都都有哪些，啪啪啪 think 了一堆，但是最后回答的几个朝代没一个对的。但是官网的回答是没错的。
|
 |
2
vipviphaha 3 天前
9g 内存跑 14b ，速度不行
|
 |
3
0619 3 天前
M1 Max 64G 32b 速度可以用，70b 速度非常慢
|
 |
5
tanrenye 2 天前
试了一下 7b ，不太行的感觉，还有混着英文来回答，估计要 14b 以上会好一点，不如 qwen2.5 的 7b
|
 |
6
windirt 2 天前
16G M1 Pro ，关掉所有 app 能跑 14B
|
 |
7
jiuzhougege 2 天前
32G 内存跑 32B, 20G 的模型文件，无压力
|
 |
8
GabrielleBellamy 2 天前
128gb 内存跑 32b 中。
|
 |
9
hearlessnor 2 天前
@windirt 速度如何，回答质量如何？
|
 |
10
pricky777 2 天前
16G 的 M2 跑 7b ，错误挺多的，跑 14b 的话内存直接炸了，结果也没好到哪里去
|
 |
11
neilxu 2 天前
与楼上不同，我 16G 的 M1 ，ollama 跑 14b ，速度不慢，内存占用 12G ，回答质量和速度都可以，问的是苏联和蒙古的历史问题，跟 ds 官网的答案差不多，没有明显减少字数。
就是 air 没风扇，输出的时候温度 88-90 度，输出完就降温了。 |
 |
12
zeyangstudies 1 天前  1
跑了 32b 的 4bit 量化的 mlx 版本，感觉挺好用~
|
 |
13
skylha 1 天前
@zeyangstudies 老哥你是啥配置？有比直接跑 7b 效果好吗？
|
|
14
zeyangstudies 16 小时 47 分钟前
@skylha 我的是 48g 的 M3 ，没试过 7b 的诶
|
 |
17
hiiragiharunatsu 11 小时 0 分钟前
m4 的丐版 16+256 跑 14b 大概 9tok 蹦字很慢 效果也不好 thinking 时间巨长 感觉还不如 8b 那个舒服
|
 |
18
idlerlestat 10 小时 37 分钟前
|
 |
19
sheller 8 小时 16 分钟前
@zeyangstudies 求个链接，谢谢
|
Select Language