V2EX › vpsvps 的所有回复 › 第 1 页 / 共 7 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7

❮

❯

8 小时 14 分钟前

回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程

@uncat 谢谢我试试

8 小时 34 分钟前

回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程

@uncat 谢谢回复，是直接 ollama run deepseek-r1:671b 这个就行吗？这个简单些。huginnface 上的版本还得合并，比较麻烦，您说的是指用 unsloth/DeepSeek-R1-GGUF 这个模型文件吗

15 小时 26 分钟前

回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程

@snowkylin #6 👍，这种方式是不是不能直接使用 ollama run deepseek-r1:671b 从 ollama 上下载，404G 的，而需要在 huginnface 上下载？

Download the model files (.gguf) from HuggingFace (better with a downloader, I use XDM), then merge the seperated files into one

16 小时 52 分钟前

回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程

@snowkylin #4 谢谢回复，用 ollama 就可以吧，显存用完就会调用内存，
比如我的服务器有 8 块 4090 ，内存 640G ，能跑得动 671b 404GB 这个，就是速度慢点是吧？

17 小时 18 分钟前

回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程

请问 1.73-bit 量化版（ 158GB 大小的模型）
一个 4090 24G 加上 160G 内存
可以跑起来吗？
不是需要 7 块 4090 吗？

9 天前

回复了 Czzzzzzzzzzr 创建的主题 › 买买买 › 今年买的最值的电子产品是什么

Mac mini m4

14 天前

回复了 YJi 创建的主题 › 生活 › 这两天首页刷的有点无语，谁来分享点甜甜的恋爱吧？

@yzqn 细说下平时如何相处之类的，谢谢