vpsvps 最近的时间轴更新 vpsvps 最近的时间轴更新 |
vpsvpsV2EX 第 398787 号会员，加入于 2019-04-05 10:32:03 +08:00今日活跃度排名 10137 |
vpsvps 最近回复了
23 小时 11 分钟前 回复了 BlackHole1 创建的主题 › 分享创造 › 一款全新的工作流 IDE |
分子子
3 天前 回复了 tog 创建的主题 › 游戏 › 看到有人问游戏，正好说下自己心中玩的网游排名 |
魔兽世界
4 天前 回复了 dashsoap97 创建的主题 › 问与答 › 用了一年半 iPhone15 pro 散光涨了 50 度 怎么破 |
5 天前 回复了 Falcon1 创建的主题 › Android › 想换手机，但找遍了也没找到新出的 LCD 屏手机 |
se4 也是 oled 瞎眼屏
真是服了
真是服了
14 天前 回复了 jsjcjsjc 创建的主题 › 京东 › 发现京东上面一家号称是美国进口保健品的商铺有大量虚假信息，该怎么维权？ |
我也发现京东上很多非自营的假店铺，特别是百亿补贴里面的
20 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@uncat 谢谢 我试试
20 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@uncat 谢谢回复，是直接 ollama run deepseek-r1:671b 这个就行吗？这个简单些。huginnface 上的版本还得合并，比较麻烦，您说的是指用 unsloth/DeepSeek-R1-GGUF 这个模型文件吗
21 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@snowkylin #6 👍，这种方式是不是不能直接使用 ollama run deepseek-r1:671b 从 ollama 上下载，404G 的，而需要在 huginnface 上下载？
Download the model files (.gguf) from HuggingFace (better with a downloader, I use XDM), then merge the seperated files into one
Download the model files (.gguf) from HuggingFace (better with a downloader, I use XDM), then merge the seperated files into one
21 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@snowkylin #4 谢谢回复，用 ollama 就可以吧，显存用完就会调用内存，
比如 我的服务器有 8 块 4090 ，内存 640G ，能跑得动 671b 404GB 这个，就是速度慢点是吧？
比如 我的服务器有 8 块 4090 ，内存 640G ，能跑得动 671b 404GB 这个，就是速度慢点是吧？
21 天前 回复了 snowkylin 创建的主题 › 分享发现 › 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
请问 1.73-bit 量化版（ 158GB 大小的模型）
一个 4090 24G 加上 160G 内存
可以跑起来吗？
不是需要 7 块 4090 吗？
一个 4090 24G 加上 160G 内存
可以跑起来吗？
不是需要 7 块 4090 吗？
Select Language