uncat

@vpsvps

1. ollama pull deepseek-r1:671b
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom

第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）

> 是直接 ollama run deepseek-r1:671b 这个就行吗？

先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。

参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650

@vpsvps

@vpsvps

> 我的服务器有 8 块 4090 ，内存 640G ，能跑得动 671b 404GB 这个吗？

可以跑得动，跟你类似的配置，8 * 4090 + 512G 内存。Ollama 671B Q4 ，回答问题，短的 10s ，长的 20 - 30s 的样子。体验较差。

实际显存+内存总共：180 - 200G 。

ollama 现在会因为显存分配策略问题导致无法启动，需要 dump 出 Modefile 后手动添加 parameter num_gpu 为显卡数量 * 2

libvirtd + virsh

这是给 Linux 用户的一些备份相关的建议：

备份是在万不得已时最后的办法，是构建自己一整套完善、持续可靠的 Linux 集群必要的一环（会让你安心）。

如何实践：

1. 备份应该是全系统的。
2. 除非该服务器上没有个人数据需保留，否则都应该加入备份系统。
3. 可以通过代码化（ ansible 、terraform 、saltstack ）方式（或者容器化）实现故障时服务快速重部署，区分运维操作和运维数据，只对数据进行备份。
4. 备份要有策略。比如 GFS ，避免因为策略的原因导致的空间浪费。
5. 基于成熟的开源方案。比如：borgbackup ，目的是让备份系统自身具备完善的策略、去重、加密存储支持。
6. 参考开源社区成熟的 Linux 集群备份实践。比如 Arch Linux DevOps Team 基于 BorgBackup 的实践。