@vpsvps

1. ollama pull deepseek-r1:671b
2. ollama show --modelfile deepseek-r1:671b | sed -e 's/^FROM.*/FROM deepseek-r1:671b/' > Modelfile
3. echo "PARAMETER num_gpu 0" >> Modelfile
4. ollama create deepseek-r1:671b-custom

第 3 步，将 0 替换为 2 （假设你是 24G 显存的显卡，实际显存除以 9 取整数商）

> 是直接 ollama run deepseek-r1:671b 这个就行吗？

先 ollama pull deepseek-r1:671b 拉下来后，保存 modefile 到本地，添加 num_gpu 参数后再重新导入即可。

参考这个： https://github.com/ollama/ollama/issues/6950#issuecomment-2373663650

@vpsvps

@vpsvps

> 我的服务器有 8 块 4090 ，内存 640G ，能跑得动 671b 404GB 这个吗？

可以跑得动，跟你类似的配置，8 * 4090 + 512G 内存。Ollama 671B Q4 ，回答问题，短的 10s ，长的 20 - 30s 的样子。体验较差。

实际显存+内存总共：180 - 200G 。

ollama 现在会因为显存分配策略问题导致无法启动，需要 dump 出 Modefile 后手动添加 parameter num_gpu 为显卡数量 * 2

libvirtd + virsh

这是给 Linux 用户的一些备份相关的建议：

备份是在万不得已时最后的办法，是构建自己一整套完善、持续可靠的 Linux 集群必要的一环（会让你安心）。

如何实践：

1. 备份应该是全系统的。
2. 除非该服务器上没有个人数据需保留，否则都应该加入备份系统。
3. 可以通过代码化（ ansible 、terraform 、saltstack ）方式（或者容器化）实现故障时服务快速重部署，区分运维操作和运维数据，只对数据进行备份。
4. 备份要有策略。比如 GFS ，避免因为策略的原因导致的空间浪费。
5. 基于成熟的开源方案。比如：borgbackup ，目的是让备份系统自身具备完善的策略、去重、加密存储支持。
6. 参考开源社区成熟的 Linux 集群备份实践。比如 Arch Linux DevOps Team 基于 BorgBackup 的实践。

病毒性流感请勿剧烈运动。

放弃阿里云的轻量云了。

论坛里有个老哥在推广搬瓦工 DC9 机房的主机，入手了。

试了一下, 广州移动 600M 带宽，可以跑到 372 Mbits （ 46.5MBytes/S ）。延迟 150ms 左右。

相对阿里云香港的轻量应用服务器，延迟（旧服务器大概是：10ms ）高了不少。不过带宽（相比阿里云限制前的 3.75MBytes ）也大了很多。

当初购买的订单页面是峰值 30M （即：3750K ） 的峰值，现在是直接把峰值限制在了 1024K ，这属于消费欺诈了吧。

当然是 miniflux/v2 啦。

工单申请解除限制后，又被限制了。

两台香港区的轻量服务器。

一台自动恢复。一台走工单申请恢复。

@sagaxu Let's Encrypt 也支持泛解析的。可以看看官方的 DNS-01 方案的文档。

撤出 -> 测出

fio 可以撤出随机读、随机写、随机读写。配合 iotop 就可以实时看到设备的 IO 性能了。

使用阿里云轻量云服务器 3 年了。的确最近加了限制（大概是在这 1 个月内），阿里云官方的口吻是：

轻量应用服务器是峰值 30M ，动态调整的，不保证峰值 30M 。

实际体验是：无论凌晨还是白天，限制都是存在的（昨晚的测试）。