目前的做法是数据产生后实时同步至群晖,每几个月硬盘会被塞满,然后拷到移动硬盘里。有什么更好的异地备份、本地释放空间的方法吗?实验数据无敏感性,不介意上传至阿里云、腾讯云或 AWS 的云盘里,不需要加密,但怕丢。
![]() |
1
ooh 17 小时 49 分钟前 ![]() Cloudflare R2 下载不要钱,就问你厉害不厉害
|
![]() |
2
timethinker 17 小时 42 分钟前
硬盘应该是最好的选择,云存储是按照容量固定周期扣费的,比如 1 个月 1 毛钱 1G ,那么每个月都要为此付费,你在本地跑的话,其实用云服务既无必要也不划算,而且大多云存储上传下载会有额外的流量成本。
|
![]() |
3
lifanxi 17 小时 41 分钟前
买 OSS ,按访问频率选择不同的 bucket 类型以尽可节省费用。如果只是存档,不太会再次访问,可以用归档存储,10TB 一年只要 2700 。
|
![]() |
4
SuzutsukiKaede 17 小时 36 分钟前
数据要保存多久?用云服务的话,即使不考虑上传下载的流量成本,这个数据量的存储成本会很高
|
5
w568w 17 小时 31 分钟前 ![]() 看你的访问频率:
- 几乎不访问(医疗影像、实验记录)可以考虑 S3 的冰川深度储存类,非常便宜,12 刀/年/TB (但取出数据需要半天时间解冻) - 非常频繁(模型权重、数据集)就看看阿里云之类的 OSS ,国内节点速度很快 介于两者中间,就依次考虑 Backblaze 、S3 等储存服务吧。 |
![]() |
6
chinanetcoltd 17 小时 27 分钟前 ![]() 买台 LTO 磁带机,磁带很便宜。九代 LTO 磁带可提供 18T 的原生容量和 45T 的压缩容量
|
![]() |
7
stormtrooperx5 17 小时 22 分钟前
oss 深度冷归档
|
![]() |
8
evill 17 小时 20 分钟前
如果后续使用较少,不存在 ls 问题的话 可以考虑 s3fs
|
![]() |
9
opengps 17 小时 18 分钟前
其实大容量机械移动硬盘可靠性很高,多买几块异地邮寄备份可靠性未必低于网盘
|
![]() |
10
xmumiffy 17 小时 14 分钟前
腾讯云归档储存 10 元/TB/月
|
11
JoeDH 17 小时 6 分钟前
阿里云 oss 深度冷归档
|
12
hefish 17 小时 5 分钟前
肯定是采购几套 EMC ,3PAR ,NetApp, HDS , 或者国产 华为,浪潮,曙光 存储啊。。 要全分布式的那种。。。 多买几套。
|
![]() |
13
xiaoz 16 小时 10 分钟前
恰好最近整理了几个比较便宜的对象存储,楼主可以参考: https://x.com/xiaozblog/status/1899419731389829624
|
![]() |
14
privil 15 小时 20 分钟前
说存到云上的,得考虑上传带宽吧?
|
15
stefsui 14 小时 24 分钟前
每个月 3T 多,如果不是商用宽带,普通千兆宽带一般上传至右 100 - 200Mbps 上传,要 2-3 天。
如果只是备份还是磁带靠谱,如果是怕实验室不安全,定期把磁带放另外一个地方就行,也算是灾备了 |
![]() |
16
BeautifulSoap 14 小时 19 分钟前
实验室?用经费氪金买磁带机!
|
![]() |
17
R4rvZ6agNVWr56V0 13 小时 0 分钟前
10TB 不算多,但是没有交代为啥要异地备份啊。 如果用磁带机或者光盘刻录机,本地就行了啊,还不用担忧带宽、数据交给谁的问题。
|
![]() |
18
nong99 12 小时 52 分钟前 via iPhone
我觉得,首先最后再考虑带宽上传的方案。先不说速度如何、耗时多久。就现在运营商针对 pcdn 得搞法,管你什么行为上传。封!降速!当然,除非高额的商业宽带或许宽松一点
|
![]() |
19
realpg 11 小时 0 分钟前
买硬盘,然后快递发到某个临市的朋友家里,异地备份
|
![]() |
20
JIUBASHI 7 小时 55 分钟前 via iPhone
115 ,1t 也就不到十块,还是长期。一年几百块会员。性价比最佳
|
21
234ygg 5 小时 16 分钟前 via iPhone
备份用最便宜的类似 AWS s3 deep archive 的就行,或者阿里云也有类似业务,价格 1TB 每月只要 1 美元,上传流量不要钱,下载流量要钱
|
22
234ygg 5 小时 8 分钟前 via iPhone
看你要存多久了,需要保存超过 9 个月,那就肯定是自己买硬盘便宜了,硬盘以后不要了还能卖出去。。
云上最便宜的应该就是 s3 deep 这种,无学习成本,s3 可以用网页上传,注意 s3 deep 每个被上传的对象最低按 180 天收费。 |
23
update 4 小时 54 分钟前
刻光盘
|
![]() |
24
wangtian2020 4 小时 50 分钟前 ![]() 数据看样子是一点儿没压缩
|
25
yinmin 4 小时 42 分钟前 via iPhone
每季度产生 10TB 的数据,是高压缩率的吧? 弄一个 nas 开启 btrfs 压缩格式的放上去,有惊喜哦
|
26
yinmin 4 小时 31 分钟前 via iPhone
我们之前的实验数据压缩率超高,基本上 1GB 打包成 rar 只有几十 MB 。你试试每月 rar 打包存储,或者群晖 btrfs 开启压缩功能。
|
![]() |
27
paradoxs 4 小时 24 分钟前
"目前的做法是数据产生后实时同步至群晖,每几个月硬盘会被塞满,然后拷到移动硬盘里。"
我不信你有这么多数据。 按照你这个做法,你现在手上应该有几百 T 的数据了,存满的硬盘也有很多。 拍照来看看? |
28
workshop 4 小时 10 分钟前
海边买个房,定期往房子里放硬盘
|
29
salmon5 4 小时 6 分钟前
AWS 都舍得用,我觉得招投标也不是不可以:自建数据中心
|
![]() |
30
qbmiller 3 小时 58 分钟前
实验数据 重复太多,压缩还是很可以的
|
![]() |
31
chinni 3 小时 41 分钟前
borg 每日备份 会压缩去重的 应该不会有那么多变化的数据。。。
restic 和 kopia 也行 |
32
heike8 3 小时 39 分钟前
卡车运输最便宜
|
![]() |
33
wangybsyuct 3 小时 38 分钟前
太多了,考虑删除没用的数据,压缩,用磁带备份,然后放到另外一个城市,间隔 100 公里以外,这个是异地备份的标准。
|
34
MacsedProtoss 3 小时 37 分钟前 via iPhone
@nong99 实验室一般是教育网 教育网全是对等上下行的 千兆不在话下 而且没有啥运营商的限制
|
35
mayli 3 小时 34 分钟前
10T oss 还是最便宜的方案
|
36
leonhao 2 小时 43 分钟前
硬盘麻烦死了,不考虑成本,老板出钱的话肯定上云啊
|
37
oldManNewThought 2 小时 9 分钟前
123 盘,买 svip, 几百 tb 容量还是多少有点忘了。但是要注意,这个狗屎网盘对存储数量有限制,上限是 500 万个,如果你们存的数量大就不适合
|
38
smdbh 1 小时 12 分钟前
感觉大容量硬盘就行了, 加个 usb 硬盘座挺好. 贴标签,放柜子
|
![]() |
39
TellMeWHY 1 小时 8 分钟前
115 网盘终身 VIP (搞活动时几千块搞定),5PB 总容量,用商业宽带来上传,一是上传带宽大,二是不容易被 ISP 封
定期把一些有时效性的历史数据上传,清空一批本地硬盘,最新的实验数据还是用本地硬盘来保存。 |
![]() |
40
Busby 1 小时 4 分钟前
阿里云、腾讯云 oss 深度冷归档+1
注意如果需要报销的话,阿里云需要学校认证,腾讯云个人认证也可以开学校抬头。 |
41
vopsoft 35 分钟前 via Android
我觉得还是买硬盘吧 现实些 那些推荐你用 oss 的压根不知道 oss 有多贵 90T 存储+流量 一年差不多 20 万左右 如果被刷流量 发现的晚 能让实验室直接破产
|
42
vopsoft 33 分钟前 via Android
归档也只是节省存储费用 流量费是大头 不会省
|
43
testcgd 21 分钟前 via Android
主要看你要存多少年吧,上云容易,下云难,建议是按最近几年的容量上云,异地备份,按月删除控制成本,同时本地存一份磁带归档
|
![]() |
44
oneisall8955 18 分钟前
别上云,下载下来慢的要命。本地搞硬盘存储就行了
|
45
webs 14 分钟前
去搜一搜无损压缩,你这套群灰应该能用到毕业
|
![]() |
46
hongye 7 分钟前
看有倒卖数据的买了很多二手硬盘干这个事儿
|
![]() |
47
wetist 1 分钟前
如果是国内的实验室首先排除 aws ,大容量的传输数据到境外,小心网安找上门,而且 aws 报销也是个大问题
|