V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
V2April
V2EX  ›  NAS

实验室每季度产生 10TB 的数据,最佳的异地备份方案是什么?

  •  
  •   V2April · 17 小时 55 分钟前 · 3797 次点击

    目前的做法是数据产生后实时同步至群晖,每几个月硬盘会被塞满,然后拷到移动硬盘里。有什么更好的异地备份、本地释放空间的方法吗?实验数据无敏感性,不介意上传至阿里云、腾讯云或 AWS 的云盘里,不需要加密,但怕丢。

    第 1 条附言  ·  1 小时 28 分钟前
    关于“异地备份”的问题:

    不好意思可能非专业人士对专业词汇理解有偏差,我说的不是放到别的城市这种异地备份,我说的是从群晖取出来不要占群晖空间这种异地备份。现在的做法是每隔一段时间从群晖里把数据拷出来放移动硬盘,移动硬盘扔柜子里。这种数据安全性除了不确定硬盘会不会放久了坏掉以外已经能满足要求了,不过就是有点麻烦,而且一柜子硬盘不便于整理。


    关于数据量和压缩:

    昨天上群晖看了一下,从 24.10.1 到 24.12.31 一共产生了 10T 的数据。实验室现在用的是 6 盘位的群晖,每个盘 12T ,用 RAID 一共能有 50T 左右的空间,差不多也就是一年的数据量。实验数据是 CCD 相机拍的照片,每张照片 30MB 左右,每天 1000 张~ 4000 张不等吧,我们也不知道怎么压缩😂


    关于成本:

    实验室整体来讲不太差钱,不过按照个人经验,每年花 10000 块买硬盘、买机箱可能比每年花 10000 块买云服务更容易报销。
    47 条回复    2025-03-12 14:05:52 +08:00
    ooh
        1
    ooh  
       17 小时 49 分钟前   ❤️ 2
    Cloudflare R2 下载不要钱,就问你厉害不厉害
    timethinker
        2
    timethinker  
       17 小时 42 分钟前
    硬盘应该是最好的选择,云存储是按照容量固定周期扣费的,比如 1 个月 1 毛钱 1G ,那么每个月都要为此付费,你在本地跑的话,其实用云服务既无必要也不划算,而且大多云存储上传下载会有额外的流量成本。
    lifanxi
        3
    lifanxi  
       17 小时 41 分钟前
    买 OSS ,按访问频率选择不同的 bucket 类型以尽可节省费用。如果只是存档,不太会再次访问,可以用归档存储,10TB 一年只要 2700 。
    SuzutsukiKaede
        4
    SuzutsukiKaede  
       17 小时 36 分钟前
    数据要保存多久?用云服务的话,即使不考虑上传下载的流量成本,这个数据量的存储成本会很高
    w568w
        5
    w568w  
       17 小时 31 分钟前   ❤️ 3
    看你的访问频率:

    - 几乎不访问(医疗影像、实验记录)可以考虑 S3 的冰川深度储存类,非常便宜,12 刀/年/TB (但取出数据需要半天时间解冻)

    - 非常频繁(模型权重、数据集)就看看阿里云之类的 OSS ,国内节点速度很快

    介于两者中间,就依次考虑 Backblaze 、S3 等储存服务吧。
    chinanetcoltd
        6
    chinanetcoltd  
       17 小时 27 分钟前   ❤️ 6
    买台 LTO 磁带机,磁带很便宜。九代 LTO 磁带可提供 18T 的原生容量和 45T 的压缩容量
    stormtrooperx5
        7
    stormtrooperx5  
       17 小时 22 分钟前
    oss 深度冷归档
    evill
        8
    evill  
       17 小时 20 分钟前
    如果后续使用较少,不存在 ls 问题的话 可以考虑 s3fs
    opengps
        9
    opengps  
       17 小时 18 分钟前
    其实大容量机械移动硬盘可靠性很高,多买几块异地邮寄备份可靠性未必低于网盘
    xmumiffy
        10
    xmumiffy  
       17 小时 14 分钟前
    腾讯云归档储存 10 元/TB/月
    JoeDH
        11
    JoeDH  
       17 小时 6 分钟前
    阿里云 oss 深度冷归档
    hefish
        12
    hefish  
       17 小时 5 分钟前
    肯定是采购几套 EMC ,3PAR ,NetApp, HDS , 或者国产 华为,浪潮,曙光 存储啊。。 要全分布式的那种。。。 多买几套。
    xiaoz
        13
    xiaoz  
       16 小时 10 分钟前
    恰好最近整理了几个比较便宜的对象存储,楼主可以参考: https://x.com/xiaozblog/status/1899419731389829624
    privil
        14
    privil  
       15 小时 20 分钟前
    说存到云上的,得考虑上传带宽吧?
    stefsui
        15
    stefsui  
       14 小时 24 分钟前
    每个月 3T 多,如果不是商用宽带,普通千兆宽带一般上传至右 100 - 200Mbps 上传,要 2-3 天。

    如果只是备份还是磁带靠谱,如果是怕实验室不安全,定期把磁带放另外一个地方就行,也算是灾备了
    BeautifulSoap
        16
    BeautifulSoap  
       14 小时 19 分钟前
    实验室?用经费氪金买磁带机!
    R4rvZ6agNVWr56V0
        17
    R4rvZ6agNVWr56V0  
       13 小时 0 分钟前
    10TB 不算多,但是没有交代为啥要异地备份啊。 如果用磁带机或者光盘刻录机,本地就行了啊,还不用担忧带宽、数据交给谁的问题。
    nong99
        18
    nong99  
       12 小时 52 分钟前 via iPhone
    我觉得,首先最后再考虑带宽上传的方案。先不说速度如何、耗时多久。就现在运营商针对 pcdn 得搞法,管你什么行为上传。封!降速!当然,除非高额的商业宽带或许宽松一点
    realpg
        19
    realpg  
       11 小时 0 分钟前
    买硬盘,然后快递发到某个临市的朋友家里,异地备份
    JIUBASHI
        20
    JIUBASHI  
       7 小时 55 分钟前 via iPhone
    115 ,1t 也就不到十块,还是长期。一年几百块会员。性价比最佳
    234ygg
        21
    234ygg  
       5 小时 16 分钟前 via iPhone
    备份用最便宜的类似 AWS s3 deep archive 的就行,或者阿里云也有类似业务,价格 1TB 每月只要 1 美元,上传流量不要钱,下载流量要钱
    234ygg
        22
    234ygg  
       5 小时 8 分钟前 via iPhone
    看你要存多久了,需要保存超过 9 个月,那就肯定是自己买硬盘便宜了,硬盘以后不要了还能卖出去。。

    云上最便宜的应该就是 s3 deep 这种,无学习成本,s3 可以用网页上传,注意 s3 deep 每个被上传的对象最低按 180 天收费。
    update
        23
    update  
       4 小时 54 分钟前
    刻光盘
    wangtian2020
        24
    wangtian2020  
       4 小时 50 分钟前   ❤️ 1
    数据看样子是一点儿没压缩
    yinmin
        25
    yinmin  
       4 小时 42 分钟前 via iPhone
    每季度产生 10TB 的数据,是高压缩率的吧? 弄一个 nas 开启 btrfs 压缩格式的放上去,有惊喜哦
    yinmin
        26
    yinmin  
       4 小时 31 分钟前 via iPhone
    我们之前的实验数据压缩率超高,基本上 1GB 打包成 rar 只有几十 MB 。你试试每月 rar 打包存储,或者群晖 btrfs 开启压缩功能。
    paradoxs
        27
    paradoxs  
       4 小时 24 分钟前
    "目前的做法是数据产生后实时同步至群晖,每几个月硬盘会被塞满,然后拷到移动硬盘里。"

    我不信你有这么多数据。

    按照你这个做法,你现在手上应该有几百 T 的数据了,存满的硬盘也有很多。

    拍照来看看?
    workshop
        28
    workshop  
       4 小时 10 分钟前
    海边买个房,定期往房子里放硬盘
    salmon5
        29
    salmon5  
       4 小时 6 分钟前
    AWS 都舍得用,我觉得招投标也不是不可以:自建数据中心
    qbmiller
        30
    qbmiller  
       3 小时 58 分钟前
    实验数据 重复太多,压缩还是很可以的
    chinni
        31
    chinni  
       3 小时 41 分钟前
    borg 每日备份 会压缩去重的 应该不会有那么多变化的数据。。。
    restic 和 kopia 也行
    heike8
        32
    heike8  
       3 小时 39 分钟前
    卡车运输最便宜
    wangybsyuct
        33
    wangybsyuct  
       3 小时 38 分钟前
    太多了,考虑删除没用的数据,压缩,用磁带备份,然后放到另外一个城市,间隔 100 公里以外,这个是异地备份的标准。
    MacsedProtoss
        34
    MacsedProtoss  
       3 小时 37 分钟前 via iPhone
    @nong99 实验室一般是教育网 教育网全是对等上下行的 千兆不在话下 而且没有啥运营商的限制
    mayli
        35
    mayli  
       3 小时 34 分钟前
    10T oss 还是最便宜的方案
    leonhao
        36
    leonhao  
       2 小时 43 分钟前
    硬盘麻烦死了,不考虑成本,老板出钱的话肯定上云啊
    oldManNewThought
        37
    oldManNewThought  
       2 小时 9 分钟前
    123 盘,买 svip, 几百 tb 容量还是多少有点忘了。但是要注意,这个狗屎网盘对存储数量有限制,上限是 500 万个,如果你们存的数量大就不适合
    smdbh
        38
    smdbh  
       1 小时 12 分钟前
    感觉大容量硬盘就行了, 加个 usb 硬盘座挺好. 贴标签,放柜子
    TellMeWHY
        39
    TellMeWHY  
       1 小时 8 分钟前
    115 网盘终身 VIP (搞活动时几千块搞定),5PB 总容量,用商业宽带来上传,一是上传带宽大,二是不容易被 ISP 封
    定期把一些有时效性的历史数据上传,清空一批本地硬盘,最新的实验数据还是用本地硬盘来保存。
    Busby
        40
    Busby  
       1 小时 4 分钟前
    阿里云、腾讯云 oss 深度冷归档+1
    注意如果需要报销的话,阿里云需要学校认证,腾讯云个人认证也可以开学校抬头。
    vopsoft
        41
    vopsoft  
       35 分钟前 via Android
    我觉得还是买硬盘吧 现实些 那些推荐你用 oss 的压根不知道 oss 有多贵 90T 存储+流量 一年差不多 20 万左右 如果被刷流量 发现的晚 能让实验室直接破产
    vopsoft
        42
    vopsoft  
       33 分钟前 via Android
    归档也只是节省存储费用 流量费是大头 不会省
    testcgd
        43
    testcgd  
       21 分钟前 via Android
    主要看你要存多少年吧,上云容易,下云难,建议是按最近几年的容量上云,异地备份,按月删除控制成本,同时本地存一份磁带归档
    oneisall8955
        44
    oneisall8955  
       18 分钟前
    别上云,下载下来慢的要命。本地搞硬盘存储就行了
    webs
        45
    webs  
       14 分钟前
    去搜一搜无损压缩,你这套群灰应该能用到毕业
    hongye
        46
    hongye  
       7 分钟前
    看有倒卖数据的买了很多二手硬盘干这个事儿
    wetist
        47
    wetist  
       1 分钟前
    如果是国内的实验室首先排除 aws ,大容量的传输数据到境外,小心网安找上门,而且 aws 报销也是个大问题
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5663 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 06:07 · PVG 14:07 · LAX 23:07 · JFK 02:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.