V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
iorilu
V2EX  ›  程序员

下载 huggingface 大模型有什么好方法吗

  •  
  •   iorilu · 4 天前 · 2522 次点击

    也用了 https://hf-mirror.com/

    但这个基本下几 G 就限流了

    直接 huggingface 下载也是比较慢的, 反正下 7,8G 以上文件基本 没完成就没速度了

    大家有啥好方法吗, 现在模型太大了, 都是几十 G

    23 条回复    2025-02-16 21:46:44 +08:00
    0312birdzhang
        1
    0312birdzhang  
       4 天前
    限流的话断点续传就好了
    774157009
        2
    774157009  
       4 天前
    modelscope.cn +断点续传
    wencan
        3
    wencan  
       4 天前
    hf-mirror cli 断点续传
    4BVL25L90W260T9U
        4
    4BVL25L90W260T9U  
       4 天前
    你都能上 v 站了, 翻墙还不利索?
    Kite6
        5
    Kite6  
       4 天前 via Android
    代理+直接 wget
    nagisaushio
        6
    nagisaushio  
       4 天前 via Android
    MagmaBlock
        7
    MagmaBlock  
       4 天前
    可以用 cloudflare workers 跑一个反向代理,github 有现成的脚本
    前提是你的网络和 cloudflare 的链接质量得靠谱,有些宽带不行
    hertzry
        8
    hertzry  
       4 天前 via iPhone
    If you are running on a machine with high bandwidth, you can increase your download speed with hf_transfer, a Rust-based library developed to speed up file transfers with the Hub.

    pip install "huggingface_hub[hf_transfer]"
    HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download ...
    kzfile
        9
    kzfile  
       4 天前
    有时候下载断流,我刷新一下 hf 的页面,速度就突然有了
    omega3
        10
    omega3  
       4 天前
    上个优质科学网络 tg:wavevwe
    iorilu
        11
    iorilu  
    OP
       4 天前
    @ospider 这种大文件下一会儿就限流的, 除非不停换节点
    kokutou
        12
    kokutou  
       4 天前 via Android
    代理呢。。。。
    国外 vpn 都随便 1t 流量,敞开下啊
    evan9527
        13
    evan9527  
       4 天前
    梯子问题,换一家。
    4BVL25L90W260T9U
        14
    4BVL25L90W260T9U  
       4 天前
    @iorilu #11 我用的 jms 从来不限流
    xujiang
        15
    xujiang  
       4 天前
    国内有阿里的魔塔
    https://modelscope.cn/
    基本的 model 都有,支持全速下载
    asly
        16
    asly  
       4 天前 via iPhone
    好像可以复制下载链接用迅雷下载
    vmebeh
        17
    vmebeh  
       4 天前 via iPhone
    好像就 huggingface 的主域名被墙,反正用 lm studio 下模型直接跑超 ISP 给的带宽,梯子肯定没这速度
    pckillers
        18
    pckillers  
       4 天前
    直接去 modelscope 下载。 一般都有人分流。
    milkpuff
        19
    milkpuff  
       3 天前
    我浏览器下载比较慢,链接粘到 aria2 下载千兆满速,不知道为啥
    chapiom
        20
    chapiom  
       3 天前 via iPhone
    可以开类似联通 9929 这样的,国外下载很快
    frandy
        21
    frandy  
       3 天前
    之前因为这个问题写了个脚本,集成 aria2 还有点问题,没问题
    https://github.com/readmagic/hx
    希望能帮到你
    frandy
        22
    frandy  
       3 天前
    @frandy #21 迅雷没问题
    FaiChou
        23
    FaiChou  
       3 天前 via iPhone
    hf 被墙了吗,年前我下载模型四个 wget 一起,拉满千兆带宽的,没挂代理。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1199 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 23:15 · PVG 07:15 · LAX 15:15 · JFK 18:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.