V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
walkingDoge
V2EX  ›  程序员

GPU 虚拟化有哪些应用场景?

  •  
  •   walkingDoge · 17 天前 · 2336 次点击

    老板让做这个需求,但是个人对应用的场景比较疑惑? 预期是在 K8S 上,将卡根据算力和显存维度划分,分给不同的租户。

    现在的大模型随随便便吃几十个 G 的显存,做推理时会考虑用虚拟化后的卡么? 或者不是大模型场景,什么样的用户需求会使用到虚拟化后的小小卡呢?

    20 条回复    2025-01-15 13:54:24 +08:00
    zmcity
        1
    zmcity  
       17 天前
    视频转码,小模型在线推理之类的会用到。
    dzdh
        2
    dzdh  
       17 天前
    carmark
        3
    carmark  
       17 天前
    开发机,小模型( CV )推理。
    clemente
        4
    clemente  
       17 天前
    目的是 最大化 售卖算力 本质和 12306 卖火车票一样的. a-b + b-c = a-c
    mumbler
        5
    mumbler  
       17 天前
    阿里云 GPU 去年这会儿 T4 每小时几毛钱,春节后就涨了 10 倍,还不是因为租的人太多了

    现在 AI 开源项目大都需要 GPU 运行,语音识别,逻辑推理,图片生成。。。
    minami
        6
    minami  
       17 天前
    现代操作系统和应用程序基本都抛弃了没有 GPU 加速的硬件了,你用 qxl 显卡跑一下 electron 或者 flutter 就知道有多难受了
    goodryb
        7
    goodryb  
       17 天前
    不能一上来就是大模型把,想想没有大模型之前,GPU 都用来做什么
    moefishtang
        8
    moefishtang  
       17 天前
    云游戏
    moefishtang
        9
    moefishtang  
       17 天前
    @moefishtang 当我没说
    magichan
        10
    magichan  
       17 天前
    像其他人说的,CV 小模型是我这边遇到的场景,一张卡上可以跑多个 CV 小模型提供不同的业务价值。

    可以看看去年刚开源的 HAMi 项目,防止重复造轮子
    ladypxy
        11
    ladypxy  
       17 天前
    多了。大企业用小机跑 Citrix ,然后用户用远程桌面来做设计。
    rainbowhu
        12
    rainbowhu  
       17 天前
    虚拟化说到底还是为了提高使用率吧,独占 gpu 使用率太低了
    jayeli
        13
    jayeli  
       17 天前
    kubevirt ?
    rainbowhu
        14
    rainbowhu  
       17 天前
    @rainbowhu 好像说了废话,当我没说
    wangyzj
        15
    wangyzj  
       17 天前

    不过应该是效果不是很好
    还是不同类型卡直通绑定比较好
    mightybruce
        16
    mightybruce  
       17 天前
    是不是大模型场景,如果是大模型场景,那么必然要显卡虚拟化,并且 nvidia 等各个显卡厂家都是支持不同粒度的虚拟化用来避免资源浪费。
    显卡没虚拟化
    第一、gpu 独占,gpu 使用率第
    第二、导致资源孤岛,不同 team 的任务开发,训练、推理每一步所消耗的 gpu 是不一样的,而 gpu 资源没有池化,无法利用。

    不是大模型场景,推理任务是很快的,往往任务都可以在一张显卡上完成,只要做好调度就可以了。
    chengyecc
        17
    chengyecc  
       17 天前
    云工作站
    towangjianfeng
        18
    towangjianfeng  
       17 天前
    GPU 虚拟化的作用是把 GPU 或者显卡共享给多个不同的租户。在嵌入式的汽车领域的跨域融合(一般是 Type1 类型的虚拟化系统,在一个板子上运行多个虚机),服务器领域有 GPU 算力共享的虚机,,还有软件研发前期验证也可能用到虚拟机(芯片厂的硬件流片前,没有硬件),还有就是桌面虚拟化(本地虚拟机运行桌面共享的 GPU 加速,远程桌面 GPU 加速),想到的是这些。
    Cloutain
        19
    Cloutain  
       17 天前
    云游戏
    fighterhit
        20
    fighterhit  
       16 天前
    gpu-manager cGPU qGPU mGPU 几年前的东西了...
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   682 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 22:11 · PVG 06:11 · LAX 14:11 · JFK 17:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.