首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  swmjjy  ›  全部回复第 1 页 / 共 2 页
回复总数  25
1  2  
❮ ❯
5 天前
回复了 omz 创建的主题 › Apple › 终端查看 Mac mini 硬盘读写数据，感觉超出我使用的范围
我这也是, 63 小时活动时间, 122T 读取 36T 写入

https://i.imgur.com/uam9VAu.png
8 天前
回复了 moudy 创建的主题 › Apple › Mac Studio 实战 671B 全量大模型成绩出来了
@wclebb 然后能做到的预算我头上就说了, 4bit 671b 跑到 10token/s 以上只需要 3w 预算而已
8 天前
回复了 moudy 创建的主题 › Apple › Mac Studio 实战 671B 全量大模型成绩出来了
@wclebb 我哪里提到云 api 了, 我说的是权重, 没人说 mac 不能跑, 在说的是 mac 跑性价比极低, 低价不如 ktransformers 方案低, 高吞吐性价比比正规方案差 10 倍以上
8 天前
回复了 moudy 创建的主题 › Apple › Mac Studio 实战 671B 全量大模型成绩出来了
@wclebb 首先 4bit 671b 3w 就能跑到 10token/s 以上的速度, 然后 ds 官方的权重就是 8bit fp 的, 哪门子没有公开, 美团也公开了 8bit int 的权重, 并且合并了相应的更改到 sglang
你没去了解=没有
9 天前
回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型
@newbeelity 这并不是什么问题, 主流推理框架全都正式支持至少一种并行方式, 而且都不必选依赖 nvlink 或者对应 GPU 的同等通信方式, exo 仅仅属于在 mac 社区里比较知名的简单山寨实现而已
9 天前
回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型
@BernieDu 要求带宽的是 GPU 和自身显存之间的通信, 而 GPU 之间几乎只是每层(甚至可以是每 N 层)进行一次简单的中间状态交互, 带宽要求可以非常低

举例, 8 张 3060, Qwen2.5-72B 4bit 量化
promp prefill: 470token/s
decode bs=1: 37token/s
decode 高并发: 430token/s

(这几个数据对于 m4 max 而言是 ~50token/s, ~12token/s, ~30token/s)

https://i.imgur.com/Tr9FqiF.png
https://i.imgur.com/CSDIACm.png
https://i.imgur.com/T7kKqNQ.png
https://i.imgur.com/tfyILe7.png
2023-06-07 12:17:04 +08:00
回复了 polobug 创建的主题 › Apple › 库克的内存和存储还是那么抠，可吐了
@wy315700 一般是没有...但这个一般大概不包括真的把 mac 的内存当显存并据此认为价格合理的那些
2023-06-07 11:49:48 +08:00
回复了 polobug 创建的主题 › Apple › 库克的内存和存储还是那么抠，可吐了
@dlwlrm 除非你说的是推理而不是训练, 正常训练数据集预处理逻辑吃内存随随便便上百 G, 老黄给 gh200 配单节点 96G HBM3+480GB lpddr5x 这个比例足够体现主流需求的显存内存消耗占比了
2023-06-07 11:40:23 +08:00
回复了 polobug 创建的主题 › Apple › 库克的内存和存储还是那么抠，可吐了
@dlwlrm 我说的就是炼丹啊, 内存吃的远比显存多
2023-06-06 17:38:07 +08:00
回复了 hearlessnor 创建的主题 › Apple › 钟文泽已经佩戴体验了 Vision pro 唉，居然和宣传片里大致一样，好兴奋。
不吹的人能现在就体验?
2023-06-06 15:59:47 +08:00
回复了 ShadowPower 创建的主题 › Apple › 什么样的用户会需要新款 Mac Pro？
@terrysnake 什么专业计算卡会考虑往要供电没供电要驱动没驱动的 macpro 上插...
2023-06-06 15:29:59 +08:00
回复了 polobug 创建的主题 › Apple › 库克的内存和存储还是那么抠，可吐了
@dlwlrm 这多少自我 pua 了, 通常能用 20g 显存的项目跑起来少说得用个百来 g 内存
2023-02-03 13:50:26 +08:00
回复了 xd880616 创建的主题 › Apple › 为什么对于是否买 mbp 的评价都是能否用它赚钱？
你说的这 4 点 "易上手；软件生态；全家桶；隐私"
就我的使用体验而言 易上手和软件生态 mac 是最烂的那一档, 还不如 ubuntu
全家桶确实还算好用
隐私不予置评
2022-10-25 19:01:23 +08:00
回复了 18115692244 创建的主题 › Apple › 的产品，哪一点最让你觉得不爽。
教我怎么用
2022-10-22 04:07:28 +08:00
回复了 xstress 创建的主题 › Apple › 想问一下大家的 iPad pro 用处大吗？
纯吃灰，用了一阵就意识到没有任何实际的使用场景
想记笔记，很快就意识到记了也绝对不会翻出来看，完全就是伪需求
想看剧，端着手酸，小屏不如手机大屏不如躺着看显示器
2022-09-19 17:21:16 +08:00
回复了 stroh 创建的主题 › Apple › IPhone14pro 的灵动岛，不会用一年就弃了吧？
灵动岛都能夸, 买椟还珠不过如此
2022-09-19 16:08:51 +08:00
回复了 noahhhh 创建的主题 › Apple › 苹果应该是电子垃圾占比最少的厂商吧
你有没有想过一种可能性, 别人根本就不当厂家粉, 靠信仰坚持用垃圾的就那么一小撮人, 而靠信仰的那一部分果粉花着最多的钱用着最多的垃圾
2022-09-18 14:12:47 +08:00
回复了 BMPixel 创建的主题 › MacBook Pro › mbp 何时有望换掉刘海屏
都变成产品 logo 了, 怕是能换掉也不会换掉了
1  2  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1001 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 21:55 · PVG 05:55 · LAX 14:55 · JFK 17:55
Developed with CodeLauncher
♥ Do have faith in what you're doing.