V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
zwpaper
V2EX  ›  分享创造

一觉醒来, HackerNews 上前三了

  •  2
     
  •   zwpaper ·
    zwpaper · 18 天前 · 13083 次点击

    项目地址: https://github.com/TabbyML/tabby

    主要是用 Rust 做企业级编程助手,欢迎大家围观,更欢迎各种意见和建议

    94 条回复    2025-01-31 00:03:09 +08:00
    litchinn
        1
    litchinn  
       18 天前   ❤️ 2
    我发现之前就 star 过了,是不是上过 trending ,居然是本站大佬的作品,厉害
    guotie
        2
    guotie  
       18 天前   ❤️ 2
    巨佬
    zwpaper
        3
    zwpaper  
    OP
       18 天前   ❤️ 1
    @guotie @litchinn 哈哈,没有没有,我也只是其中一员,虽然目前我们人也不多就是了。
    MoGeJiEr
        4
    MoGeJiEr  
       18 天前   ❤️ 1
    相当屌
    zhixiao
        5
    zhixiao  
       18 天前
    请教一下,是不是必须配合 server 使用,如果我只想使用 tabby vscode 插件+deepseek api 行不行呢?刚刚配置失败了
    zwpaper
        6
    zwpaper  
    OP
       18 天前
    @zhixiao 必须要配合 Server 使用的,Server 在 LLM API 之外会做很多事情,就像读取文档,代码库,然后根据这些信息,再给你补全和生成代码。

    配合 Server 也不复杂,目前 release 里就是两个二进制文件,放到 PATH 下的目录里就好,很容易就能跑起来
    zhixiao
        7
    zhixiao  
       18 天前
    @zwpaper 多谢,我晚点试试看,就是不知道对比 copilot ,deepseek 的效果究竟咋样
    zwpaper
        8
    zwpaper  
    OP
       18 天前
    @zhixiao #7 Copilot 确实是强劲的对手,我们算是互有优势吧,一直在争取有一天能说我们比 Copilot 强

    deepseek 的话,主要说的是模型吧?我们本身也是可以用 deepseek 的模型的
    cloudzhou
        9
    cloudzhou  
       18 天前
    我之前甚至考虑过一种实现,就是配合麦克风、当前页面:
    当我按某个快捷键,说明开始和 ai 交互,开始语言输入,然后说出指令,就自动提示代码

    考虑到编程很多是繁琐的细节,这一块能完成,效率简直 x3
    yh7gdiaYW
        10
    yh7gdiaYW  
       18 天前   ❤️ 12
    话说为啥要取名 tabby ,已经有一个 6 万 star 的 tabby 了,搜索时结果混淆在一起有点蛋疼
    q1102389095
        11
    q1102389095  
       18 天前
    @cloudzhou 技术部秒变客服部
    cloudzhou
        12
    cloudzhou  
       18 天前
    @q1102389095 也别这么说,也可以说技术人员更高阶了,hhh
    q1102389095
        13
    q1102389095  
       18 天前
    @cloudzhou 我说的是有了这个以后技术部从原本敲代码方式转变成叨叨叨了,这样降噪等问题以及说错话还有方言、感冒带鼻音等都要处理,前段时间我感冒了说的很多东西不准确,我的智能家居开始已读乱回
    cloudzhou
        14
    cloudzhou  
       18 天前
    @q1102389095 我自己用了 wx ,感觉准确率可以,对于编程来说,术语、特定语言在一个小范围,理论上更加精准才对,并且,局部的不精准,不影响全局的理解。

    如果那一天编程到了这一步,编程的方式都有些变化了
    viking602
        15
    viking602  
       18 天前   ❤️ 2
    @yh7gdiaYW 确实我第一反应是那个 tabby 太容易混淆了
    tars13344
        16
    tars13344  
       18 天前
    @cloudzhou #9 你是否在找 罗永浩-TNT
    cloudzhou
        17
    cloudzhou  
       18 天前   ❤️ 1
    @tars13344 如果都用语音识别,确实有些傻瓜瓜,但是考虑到语音识别的准确性、快速响应进步,在一些场景确实可以的,我不大使用 AI 一个原因是,有时候打了一大段字描述一个问题,来回的时候(各种微调)我都可以自己写代码了
    magzza
        18
    magzza  
       18 天前
    第一眼以为是终端软件 tabby 。
    zwpaper
        19
    zwpaper  
    OP
       18 天前
    @cloudzhou #9 抛开语音识别,并且把当前页面限制到 VSCode ,目前的实现其实就是类似的效果,当然,一些更好的体验其实也受限于当前 LLM 的能力,实际做下来体验不如预期,还得等 LLM 再进化
    zwpaper
        20
    zwpaper  
    OP
       18 天前
    @yh7gdiaYW 可以用 ML 后缀来区别,Tab by ML ,所以去掉 ML 就是产品名,和终端 Tabby 重名也确实是巧合了
    1016
        21
    1016  
       18 天前
    我之前在 vs code 里面使用过 tabby ,我也不知道啥原因感觉不太“聪明”的样子。后来我就没用了。

    现在才知道要配置一些东西才好用....
    nagisaushio
        22
    nagisaushio  
       18 天前 via Android
    @cloudzhou 什么 tnt
    SilenceLL
        23
    SilenceLL  
       18 天前
    同感,看成终端软件了,以为终端里面加了 ai 。
    FcukYouTony
        24
    FcukYouTony  
       18 天前
    能部署到 NAS 么
    yh7gdiaYW
        25
    yh7gdiaYW  
       18 天前
    @zwpaper 但 google 的搜索结果官网是"Tabby - Opensource, self-hosted AI coding assistant",Github 的仓库也是"tabby",如 23 楼所说真的很容易以为是 tabby 加了 ai
    hujnnn
        26
    hujnnn  
       18 天前
    之前就 Star 了, 好奇的是付费用户多么? 🐶头保命🤣
    QlanQ
        27
    QlanQ  
       18 天前
    以前就试过,感觉本地部署还是很占资源的,Mac 用不起
    RicardoY
        28
    RicardoY  
       18 天前
    @yh7gdiaYW +1 ,这个名字楼主团队是否可以考虑换一下
    liuliuliuliu
        29
    liuliuliuliu  
       18 天前
    有没有和其他助手的对比?
    xfn
        30
    xfn  
       18 天前
    感觉 continue 比较像,和 continue 相比有什么优势么?
    crackidz
        31
    crackidz  
       18 天前
    之前看到了,确实挺不错的
    FightPig
        32
    FightPig  
       18 天前
    之前才看过,没想到作者居然在 v2
    zwpaper
        33
    zwpaper  
    OP
       18 天前
    @yh7gdiaYW #25 Tabby 这个名字现在积累了一定的产品力了,肯定不会轻易考虑换,而且和终端的 Tabby 毕竟也不是一个赛道的
    zwpaper
        34
    zwpaper  
    OP
       18 天前   ❤️ 1
    @FcukYouTony 肯定是可以的,但是 NAS 的话,一般得用远端的 API 了,或者 NAS 本身能力比较强大也是可以的,毕竟还是依赖 LLM 的能力
    zwpaper
        35
    zwpaper  
    OP
       18 天前
    @QlanQ 资源大头还是在 LLM 上,Server 本身占用的资源不算多,所以说实话,目前 Mac 上我主要也是开发场景在用,生产场景还是依赖远端的 LLM
    zwpaper
        36
    zwpaper  
    OP
       18 天前
    @liuliuliuliu @xfn 我们目前没有对比的文章,但是从个人体验上说,Tabby 会获取更多的上下文,包括编辑器里能获取的,还有 Server Side 保存的,在 Chat 或者补全的时候都会有更高的命中率
    devdes
        37
    devdes  
       18 天前   ❤️ 2
    @zwpaper 今天第一个 star 。 果然是能力越大,头像越黑😉
    lynan
        38
    lynan  
       18 天前 via iPad
    @devdes 奇怪的关注点增加了😂
    xdeng
        39
    xdeng  
       18 天前
    要英伟达的显卡?
    Echoleung
        40
    Echoleung  
       18 天前 via Android
    本地无显卡,怎么使用现有模型 api 作为远端服务呢?有教程吗,windows 的?
    jonsmith
        41
    jonsmith  
       18 天前
    star 了,等有显卡了试试
    Liftman
        42
    Liftman  
       18 天前   ❤️ 1
    挺好的,适合我们自建。我之前还在烦呢。因为 cursor 跑 ollama 比较麻烦,每个人都配置一下也挺烦,而且 cursor 也不是每个人都首选。 这个就不错。
    TimPeake
        43
    TimPeake  
       18 天前
    按教程 docker 部署完毕, http://localhost:8080 或者指定其他端口,无法打开 ,什么情况
    zwpaper
        44
    zwpaper  
    OP
       18 天前
    @xdeng @Echoleung @jonsmith 本地有显卡是最好的,可以本地跑模型,尤其对于企业来说,数据还很重要的。

    没有显卡的情况下,Tabby 也支持使用远端的模型 API ,针对不同的厂商,我们也都有对应的文档,可以参考一下,例如最近很火的 Deepseek V3 和 Deepseek Coder 都可以通过 Deepseek 的 API 运行: https://tabby.tabbyml.com/docs/references/models-http-api/deepseek/
    zwpaper
        45
    zwpaper  
    OP
       18 天前
    @TimPeake 得看一下具体的日志和报错,之前碰到过的 docker 绑了 IPv6 ,还碰到过 localhost 解析异常,或者 GPU 异常,之类的问题

    或者各位有条件的话,可以加一下我们的 Slack ,我们可以更好的当好客服工作,哈哈

    https://links.tabbyml.com/join-slack-landing
    a174871
        46
    a174871  
       18 天前
    如果可以先用 Gemini 体验一下就好了,刚刚看了下文档似乎没提到 Gemini
    zwpaper
        47
    zwpaper  
    OP
       18 天前
    @a174871 因为 Gemini 只有 Chat 模型,所以关注度不算高,不过好像也确实可以把 Chat 模型给他加上,毕竟也是个 LLM 大哥
    Rrrrrr
        48
    Rrrrrr  
       18 天前
    如果在本地跑,还得用你们的 api 吗?有些公司不让上网的,所以就用不了?
    a132811
        49
    a132811  
       18 天前
    允许将整个本地项目代码加入上下文吗?或者指定本地的几个目录的代码作为上下文
    TimPeake
        50
    TimPeake  
       18 天前
    @zwpaper #45 可能我电脑性能不太行,200 秒左右启动成功, 刷新可以打开了。安装了 cuda toolkit, 试了下 tab 补全的时候 3050 显卡瞬间飙升到 70%+使用率
    Alias2023
        51
    Alias2023  
       18 天前
    能本地部署了,这个怎么还需要订阅
    JZen
        52
    JZen  
       18 天前   ❤️ 1
    牛逼,先点 Star ,等会部署玩玩
    ZSeptember
        53
    ZSeptember  
       18 天前
    很早就看到了,没想到是国内厂商,支持。
    zwpaper
        54
    zwpaper  
    OP
       18 天前
    @TimPeake #50 LLM 基本都是这样,不同模型对显卡的利用率也不一样
    zwpaper
        55
    zwpaper  
    OP
       18 天前
    @Rrrrrr "我们的 API" 就是指的本地运行的这个 Server API ,公司不让上网指的应该是不让上互联网吧,公司内网部署 Tabby ,然后内部都访问这个 API 就行
    zwpaper
        56
    zwpaper  
    OP
       18 天前
    @a132811 是的,允许添加 GitHub/GitLab 等仓库,会自动去拉取,或者本地的 Git 仓库也都是可以的
    zwpaper
        57
    zwpaper  
    OP
       18 天前
    @Alias2023 个人本地部署基本没有限制,有一些企业功能是限制了需要订阅才可以的,这也是我们的商业模式
    zwpaper
        58
    zwpaper  
    OP
       18 天前
    @ZSeptember 哈哈,互联网时代,主要还是看产品
    Rrrrrr
        59
    Rrrrrr  
       18 天前
    @zwpaper #55 有没有推荐什么配置,能跑得比较好?
    jlak
        60
    jlak  
       18 天前 via iPhone
    这种是不是很吃 token
    abeholder
        61
    abeholder  
       18 天前
    只能使用本地的模型吗 ,能接其他 LLM 的 API 么?
    cyhulk
        62
    cyhulk  
       18 天前
    膜拜,先 star
    Echoleung
        63
    Echoleung  
       18 天前 via Android
    @zwpaper 使用远端模型,配置好 config 后执行.\tabby.exe serve 启动就行吗?
    abbottkhan399
        64
    abbottkhan399  
       18 天前
    厉害,点个 star 部署试试
    ScjMitsui
        65
    ScjMitsui  
       18 天前   ❤️ 1
    厉害的!我同学是你们中一员,在朋友圈宣传过几次
    Remember
        66
    Remember  
       18 天前
    你这跟哪个 ssh 客户端重名了呀,我吓一跳,以为那作者说中文了。
    a174871
        67
    a174871  
       17 天前
    @zwpaper #47 感谢回复,您提到 Gemini 只有 chat 模型,是因为 tabby 还需要其他模型吗 比如 Embedding ?我印象中 Google 的 AI studio 中提供的 API 和 OpenAI 中提供的都是只有 chat 吧?
    lovestudykid
        68
    lovestudykid  
       17 天前
    有点不太理解,其他一些工具不都是插件+api 就行了么,为什么还需要一个单独的程序
    pigzzz
        69
    pigzzz  
       17 天前
    还以为是那个 terminal
    f1ynnv2
        70
    f1ynnv2  
       17 天前
    @cloudzhou vscode+copilot 里,command+两次不就是你说的这个效果吗?我自己在家的时候一直是语音说需求,copilot 给我改代码的
    f1ynnv2
        71
    f1ynnv2  
       17 天前
    @f1ynnv2 command+i 两次
    isSamle
        72
    isSamle  
       17 天前
    怎么没有中文文档😂
    astkaasa
        73
    astkaasa  
       17 天前
    已 star, 今天去试用一下, 有没有和 CodeGPT 跑本地模型的对比?
    zwpaper
        74
    zwpaper  
    OP
       17 天前
    @a174871 #67 是的,全能力需要 3 个模型,Chat 、Completion 、Embedding ,

    Google 有 Chat 和 Embedding

    OpenAI 三个都有,只是 Completion 已经 Deprecated 了
    zwpaper
        75
    zwpaper  
    OP
       17 天前
    @Rrrrrr #59 我个人的经验是 codestral 22b 一个模型对于 Completion 和 Chat 处理得都挺不错的,显卡能跑起来这个模型的话,体验上应该就很不错了
    zwpaper
        76
    zwpaper  
    OP
       17 天前
    @Echoleung #63 是的
    zzzlight
        77
    zzzlight  
       17 天前
    star 好久了 看到你发才知道原来是本站佬的作品
    sanquan
        78
    sanquan  
       17 天前 via iPhone
    巨佬你好
    astkaasa
        79
    astkaasa  
       17 天前
    vscode 和 intellij 里面的 chat 页面出不来, 代码补全是正常的
    astkaasa
        80
    astkaasa  
       17 天前
    @astkaasa 这样启动的
    tabby serve --device metal --model Qwen2.5-Coder-7B --chat-model Qwen2.5-Coder-7B-Instruct --port 10000 --no-webserver
    a174871
        81
    a174871  
       17 天前
    @zwpaper #74 感谢回复,那能否像 Dif 一样,可以分别配置 chat 、Completion 、Embedding 所使用的模型,比如我可以把 Embedding 使用本地部署的,而 chat 使用 Gemini 呢?
    cloudzhou
        82
    cloudzhou  
       17 天前 via iPhone
    @f1ynnv2 那太先进了,我只是自己的一个想法,程序员真要变革了
    twohappy
        83
    twohappy  
       17 天前
    屌啊,相当屌
    devzhaoyou
        84
    devzhaoyou  
       17 天前
    牛叉 留名
    zwpaper
        85
    zwpaper  
    OP
       17 天前
    @a174871 #81 可以的,参考这里几个不同的厂商,可以组合使用,也可以本地远端组合使用
    https://tabby.tabbyml.com/docs/references/models-http-api/deepseek/
    zwpaper
        86
    zwpaper  
    OP
       17 天前
    @jlak 会有点,不过现在 token 价格也都越来越便宜了,而且只会更便宜,另外就是本地有显卡的话,本地模型能力也会越来越强的
    monkeyWie
        87
    monkeyWie  
       16 天前 via Android
    没懂这个和 cline 插件有啥区别
    zwpaper
        88
    zwpaper  
    OP
       16 天前
    @astkaasa #80 可以到 GitHub 或者 Slack 里贴一下详细的问题,才能定位一下怎么回事
    zwpaper
        89
    zwpaper  
    OP
       16 天前
    @monkeyWie Tabby 会整合更多的相关信息,不仅仅是一个代码助手
    weank
        90
    weank  
       16 天前   ❤️ 1
    牛的👍,最近也在企业内部做代码生成工具,看了下 repo ,感觉能学到很多
    weank
        91
    weank  
       16 天前
    但是 rust 是一个门槛,无论对开发者还是想要接入服务的企业来说,存在一定的障碍。
    zwpaper
        92
    zwpaper  
    OP
       16 天前
    @weank #91 语言只是实现途径之一,用 Rust 也是考虑生态之后的选项,实际开发体验下来也都挺好的,我也知道 Rust 的花边新闻,不过最终产出才是中最要的。

    对于开发者,主要是有一个上手门槛,但是现在像 Tabby 这样的助手出现,也能很大程度的降低这个门槛。

    对于企业,主要还是看产品,一般也不会过多关注具体的实现方式
    unbridle
        93
    unbridle  
       3 天前
    @zwpaper #44 谢谢大佬的贡献,想问下,如果是调用远端 api 的话,是不是 docker 部署就把--model StarCoder-1B --chat-model Qwen2-1.5B-Instruct --device cuda 这些去掉?
    zwpaper
        94
    zwpaper  
    OP
       1 天前   ❤️ 1
    @unbridle 对,还得在 config.toml 上配置一下远端 api 的信息,需要自己 mount 这个配置文件进去
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   742 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:13 · PVG 07:13 · LAX 15:13 · JFK 18:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.