V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
annoygaga
V2EX  ›  数据库

单机器(4C 或 2C)OLAP 数据库选型

  •  1
     
  •   annoygaga · 7 天前 · 987 次点击

    目前每天的数据量其实不大,但是有比较复杂的 SQL 分析需求,希望走一个 OLAP 数据,目前用的 clickhouse ( 2C ,4GB ),但每时每刻都会有不少 mem 和 cpu 消耗,想问问类似情况下哪些数据库在这个场景比较好呢?

    14 条回复    2025-02-17 11:43:13 +08:00
    lyt001
        1
    lyt001  
       7 天前
    单机的情况下 ck 算是最好的选择之一了吧,目前用 ck 有什么问题?
    annoygaga
        2
    annoygaga  
    OP
       7 天前
    @lyt001 其实就是每时每刻都会有不少 mem 和 cpu 消耗,以及维护成本,希望尽可能省事。毕竟不是大场景,吃了太多人力也不好
    lyt001
        3
    lyt001  
       7 天前
    追求更加轻量化的话据我所知 duckdb 可能可以满足你的要求
    annoygaga
        4
    annoygaga  
    OP
       7 天前
    @lyt001 duckdb 是进程内的,我希望可以单独一个服务,而且可以维护磁盘数据
    opengps
        5
    opengps  
       7 天前
    这种需要动态扫描的计算类脚本,cpu 和内存消耗免不了,通过选型能解决的问题并不多
    liprais
        6
    liprais  
       7 天前
    复杂的 sql 你用 clickhouse ?
    用 pg 完事
    spritecn
        7
    spritecn  
       7 天前
    ck 一个查询 CPU 跑满重启都不行,日志场景可以考虑 openobserve
    8355
        8
    8355  
       7 天前
    个人理解 clickhouse 应该单机最好
    云厂商一般是 1:4 你升成 4c 16G 试下看看

    我们目前买阿里云 8c 32g 也是单机最低配 单表在算超过 110 亿聚合
    annoygaga
        9
    annoygaga  
    OP
       7 天前
    @opengps 是的,所以希望看看方案
    annoygaga
        10
    annoygaga  
    OP
       7 天前
    @liprais 分析的需求,pg 这种点查比较擅长把
    annoygaga
        11
    annoygaga  
    OP
       7 天前
    @8355 2c 8G 可以考虑,4C 太贵了,这需求也不是很值钱
    jimyag
        12
    jimyag  
       7 天前
    duckdb 可以通过 EXPORT DATABASE 把数据导出,也可以通过 import 导入。

    duckdb 也有很多语言的驱动,用代码也能管理

    https://duckdb.org/docs/sql/statements/export
    https://duckdb.org/docs/clients/overview
    annoygaga
        13
    annoygaga  
    OP
       6 天前
    @jimyag 还是希望一个类似 clickhouse 的单独服务的东西
    zzmark06
        14
    zzmark06  
       3 天前
    那你就 clickhouse 呗,4c32g 能跑很多东西了。
    小内存建议缩缩参数,参考 altinty 的手册

    https://kb.altinity.com/altinity-kb-setup-and-maintenance/configure_clickhouse_for_low_mem_envs/
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1051 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 19:02 · PVG 03:02 · LAX 11:02 · JFK 14:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.