V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chenxiansheng
V2EX  ›  数据库

请教下 V2 的大神们

  •  
  •   chenxiansheng · 13 天前 · 846 次点击
    请教下 V2 的大神们,如何在一台 32g 核显的设备商每秒钟写入 1000 万数据点,并且每隔一秒写一次,我这边使用的时序数据库,但是使用高并发写入最多也是 1s40 万数据点,有做过这方面的大佬吗,提供下想法也行.....
    2 条回复    2025-02-18 10:37:03 +08:00
    zzmark06
        1
    zzmark06  
       3 天前
    只说 1000w 数据点,还得考虑这 1000w 条是什么格式。
    json? kv? 还是什么
    写入是流写还是批写
    写入时效性要求是多少。
    机器内存 32g ,网卡呢,1000w 行数据若是大点,千兆网卡必爆的。
    chenxiansheng
        2
    chenxiansheng  
    OP
       2 天前
    谢谢回复,后面已经解决了,方案是使用时序数据库提供的多表插入拼接语句,一条 sql 可以插入大概 1m 的数据,这样差不多一次就可以插入大几十张表了,然后分多个线程去插入,效果可以达到,注意管理面数据库连接池的问题就行
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1037 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 19:06 · PVG 03:06 · LAX 11:06 · JFK 14:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.