V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
damngoto
V2EX  ?  Serverless

几百万条更新频率很低的数据用什么低(零)成本的存储方便查询?

  •  
  •   damngoto · 2022-07-26 10:19:42 +08:00 · 2361 次点击
    这是一个创建于 651 天前的主题,其中的信息可能已经有所发展或是发生改变。

    腾讯云最新优惠活动来了:云产品限时1折,云服务器低至88元/年 ,点击这里立即抢购:9i0i.cn/qcloud,更有2860元代金券免费领取,付款直接抵现金用,点击这里立即领取:9i0i.cn/qcloudquan

    (福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun

    放到数据库虽然查询快,但是成本对我来说高了:)

    放到 csv 里面费内存,serverless 服务的还不太好调用。

    Apache 有个 parquet 格式,不知道这个量级查询速度怎么样。

    9 条回复  ?  2022-07-26 19:05:39 +08:00
    pota
        1
    pota  
       2022-07-26 10:31:25 +08:00
    数据少的话放到 cloudflare workers kv 里面?
    gfreezy
        2
    gfreezy  
       2022-07-26 10:40:05 +08:00   ?? 1
    sqlite 可以吗
    EchoUtopia
        3
    EchoUtopia  
       2022-07-26 11:15:02 +08:00
    之前看过一个很强很便宜方案:用 sqlite 存储分片数据,把 sqlite 数据库文件存储到对象存储里面去(非常便宜),然后使用 serverless 去查询分片数据,最后再聚合一次
    damngoto
        4
    damngoto  
    OP
       2022-07-26 11:29:03 +08:00
    @pota workers kv 支持多少数据
    pota
        5
    pota  
       2022-07-26 11:31:29 +08:00   ?? 1
    @damngoto #4 空间 1GB
    damngoto
        6
    damngoto  
    OP
       2022-07-26 11:34:14 +08:00
    @EchoUtopia 嗯,我想到的也是类似。主要担心查询速度和同时服务用户数,?
    damngoto
        7
    damngoto  
    OP
       2022-07-26 11:34:46 +08:00
    @pota 哇,那应该够了。我去了解下。
    gesse
        8
    gesse  
       2022-07-26 12:37:31 +08:00
    @EchoUtopia
    有地址可以看吗?
    EchoUtopia
        9
    EchoUtopia  
       2022-07-26 19:05:39 +08:00
    @gesse
    @damngoto
    忘了,好像聚合是利用 postgres 聚合的,性能非常好,关键价格便宜。并发就不知道了。当时是在 twitter 刷到的,好像是发布在 hackernews 上的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1022 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 79ms · UTC 20:35 · PVG 04:35 · LAX 13:35 · JFK 16:35
    Developed with CodeLauncher
    ? Do have faith in what you're doing.


    http://www.vxiaotou.com