V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
? MySQL 5.5 Community Server
? MySQL 5.6 Community Server
? Percona Configuration Wizard
? XtraBackup 搭建主从复制
Great Sites on MySQL
? Percona
? MySQL Performance Blog
? Severalnines
推荐管理工具
? Sequel Pro
? phpMyAdmin
推荐书目
? MySQL Cookbook
MySQL 相关项目
? MariaDB
? Drizzle
参考文档
? http://mysql-python.sourceforge.net/MySQLdb.html
gancl
V2EX  ?  MySQL

有没有把 oss 当数据库用的?

  •  
  •   gancl · 2021-09-03 09:44:15 +08:00 · 4380 次点击
    这是一个创建于 969 天前的主题,其中的信息可能已经有所发展或是发生改变。

    腾讯云最新优惠活动来了:云产品限时1折,云服务器低至88元/年 ,点击这里立即抢购:9i0i.cn/qcloud,更有2860元代金券免费领取,付款直接抵现金用,点击这里立即领取:9i0i.cn/qcloudquan

    (福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun

    为了将来节省 mysql 压力,现将部分表移到 oss 上,并做 redis 缓存处理, 这会不会有什么问题? 个人觉得有缓存了, 将来数据量大了放 mysql 也不会有压力,但有什么理由拒绝这种建议呢?

    23 条回复  ?  2021-09-03 21:17:43 +08:00
    myd
        1
    myd  
       2021-09-03 09:48:58 +08:00
    OSS 好像不支持随机写吧
    DollarKiller
        2
    DollarKiller  
       2021-09-03 09:51:51 +08:00   ?? 1
    juicefs 挂载一个硬盘
    Mithril
        3
    Mithril  
       2021-09-03 09:53:18 +08:00
    做过,没什么问题。文件存 OSS,属性挂 metadata 。非常轻量的读写问题不大。
    适合以文件操作为主要流程的场景。
    JingKeWu
        4
    JingKeWu  
       2021-09-03 09:58:36 +08:00
    什么神仙操作
    cheng6563
        5
    cheng6563  
       2021-09-03 10:00:54 +08:00
    除非你 100%缓存,否则没缓存的那点数据就能要你老命
    securityCoding
        6
    securityCoding  
       2021-09-03 10:06:30 +08:00 via Android
    连野路子都算不上
    lscexpress
        7
    lscexpress  
       2021-09-03 10:10:26 +08:00
    请用 oss 来做一次事务让我瞧瞧
    rogwan
        8
    rogwan  
       2021-09-03 10:25:50 +08:00 via Android
    对象存储要计算请求次数费用的,确定 MYSQL 是低频数据 IO
    xsm1890
        9
    xsm1890  
       2021-09-03 10:32:14 +08:00
    写到 oss 不就是一个文件了。最最开始的时候,数据就是写到磁盘上的,为了方便管理搞了一个数据管理系统,也就是最原始的数据库了,然后这个系统慢慢发展才有了现在的数据库的各种功能。这么一搞直接回到了解放前???
    wellsc
        10
    wellsc  
       2021-09-03 10:32:34 +08:00
    看需求,如果你只是给个人博客用用的话完全可以,毕竟日活大概率不到 10,以前还有人把 github repo 当 kv store 用呢
    liprais
        11
    liprais  
       2021-09-03 10:59:11 +08:00
    自己搞个 snowflake
    zhangxudong
        12
    zhangxudong  
       2021-09-03 11:28:11 +08:00
    有,然后因为请求量过大,被阿里云警告了
    BBCCBB
        13
    BBCCBB  
       2021-09-03 11:32:43 +08:00   ?? 1
    你该看看 table storage, 而不是 oss..
    Exdui
        14
    Exdui  
       2021-09-03 11:39:00 +08:00
    试过,高频读 低频写的数据放在 oss,走内网请求数据
    这种算是野路子,主要看你是用在什么场景的
    koolob
        15
    koolob  
       2021-09-03 11:41:13 +08:00
    我这边把 oss 当作一种可批量覆盖数据的只读数据库来用的。
    文件形式组织好,然后数据湖建立外表。读取就跟 mysql 一样。而更新数据时,就批量把文件替换就行。
    适合大数据原始数据处理。
    ClutchBear
        16
    ClutchBear  
       2021-09-03 11:41:25 +08:00
    同楼上,
    用阿里云的表格存储呗,
    价格也不贵.
    我测试过, 通过主键读 10000 条数据, 大概 35 秒.
    gancl
        17
    gancl  
    OP
       2021-09-03 11:46:14 +08:00
    @Exdui 暂时先用在自定义字段上, saas 系统不是要设置很多自定义字段给各种行业自己用, 有自定义模板、自定义字段类型、自定义字典列表、关联各业务的中间关联表等
    yrj
        18
    yrj  
       2021-09-03 13:43:46 +08:00 via iPad   ?? 1
    你确定内存比硬盘更便宜?这不就是钱包负优化嘛
    THESDZ
        19
    THESDZ  
       2021-09-03 15:14:06 +08:00
    见过用 cdn 的,商品 sku 这种.
    joesonw
        20
    joesonw  
       2021-09-03 15:31:48 +08:00
    https://github.com/phiresky/sql.js-httpvfs 这个就是, 不过是只读的.
    tojike
        21
    tojike  
       2021-09-03 19:57:22 +08:00   ?? 2
    如果是流水表的话完全可以,我们几十亿的流水记录表,跑存储脚本跑了 1 个多月,路径 "uid+date(Ymd).json" 存储到 oss,前端那边只有当天的数据才会查询接口,之前的数据全部先从 oss 里面取,拿不到再拿接口那边的数据。减轻了服务器很多压力
    whileFalse
        22
    whileFalse  
       2021-09-03 20:32:07 +08:00 via iPhone
    遇上并发写操作那不是废了吗
    whileFalse
        23
    whileFalse  
       2021-09-03 21:17:43 +08:00
    当然 ls 的各种大数据用法是合适的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3297 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 11:41 · PVG 19:41 · LAX 04:41 · JFK 07:41
    Developed with CodeLauncher
    ? Do have faith in what you're doing.


    http://www.vxiaotou.com