V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
1qaz2wsx
V2EX  ?  程序员

如果是你造消息中间件的轮子,你会考虑哪些方面?

  •  1
     
  •   1qaz2wsx · 2020-10-27 23:11:20 +08:00 · 2515 次点击
    这是一个创建于 1267 天前的主题,其中的信息可能已经有所发展或是发生改变。

    腾讯云最新优惠活动来了:云产品限时1折,云服务器低至88元/年 ,点击这里立即抢购:9i0i.cn/qcloud,更有2860元代金券免费领取,付款直接抵现金用,点击这里立即领取:9i0i.cn/qcloudquan

    (福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun

    如果是你造消息中间件的轮子,你会考虑哪些方面? 通信?消息存储?高可用?。。。大家一起讨论讨论呢

    18 条回复  ?  2020-10-28 19:28:58 +08:00
    hq
        1
    hq  
       2020-10-28 04:31:19 +08:00
    如果是 Kafka/RocketMQ 这种,我希望支持无限 topic
    1qaz2wsx
        2
    1qaz2wsx  
    OP
       2020-10-28 07:57:56 +08:00 via iPhone
    @hq 嗯嗯,这个确实也是个问题
    amwyyyy
        3
    amwyyyy  
       2020-10-28 08:15:38 +08:00 via iPhone
    增减 broker 节点不影响生产消费。
    yuqiangabab
        4
    yuqiangabab  
       2020-10-28 09:07:53 +08:00
    怎么做才能 star 破千 然简历加分
    hun2008hun
        5
    hun2008hun  
       2020-10-28 10:04:46 +08:00
    topic 数量很多的可以看下 pulsar,理论上支撑百万级的 Topic
    1qaz2wsx
        6
    1qaz2wsx  
    OP
       2020-10-28 10:11:16 +08:00 via iPhone
    @yuqiangabab ?别瞎想了
    1qaz2wsx
        7
    1qaz2wsx  
    OP
       2020-10-28 10:12:21 +08:00 via iPhone
    @hun2008hun 嗯嗯,去看看,开源的吗
    xuanbg
        8
    xuanbg  
       2020-10-28 10:20:09 +08:00
    使用要简单,消息处理要智能。
    wysnylc
        9
    wysnylc  
       2020-10-28 10:23:24 +08:00
    先考虑通用和兼容,再考虑性能和所谓的优雅
    hun2008hun
        10
    hun2008hun  
       2020-10-28 10:34:48 +08:00
    @1qaz2wsx 是的,Apache Pulsar
    blackboom
        11
    blackboom  
       2020-10-28 10:41:52 +08:00
    简单,简单,还是简单
    stephenxiaxy
        12
    stephenxiaxy  
       2020-10-28 10:45:05 +08:00
    开箱即用,性能
    1qaz2wsx
        13
    1qaz2wsx  
    OP
       2020-10-28 12:34:04 +08:00 via iPhone
    @xuanbg 要智能是什么意思?
    1qaz2wsx
        14
    1qaz2wsx  
    OP
       2020-10-28 12:34:34 +08:00 via iPhone
    @wysnylc 嗯嗯,总而言之先能跑起来
    1qaz2wsx
        15
    1qaz2wsx  
    OP
       2020-10-28 12:34:56 +08:00 via iPhone
    @hun2008hun 可以的,研究研究
    arloor
        16
    arloor  
       2020-10-28 12:59:05 +08:00
    楼主说的通信,消息存储,高可用都是很大的问题——所以抛出这些问题没啥意义

    我提几个:

    1. 采用“生产-消费”( rabbitMQ )还是“发布-订阅”( kafka )模式——或者说,要不要像 rabbtimq 那样有一个 Exchange 来做消息路由
    2. 分片怎么做:以达成更高的性能
    3. 拷贝怎么做:以达到高可用性,——扩展开来 failover 怎么做
    4. 不丢数据,不重复消费怎么保证?(等待 ack 的策略)

    不知道要考虑什么,说明对现在成熟的几个消息中间件都缺乏认知。

    引用不知道哪里看到的一句话:一致性都够你吃喝一壶的。

    当然,如果是自己玩,完全可以搞,从 0 到 1 的过程对能力提升还是好的。一开始也不要考虑周全,第一步是从 0 到 0.1,后面慢慢的才能趋于 1 。
    DoctorCat
        17
    DoctorCat  
       2020-10-28 15:07:50 +08:00
    希望支持 AMQP 协议。这样才有机会称得上“工业级”
    1qaz2wsx
        18
    1qaz2wsx  
    OP
       2020-10-28 19:28:58 +08:00 via iPhone
    @arloor 嗯嗯,确实有很多点需要思考
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1011 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 20:05 · PVG 04:05 · LAX 13:05 · JFK 16:05
    Developed with CodeLauncher
    ? Do have faith in what you're doing.


    http://www.vxiaotou.com