首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
?
开源软件
分布式服务器的框架下,自动分配多台服务器分别完成执行一批任务,并考虑高可用与失败换服务器再执行,类似设计如何最优雅
matepi
·
331 天前
· 846 次点击
这是一个创建于 331 天前的主题,其中的信息可能已经有所发展或是发生改变。
各种的做法,好多好多;然后公司里面自己也发明了好多
1 、用 Quartz 集群模式;但缺点是数据库得加一堆表
2 、redis 加锁并超时;可以处理超时情况,但得设施 /技术栈上就得额外引入 redis
3 、数据库建立任务表,任务记录加锁;但得自己处理超时中断、任务换手到其他服务器执行等等策略
4 、zookeeper 取锁;类似于 redis
5 、数据库建立专表,直接锁表取锁;类似于任务表,但执行粒度更粗
等等等等,为啥这种基本大家都会有的需求,没有业界事实标准性的统一轮子呢…
Redis
任务
数据库
超时
2 条回复
?
2023-06-16 14:58:46 +08:00
1
Aumujun
331 天前
hadoop 那一套
2
matepi
OP
330 天前
@
Aumujun
hadoop 那套是指 mr 找 datanode 那一套?但很多的场景其实也不是这么复杂的大数据处理场景。只是类似需要一个分布式系统里面,找个节点去执行个和第三方 api 做个连接,取一些业务参数更新到本地数据库之类的事情。很简单的任务,但要保证高可用和超时失败重做等要求。
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2782 人在线
最高记录 6543
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms ·
UTC 03:15
·
PVG 11:15
·
LAX 20:15
·
JFK 23:15
Developed with
CodeLauncher
? Do have faith in what you're doing.
http://www.vxiaotou.com