1000 万中文数据去匹配 4000 个关键字的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 805 天前的主题，其中的信息可能已经有所发展或是发生改变。

如果 1000 万里的一条数据命中任意一个关键字则触发一段逻辑

要求性能跟效率足够好，大家有什么经验之谈吗？

3 条回复 ? 2022-02-19 04:12:06 +08:00

flysp

2022-02-18 21:48:30 +08:00

敏感词屏蔽的方案就够了，4000 个关键字建立一棵搜索树；再用数据去搜索就?

hannibalm

2022-02-18 21:52:03 +08:00 via Android

数据量不大，4000 关键字做 set ，循环读 1000 万去 set 查找

ooh

2022-02-19 04:12:06 +08:00

分词字典树