如题。工作有需要结合多模型效果来提点，但是不会搞。
以前有印象听说过 Kaggle 榜单前几名一般都是做好几个模型然后共通决策来刷分的，具体是如何操作的呢？
我刚才搜了搜特征融合这个关键字，不过感觉内容不太对得上，感觉特征融合这个领域考虑得比较多的是如何将一个单独模型内部不同层级的特征融合起来（而且找了几个项目代码看，好像最后说到底融合也就是直接加）
目前一个想法是，ABC 模型，提取特征后各自得到 A1B1C1 三个矩阵，然后直接把矩阵 concat ，再加位置编码，然后加注意力，然后 FC 这样？是不是太简单了
 |
1
emonber 96 天前
可以了解下 model ensemble
|
 |
2
bybyte 96 天前
集成学习了解一下
|
 |
3
dayeye2006199 96 天前 via Android
最简单的就是单独做三个模型。然后三个模型多数投票，两个以上判 positive 就 positive
Stacking 啥的业界基本用不到 |
 |
4
LeeReamond OP |
|
5
dayeye2006199 96 天前 via Android
@LeeReamond 简单点就是取平均。复杂点可以加权平均
|
|
6
LeeReamond OP @dayeye2006199 就没有点深度学习的方法吗。。Kaggle 不是很熟，高分源码能不能公开查看的？
|
 |
7
opeth 95 天前
Kaggle 算是机器学习打榜网站吧，深度学习只是其中一部分
这些比赛一般用的是 checkpoint ensemble 你最后说的那种想法，属于特征融合，要学习参数的，本质上相当于加大了网络容量，而且如果 ABC 模型的特征 domain 差距大的话，其实很难融合 |
|
8
dayeye2006199 95 天前 via Android
@opeth 参考 moe 搞法
|
Select Language