Random subspace method(RSM)又叫attribute bagging 或者 feature bagging,是集成学习的一种。随机子空间通过使用随机的部分特征而不是所有的特征来训练每个分类器,来降低每个分类器之间的相关性。
它类似bagging, bagging是随机使用部分训练数据,而Random subspace method是随机使用部分特征。因此,在非正式的情况下,随机子空间会导致个别学习器不会过度关注在训练集中表现出高度预测性/描述性的特征,但无法对训练集中以外的点进行预测。因此,对于特征数目远大于训练点数的问题,随机子空间是一个很有吸引力的选择,例如核磁共振、基因组序列、CSI(信道状态信息)。实际上,随机森林就是一个使用了RSM和bagging的decision tree。同样的,RSM也可以用在SVM等其他分类器上。在训练出每个分类器之后进行预测,得到每个分类器对应的结果。根据多数投票或结合先验概率的方法获得最终结果。

随机子空间方法与普通的 bagging相结合时,得到的模型被称为随机森林,随机子空间也被应用于线性分类器,支持向量机,最近邻和其他类型的分类器。该方法同样适用于一类分类器。随机子空间方法可用于投资组合选择,显示了它在本质上优于传统的基于Bagging的重采样投资组合。

另外,如果你的英语不错,而且还有谷歌,可以看下面这个视频: Combining Bagging and Random Subspaces to Create Better Ensembles

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐