朴素贝叶斯分类，如何改进才能处理高维的数据，如200维，1000维？
2012-01-19 20:00:55   来源：   点击：

3 个答案

• 答案 1：

  谢谢你的邀请。你的问题我没有完全看懂，我是这样去理解你的问题的：用朴素贝叶斯方法如何对高维数据进行分类。朴素贝叶斯分类器本身并不能降维，它是一个分类器。你提供的数据应该在进行分类之前就已经做好了特征降维，特征降维的方法很多，你可以依据你的具体问题来选择合适的降维方法。朴素贝叶斯要求各特征之间条件统计独立，所以对高维数据降维后必须保证各特征之间的独立性，这可以采用一组具有正交基特征的降维方法，如PCA。以两分类为例，朴素贝叶斯分类器实际执行的一个线性判别函数，它是根据待判断向量分属于各个类别概率比值推演过来的，所以要做到概率为0理论上就不成立。另外，采用朴素贝叶斯分类需要知道各类别的先验概率、各特征的类条件概率，所以实际操作起来基本上不可能，它更多的是一种理论指导。可能并没有完全解决你的问题，希望有人完善，谢谢……

• 答案 2：

  实际上，维度高并不表示效果会差。原因可能是：一，对于机器学习而言，泛化性能收到样本数量和代表性的影响，如果特征维度高，则训练样本的数量必须比较大，关于样本数量和维度有个VC维的理论约束。二，对于朴素贝叶斯而言，需要假设各维度相互独立，维度高的一个可能问题就是维度之间的独立性会变差，造成朴素贝叶斯的假设不成立，从而效果不好；解决的办法：一，从特征定义的物理意义出发，重新定义，减少特征之间的相关性；二，按照骆威所提到的，降维并进行特征挑选，但需要注意保持独立性。三，增加具有代表性的训练样本。

• 答案 3：

  不大懂，没学过模式识别