机器学习之特征提取 VS 特征选择

1. 特征提取 V.S 特征选择
特征提取和特征选择是DimensionalityReduction（降维）的两种方法，针对于the curse of dimensionality(维灾难)，都可以达到降维的目的。但是这两个有所不同。
特征提取（Feature Extraction）:Creatting a subset of new features by combinations of the exsiting features.也就是说，特征抽取后的新特征是原来特征的一个映射。
特征选择（Feature Selection）:choosing a subset of all the features(the ones more informative) 。也就是说，特征选择后的特征是原来特征的一个子集。

文章插图
【机器学习之特征提取 VS 特征选择】 2. PCA V.S LDA
主成分分析(Principle Components Analysis ,PCA)和线性评判分析（Linear Discriminant Analysis,LDA）是特征提取的两种主要经典方法。
对于特征提取，有两种类别：
（1）Signal representation(信号表示): The goal of the feature extraction mapping is to represent the samples accurately in a low-dimensional space. 也就是说，特征抽取后的特征要能够精确地表示样本信息，使得信息丢失很小。对应的方法是PCA.
（2）Signal classification（信号分类): The goal of the feature extraction mapping is toenhance the class-discriminatory information in a low-dimensional space. 也就是说，特征抽取后的特征，要使得分类后的准确率很高，不能比原来特征进行分类的准确率低。对与线性来说，对应的方法是LDA . 非线性这里暂时不考虑。
可见，PCA和LDA两种方法的目标不一样，因此导致他们的方法也不一样。PCA得到的投影空间是协方差矩阵的特征向量，而LDA则是通过求得一个变换W,使得变换之后的新均值之差最大、方差最大（也就是最大化类间距离和最小化类内距离），变换W就是特征的投影方向。

机器学习之特征提取 VS 特征选择

推荐阅读

花卷热量高还是馒头热量高

洛阳申领增驾考试恢复了吗？洛阳驾驶员考试恢复考试了吗?

毛鸡蛋是什么样子的图片毛鸡蛋是什么

怎样看游泳教练是否专业

徐州一中紫金校区在哪个街道

齐桓公管仲鲍叔牙人物特点齐桓公管仲鲍叔性格特点

大宅院的女人电视剧结局

先瑜伽还是先无氧

这六类孕妇不能随意运动

成都西站有便利店吗

爱神菲在韩国是什么档次

半身裙腰围大改小妙招不缝半身裙腰围大改小妙招

急性胃出血症状有哪些

小货车上加重胎还是防滑胎

商品混凝土最少能叫几方

汉堡可以隔夜吃吗 kfc汉堡可以隔夜吃吗

背部皮肤瘙痒的原因有哪些

脉管炎注意事项有哪些？

96GB能录屏多长时间

安慕希是哪个厂家的品牌