呆板学习周志华学习条记-第13章＜半监视学习＞

呆板学习周志华学习条记-第13章＜半监视学习＞


13半监视学习

前面我们不绝围绕的都是监视学习与无监视学习，监视学习指的是训练样本包罗标记信息的学习使命，比方：常见的分类与回归算法；无监视学习则是训练样本不包罗标记信息的学习使命，比方：聚类算法。
在现实生存中，常常会出现一部分样本有标记和较多样本无标记的情况，比方：做网页保举时须要让用户标记出感爱好的网页，但是少有效户乐意花时间来提供标记。若直接抛弃掉无标记样本集，利用传统的监视学习方法，常常会由于训练样本的不富足，使得其刻画总体分布的本事削弱，从而影响了学习器泛化性能。那怎样利用未标记的样本数据呢？
一种简单的做法是通过专家知识对这些未标记的样本举行打标，但随之而来的就是巨大的人力泯灭。若我们先利用有标记的样本数据集训练出一个学习器，再基于该学习器对未标记的样本举行推测，从中挑选出不确定性高或分类置信度低的样原来咨询专家并举行打标，末了利用扩充后的训练集重新训练学习器，如许便能大幅度低沉标记本钱，这便是主动学习(active learning)，其目标是利用只管少的/有代价的咨询来得到更好的性能。
显然，主动学习须要与外界举行交互/查询/打标，其本质上仍旧属于一种监视学习。毕竟上，无标记样本虽未包罗标记信息，但它们与有标记样本一样都是从总体中独立同分布采样得到，因此它们所包罗的数据分布信息对学习器的训练大有裨益。怎样让学习过程不依赖外界的咨询交互，主动利用未标记样本所包罗的分布信息的方法便是半监视学习(semi-supervised learning)，即训练集同时包罗有标记样本数据和未标记样本数据。
别的，半监视学习还可以进一步分别为纯半监视学习和直推学习，两者的区别在于：前者假定训练数据会集的未标记数据并非待推测数据，而后者假定学习过程中的未标记数据就是待推测数据。主动学习、纯半监视学习以及直推学习三者的概念如下图所示：

13.1 天生式方法

天生式方法(generative methods)是基于天生式模子的方法，即先对团结分布P(x,c)建模，从而进一步求解 P(c | x)，此类方法假定样本数据服从一个匿伏的分布，因此须要充实可靠的先验知识。比方：前面已经打仗到的贝叶斯分类器与高斯肴杂聚类，都属于天生式模子。现假定总体是一个高斯肴杂分布，即由多个高斯分布组合形成，从而一个子高斯分布就代表一个类簇(种别)。高斯肴杂分布的概率密度函数如下所示：

不失一样寻常性，假设类簇与真实的种别按照序次逐一对应，即第i个类簇对应第i个高斯肴杂因素。与高斯肴杂聚类类似地，这里的重要使命也是估计出各个高斯肴杂因素的参数以及肴杂系数，差别的是：对于有标记样本，不再是大概属于每一个类簇，而是只能属于真实类标对应的特定类簇。

直观上来看，基于半监视的高斯肴杂模子有机地整合了贝叶斯分类器与高斯肴杂聚类的核心头脑，有效地利用了未标记样本数据隐含的分布信息，从而使得参数的估计更加精确。同样地， 用EM举行求解，起首对各个高斯肴杂因素的参数及肴杂系数举行随机初始化，盘算出各个PM(即γji，第i个样本属于j类，有标记样本则直接属于特定类)，再最大化似然函数(即LL(D)分别对α、u和∑求偏导 )，对参数举行迭代更新。

当参数迭代更新收敛后，对于待推测样本x，便可以像贝叶斯分类器那样盘算出样本属于每个类簇的后验概率，接着找出概率最大的即可。
可以看出：基于天生式模子的方法非常依赖于对匿伏数据分布的假设，即假设的分布要能和真实分布相符合，否则利用未标记的样本数据反倒会在错误的门路上渐行渐远，从而低沉学习器的泛化性能。
13.2 半监视SVM

监视学习中的SVM(Semi-Supervised Support Vector Machine)试图找到一个分别超平面，使得两侧支持向量之间的隔断最大，即“最大分别隔断”头脑。对于半监视学习，SVM则思量超平面需穿过数据低密度的地域。TSVM是半监视支持向量机中的最闻名代表，其核心头脑是：实验为未标记样本找到符合的标记指派，使得超平面分别后的隔断最大化。

TSVM(Transductive SVM)接纳局部搜索的战略来举行迭代求解，即起首利用有标记样本集训练出一个初始SVM，接着利用该学习器对未标记样本举行打标，如许全部样本都有了标记，并基于这些有标记的样本重新训练SVM，之后再探求易堕落样本不绝调解。整个算法流程如下所示：

13.3 基于分歧的方法

基于分歧的方法通过多个学习器之间的分歧(disagreement)/多样性(diversity)来利用未标记样本数据，协同训练就是此中的一种经典方法。协同训练最初是针对于多视图(multi-view)数据而计划的，多视图数据指的是样本对象具有多个属性集，每个属性集则对应一个试图。比方：影戏数据中就包罗画面类属性和声音类属性，如许画面类属性的聚集就对应着一个视图。起首引入两个关于视图的告急性子：

• 相容性：纵然用单个视图数据训练出的学习器的输出空间是划一的。比方都是{好，坏}、{+1,-1}等。
  
• 互补性：即差别视图所提供的信息是互补/相辅相成的，实质上这里体现的就是集成学习的头脑。
  

协同训练正是很好地利用了多视图数据的“相容互补性”，其根本的头脑是：起首基于有标记样本数据在每个视图上都训练一个初始分类器，然后让每个分类器去挑选分类置信度最高的样本并赋予标记，并将带有伪标记的样本数据传给另一个分类器去学习，从而共同进步。

13.4 半监视聚类

前面提到的几种方法都是借助无标记样本数据来辅助监视学习的训练过程，从而使得学习更加充实/泛化性能得到提拔；半监视聚类则是借助已有的监视信息来辅助聚类的过程。一样寻常而言，监视信息大抵有两种范例：

• 必连与勿连束缚：必连指的是两个样本必须在同一个类簇，勿连则是必不在同一个类簇。
  
• 标记信息：少量的样本带有真实的标记。
  

下面重要先容两种基于半监视的K-Means聚类算法：第一种是数据集包罗一些必连与勿连关系，别的一种则是包罗少量带有标记的样本。
两种算法的根本头脑都非常的简单：对于带有束缚关系的k-均值算法，在迭代过程中对每个样本分别类簇时，须要检测当前分别是否满意束缚关系，若不满意则会将该样本分别到间隔次小对应的类簇中，再继承检测是否满意束缚关系，直到完玉成部样本的分别。算法流程如下图所示：

对于带有少量标记样本的k-均值算法，则可以利用这些有标记样本举行类中心的指定，同时在对样本举行分别时，不须要改变这些有标记样本的簇从属关系，直接将其分别到对应类簇即可。算法流程如下所示：

总结：
起首从怎样利用未标记样本所蕴含的分布信息出发，引入了半监视学习的根本概念，即训练数据同时包罗有标记样本和未标记样本的学习方法；接着分别先容了几种常见的半监视学习方法：天生式方法基于对数据分布的假设，利用未标记样本隐含的分布信息，使得对模子参数的估计更加精确；TSVM给未标记样本赋予伪标记，并通过不绝调解易堕落样本的标记得到终极输出；基于分歧的方法联合了集成学习的头脑，通过多个学习器在差别视图上的协作，有效利用了未标记样本数据 ；末了半监视聚类则是借助已有的监视信息来辅助聚类的过程，带束缚k-均值算法需检测当前样本分别是否满意束缚关系，带标记k-均值算法则利用有标记样本指定初始类中心。