模式辨认-Ch2-高斯下鉴别函数

高斯密度下的鉴别函数

高斯分布

• 在给定均值和方差的全部分布中，正态分布的熵最大
  
• 根据Central Limit Theorem(中心极限定理)，大量独立随机变量之和趋近正态分布
  
• 现原形况中，很多种别的特性分布趋近正态分布
  

多元正态分布：x=[x1,x2,…,xd]T∈Rd, μ=[μ1,μ2,…,μd]T∈Rd\mathbf{x} = [x_1, x_2, \ldots, x_d]^T \in \mathbb{R}^d,\ \boldsymbol{\mu} = [\mu_1, \mu_2, \ldots, \mu_d]^T \in \mathbb{R}^dx=[x1​,x2​,…,xd​]T∈Rd, μ=[μ1​,μ2​,…,μd​]T∈Rd
Σ∈Rd×d\boldsymbol{\Sigma} \in \mathbb{R}^{d\times d}Σ∈Rd×d:
σij2=E{(xi−μi)(xj−μj)}=∫−∞+∞∫−∞+∞(xi−μi)(xj−μj)p(xi,xj)dxidxj\sigma_{ij}^2 = E\{(x_{i} - \mu_{i})(x_{j} - \mu_{j})\} = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} (x_{i} - \mu_{i})(x_{j} - \mu_{j}) p(x_{i}, x_{j}) dx_{i} dx_{j}σij2​=E{(xi​−μi​)(xj​−μj​)}=∫−∞+∞​∫−∞+∞​(xi​−μi​)(xj​−μj​)p(xi​,xj​)dxi​dxj​
边际分布密度函数：
p(xi)=∫−∞+∞⋯∫−∞+∞p(x)dx1dx2⋯dxi−1dxi+1⋯dxdp(x_i) = \int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} p(\mathbf{x}) dx_1 dx_2 \cdots dx_{i - 1} dx_{i + 1} \cdots dx_dp(xi​)=∫−∞+∞​⋯∫−∞+∞​p(x)dx1​dx2​⋯dxi−1​dxi+1​⋯dxd​
单变量正态分布多元正态分布x∼N(μ,σ2)x \sim N(\mu, \sigma^2)x∼N(μ,σ2)x∼Np(μ,Σ)\mathbf{x} \sim N_p(\boldsymbol{\mu}, \boldsymbol{\Sigma})x∼Np​(μ,Σ)密度函数$p(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp \left( - \frac{1}{2} \left( \frac{x - \mu}{\sigma} \right)^2 \right) $$p(\mathbf{x}) = \frac{1}{(2\pi)^{d/2} |\boldsymbol{\Sigma}均值$\mu = E{x} = \int_{-\infty}^{+\infty} x p(x) d\mathbf{x} $μi=E{xi}=∫−∞+∞⋯∫−∞+∞xip(x)dx1dx2⋯dxdμ=E{x}∈Rd\mu_i = E\{x_i\} = \int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} x_i p(\mathbf{x}) d\mathbf{x}_1 d\mathbf{x}_2 \cdots d\mathbf{x}_d\\\boldsymbol{\mu} = E\{\mathbf{x}\} \in \mathbb{R}^dμi​=E{xi​}=∫−∞+∞​⋯∫−∞+∞​xi​p(x)dx1​dx2​⋯dxd​μ=E{x}∈Rd方差$\sigma^2 = \int_{-\infty}^{+\infty} (x - \mu)^2 p(x) d\mathbf{x} $Σ=E{(x−μ)(x−μ)T}=[σ112σ122⋯σ1d2σ122σ222⋯σ2d2⋮⋮⋱⋮σ1d2σ2d2⋯σdd2]\boldsymbol{\Sigma} = E\{(\mathbf{x} - \boldsymbol{\mu})(\mathbf{x} - \boldsymbol{\mu})^T\} = \begin{bmatrix} \sigma_{11}^2 & \sigma_{12}^2 & \cdots & \sigma_{1d}^2 \\ \sigma_{12}^2 & \sigma_{22}^2 & \cdots & \sigma_{2d}^2 \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{1d}^2 & \sigma_{2d}^2 & \cdots & \sigma_{dd}^2 \end{bmatrix}Σ=E{(x−μ)(x−μ)T}=​σ112​σ122​⋮σ1d2​​σ122​σ222​⋮σ2d2​​⋯⋯⋱⋯​σ1d2​σ2d2​⋮σdd2​​​性子$p(x) \geq 0,-\infty < x < +\infty,\\int_{-\infty}^{+\infty} p(x) d\mathbf{x} = 1 $p(xi)=∫−∞+∞⋯∫−∞+∞p(x)dx1dx2⋯dxi−1dxi+1⋯dxdp(x_i) = \int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} p(\mathbf{x}) d\mathbf{x}_1 d\mathbf{x}_2 \cdots d\mathbf{x}_{i - 1} d\mathbf{x}_{i + 1} \cdots d\mathbf{x}_dp(xi​)=∫−∞+∞​⋯∫−∞+∞​p(x)dx1​dx2​⋯dxi−1​dxi+1​⋯dxd​等密度轨迹

等密度轨迹为一超椭球面。从多元正态分布函数可以看出，当其指数项即是常数时，密度p(x)p(\mathbf{x})p(x)的值稳固，因此等函数点即为使如下方程为常数的点，即： $(\mathbf{x} - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu}) = const. $
Mahalanobis隔断（马氏隔断）: r2=(x−μ)TΣ−1(x−μ)r^2=(\mathbf{x}-\mathbf{\mu})^T\Sigma^{-1}(\mathbf{x}-\mathbf{\mu})r2=(x−μ)TΣ−1(x−μ)

性子

• 不干系性=独立性
  
• 边沿分布与条件分布均为正态分布
  
• 多元正态随机变量的线性变动（非奇异）仍为多元正态分布的随机变量
  
• 线性组合的正态性：若x\mathbf{x}x为多元正态随机变量，则线性组合y=aTx\mathbf{y} = \mathbf{a}^T \mathbf{x}y=aTx是一个一维正态随机变量。
  
• 对多元正态分布的协方差矩阵Σ\SigmaΣ可以举行正交分解。
  
  
  
  • Σ=UΛUT\Sigma=U\Lambda U^TΣ=UΛUT
    UUU是Λ\LambdaΛ对应特性值的特性向量构成的矩阵，属于R(Σ)R(\Sigma)R(Σ)值域空间。
    
  
  
• 线性变动 y=ATx, y∼N(ATμ,ATΣA)y=A^T\mathbf{x},\ y\sim N(A^T\mu,A^T\Sigma A)y=ATx, y∼N(ATμ,ATΣA)
  Cov(AX)=ACov(X)AT令Aw=UΛ−1/2,Cov(ATX)=Λ−1/2UΣUΛ−1/2=Λ−1/2ΛΛ−1/2=ICov(AX)=ACov(X)A^T\\令A_w=U\Lambda^{-1/2},Cov(A^TX)=\Lambda^{-1/2}U\Sigma U\Lambda^{-1/2}=\Lambda^{-1/2}\Lambda\Lambda^{-1/2}=ICov(AX)=ACov(X)AT令Aw​=UΛ−1/2,Cov(ATX)=Λ−1/2UΣUΛ−1/2=Λ−1/2ΛΛ−1/2=I
  白化变动：对Σ\SigmaΣ举行归一化变成III.
  

最小错误率贝叶斯决议

对于ccc类标题，假定各类条件概率密度函数为多元正态分布：
p(x∣ωi)∼N(μi,Σi),i=1,2,…,cp(\mathbf{x}|\omega_i) \sim N(\boldsymbol{\mu}_i, \boldsymbol{\Sigma}_i), \quad i = 1,2,\ldots,cp(x∣ωi​)∼N(μi​,Σi​),i=1,2,…,c
鉴别函数(Quadratic discrimin function (QDF))：$(i = 1,2,\ldots,c) $
gi(x)=ln⁡(p(x∣ωi))+ln⁡(P(ωi))=−12(x−μi)TΣi−1(x−μi)−d2ln⁡(2π)−12ln⁡(∣Σi∣)+ln⁡(P(ωi))\begin{align}g_i(\mathbf{x})&=\ln(p(\mathbf{x}|\omega_i))+\ln(P(\omega_i))\\&=-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)-\frac{d}{2}\ln(2\pi)-\frac{1}{2}\ln(|\boldsymbol{\Sigma}_i|)+\ln(P(\omega_i))\end{align}gi​(x)​=ln(p(x∣ωi​))+ln(P(ωi​))=−21​(x−μi​)TΣi−1​(x−μi​)−2d​ln(2π)−21​ln(∣Σi​∣)+ln(P(ωi​))​​
决议面方程 :
gi(x)=gj(x)−12((x−μi)TΣi−1(x−μi)−(x−μj)TΣj−1(x−μj))−12ln⁡(∣Σi∣∣Σj∣)+ln⁡(P(ωi)P(ωj))=0g_i(\mathbf{x})=g_j(\mathbf{x})\\-\frac{1}{2}\left((\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)-(\mathbf{x}-\boldsymbol{\mu}_j)^T\boldsymbol{\Sigma}_j^{-1}(\mathbf{x}-\boldsymbol{\mu}_j)\right)-\frac{1}{2}\ln\left(\frac{|\boldsymbol{\Sigma}_i|}{|\boldsymbol{\Sigma}_j|}\right)+\ln\left(\frac{P(\omega_i)}{P(\omega_j)}\right)=0gi​(x)=gj​(x)−21​((x−μi​)TΣi−1​(x−μi​)−(x−μj​)TΣj−1​(x−μj​))−21​ln(∣Σj​∣∣Σi​∣​)+ln(P(ωj​)P(ωi​)​)=0
第一种情况：Σi=σ2I,i=1,2,…,c\boldsymbol{\Sigma}_i=\sigma^2\mathbf{I}, \quad i = 1,2,\ldots,cΣi​=σ2I,i=1,2,…,c

这表明每个特性向量对应的方差都是独立同分布。
协方差矩阵:
Σi=[σ20⋯00σ2⋯0⋮⋮⋱⋮00⋯σ2],∣Σi∣=σ2d,Σi−1=1σ2I\boldsymbol{\Sigma}_i=\begin{bmatrix} \sigma^2 & 0 & \cdots & 0 \\ 0 & \sigma^2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sigma^2 \end{bmatrix}, \quad |\boldsymbol{\Sigma}_i|=\sigma^{2d}, \quad \boldsymbol{\Sigma}_i^{-1}=\frac{1}{\sigma^2}\mathbf{I} Σi​=​σ20⋮0​0σ2⋮0​⋯⋯⋱⋯​00⋮σ2​​,∣Σi​∣=σ2d,Σi−1​=σ21​I
鉴别函数(Quadratic discrimin function (QDF))：
gi(x)=−12σ2(x−μi)T(x−μi)−d2ln⁡(2π)−12ln⁡(σ2d)+ln⁡(P(wi))=−12σ2(x−μi)T(x−μi)+ln⁡(P(wi))=−12σ2∥x−μi∥22+ln⁡(P(wi))\begin{align}g_i(\mathbf{x})&=-\frac{1}{2\sigma^2}(\mathbf{x}-\boldsymbol{\mu}_i)^T(\mathbf{x}-\boldsymbol{\mu}_i)-\frac{d}{2}\ln(2\pi)-\frac{1}{2}\ln(\sigma^{2d})+\ln(P(w_i))\\&=-\frac{1}{2\sigma^2}(\mathbf{x}-\boldsymbol{\mu}_i)^T(\mathbf{x}-\boldsymbol{\mu}_i)+\ln(P(w_i))\\&=-\frac{1}{2\sigma^2}\|\mathbf{x}-\boldsymbol{\mu}_i\|^2_2+\ln(P(w_i)) \end{align}gi​(x)​=−2σ21​(x−μi​)T(x−μi​)−2d​ln(2π)−21​ln(σ2d)+ln(P(wi​))=−2σ21​(x−μi​)T(x−μi​)+ln(P(wi​))=−2σ21​∥x−μi​∥22​+ln(P(wi​))​​
先验概率相称：P(wi)=P(wj)P(w_i)=P(w_j)P(wi​)=P(wj​)

此时，鉴别函数可进一步简化为：
gi(x)=−12σ2∥x−μi∥22g_i(\mathbf{x})=-\frac{1}{2\sigma^2}\|\mathbf{x}-\boldsymbol{\mu}_i\|^2_2gi​(x)=−2σ21​∥x−μi​∥22​
因此，最小错误率贝叶斯规则相称简朴：
若要对样本x\mathbf{x}x举行分类，只必要盘算x\mathbf{x}x到各类均值向量的欧氏隔断平方，然后将归于隔断最短的一类：
arg⁡min⁡i=1,2,…,c∥x−μi∥2\arg\min_{i = 1,2,\ldots,c}\|\mathbf{x}-\boldsymbol{\mu}_i\|^2 argi=1,2,…,cmin​∥x−μi​∥2
这种分类器称为最小隔断分类器。

先验概率不相称：P(wi)≠P(wj)P(w_i)\neq P(w_j)P(wi​)=P(wj​)

鉴别函数：
gi(x)=−12σ2(x−μi)T(x−μi)+ln⁡(P(wi))=−12σ2(xTx−2μiTx+μiTμi)+ln⁡(P(wi))=1σ2μiTx−12σ2μiTμi+ln⁡(P(wi))=wiTx+wi0\begin{align}g_i(\mathbf{x})&=-\frac{1}{2\sigma^2}(\mathbf{x}-\boldsymbol{\mu}_i)^T(\mathbf{x}-\boldsymbol{\mu}_i)+\ln(P(w_i))\\&=-\frac{1}{2\sigma^2}(\mathbf{x}^T\mathbf{x}-2\boldsymbol{\mu}_i^T\mathbf{x}+\boldsymbol{\mu}_i^T\boldsymbol{\mu}_i)+\ln(P(w_i))\\&=\frac{1}{\sigma^2}\boldsymbol{\mu}_i^T\mathbf{x}-\frac{1}{2\sigma^2}\boldsymbol{\mu}_i^T\boldsymbol{\mu}_i+\ln(P(w_i))\\&= \mathbf{w}_i^T\mathbf{x}+\mathrm w_{i0}\end{align}gi​(x)​=−2σ21​(x−μi​)T(x−μi​)+ln(P(wi​))=−2σ21​(xTx−2μiT​x+μiT​μi​)+ln(P(wi​))=σ21​μiT​x−2σ21​μiT​μi​+ln(P(wi​))=wiT​x+wi0​​​
由于每一类的鉴别函数均包罗xTx\mathbf{x}^T\mathbf{x}xTx，与下标iii无关，因此可以进一步简化为线性鉴别函数,得到鉴别函数gi(x)g_i(\mathbf{x})gi​(x)是x\mathbf{x}x的线性函数。
gi(x)=wiTx+wi0{wi=1σ2μiwi0=ln⁡(P(wi))−12σ2μiTμig_i(x)=\mathbf{w}_i^T\mathbf{x}+\mathrm w_{i0}\\\begin{cases}\mathbf{w}_i&=\frac{1}{\sigma^2}\boldsymbol{\mu}_i\\ \mathrm w_{i0}&=\ln(P(w_i))-\frac{1}{2\sigma^2}\boldsymbol{\mu}_i^T\boldsymbol{\mu}_i\end{cases}gi​(x)=wiT​x+wi0​{wi​wi0​​=σ21​μi​=ln(P(wi​))−2σ21​μiT​μi​​
决议规则： 若gk(x)=max⁡igi(x)g_k(\mathbf{x})=\max_{i}g_i(\mathbf{x})gk​(x)=maxi​gi​(x)，则x∈wk\mathbf{x}\in w_kx∈wk​

• 鉴别函数为线性函数的分类器称为线性分类器。
  
• 线性分类器的决议面方程为：gi(x)−gj(x)=0g_i(\mathbf{x}) - g_j(\mathbf{x})=0gi​(x)−gj​(x)=0所确定的一个超平面。
  gi(x)−gj(x)=0⇒wT(x−x0)=0g_i(\mathbf{x})-g_j(\mathbf{x})=0 \Rightarrow \mathbf{w}^T(\mathbf{x}-\mathbf{x}_0)=0gi​(x)−gj​(x)=0⇒wT(x−x0​)=0
  先验概率相称P(wi)=P(wj)P(w_i)=P(w_j)P(wi​)=P(wj​)先验概率不等P(wi)≠P(wj)P(w_i)\neq P(w_j)P(wi​)=P(wj​)w=μi−μj\mathbf{w}=\boldsymbol{\mu}_i - \boldsymbol{\mu}_jw=μi​−μj​w=μi−μj\mathbf{w}=\boldsymbol{\mu}_i - \boldsymbol{\mu}_jw=μi​−μj​x0=12(μi+μj)\mathbf{x}_0=\frac{1}{2}(\boldsymbol{\mu}_i+\boldsymbol{\mu}_j)x0​=21​(μi​+μj​)KaTeX parse error: {align} can be used only in display mode.
  

先验概率相称：取欧式隔断的中点分别。
先验概率不等：根据sijs_{ij}sij​的巨细会偏斜 先验概率较小的一边。

• P(wi)>(wj),sij>0P(w_i)> P(w_j),s_{ij}>0P(wi​)>(wj​),sij​>0: 会向RjR_jRj​偏.
  
• P(wi)<(wj),sij>0P(w_i)< P(w_j),s_{ij}>0P(wi​)<(wj​),sij​>0: 会向RiR_iRi​偏.
  

第二种情况：Σi=Σ,i=1,2,…,c\boldsymbol{\Sigma}_i=\boldsymbol{\Sigma}, \quad i = 1,2,\ldots,cΣi​=Σ,i=1,2,…,c

各类的协方差矩阵均相称。从多少上看，相称于各类样本会合于以该类均值μi\boldsymbol{\mu}_iμi​为中心但巨细和形状雷同的椭球内。
鉴别函数（Quadratic discriminant function (QDF)）：
gi(x)=ln⁡(p(x∣ωi))+ln⁡(P(ωi))=−12(x−μi)TΣ−1(x−μi)−d2ln⁡(2π)−12ln⁡(∣Σ∣)+ln⁡(P(ωi))=−12(x−μi)TΣ−1(x−μi)+ln⁡(P(ωi))\begin{align}g_i(\mathbf{x})&=\ln(p(\mathbf{x}|\omega_i))+\ln(P(\omega_i))\\&=-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)-\frac{d}{2}\ln(2\pi)-\frac{1}{2}\ln(|\boldsymbol{\Sigma}|)+\ln(P(\omega_i))\\&=-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)+\ln(P(\omega_i))\end{align}gi​(x)​=ln(p(x∣ωi​))+ln(P(ωi​))=−21​(x−μi​)TΣ−1(x−μi​)−2d​ln(2π)−21​ln(∣Σ∣)+ln(P(ωi​))=−21​(x−μi​)TΣ−1(x−μi​)+ln(P(ωi​))​​
先验概率相称：P(wi)=P(wj)P(w_i)=P(w_j)P(wi​)=P(wj​)

鉴别函数：
gi(x)=r2=(x−μi)TΣ−1(x−μi)g_i(\mathbf{x})=r^2 = (\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}_i) gi​(x)=r2=(x−μi​)TΣ−1(x−μi​)
决议规则： 若要对样本x\mathbf{x}x举行分类，只必要盘算x\mathbf{x}x到各类均值向量的马氏隔断平方，然后将归于隔断最短的一类：
arg⁡min⁡i=1,2,…,c(x−μi)TΣ−1(x−μi)\arg\min_{i = 1,2,\ldots,c}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)argi=1,2,…,cmin​(x−μi​)TΣ−1(x−μi​)
先验概率不相称：P(wi)≠P(wj)P(w_i)\neq P(w_j)P(wi​)=P(wj​)

鉴别函数：
 gi(x)=−12(x−μi)TΣ−1(x−μi)+ln⁡(P(ωi))=−12(xTΣ−1x−2μiTΣ−1x+μiTΣ−1μi)+ln⁡(P(ωi))=μiΣ−1x−12μiTΣ−1μi+ln⁡(P(ωi))=wiTx+wi0{wi=Σ−1μiwi0=ln⁡(P(ωi))−12μiTΣ−1μi\\begin{align}g_i(\mathbf{x})&=-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)+\ln(P(\omega_i)) \\&=-\frac{1}{2}(\mathbf{x}^T\boldsymbol{\Sigma}^{-1}\mathbf{x}-2\boldsymbol{\mu}_i^T\boldsymbol{\Sigma}^{-1}\mathbf{x}+\boldsymbol{\mu}_i^T\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i)+\ln(P(\omega_i)) \\&=\boldsymbol\mu_i\boldsymbol\Sigma^{-1}\mathbf{x}-\frac 1 2 \boldsymbol{\mu}_i^T\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i+\ln(P(\omega_i)) \\&=\mathbf{w}_i^T\mathbf{x}+\mathrm w_{i0}\\\\&\begin{cases}\mathbf{w}_i&=\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i\\\mathrm w_{i0}&=\ln(P(\omega_i))-\frac{1}{2}\boldsymbol{\mu}_i^T\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i\end{cases}\end{align} gi​(x)​=−21​(x−μi​)TΣ−1(x−μi​)+ln(P(ωi​))=−21​(xTΣ−1x−2μiT​Σ−1x+μiT​Σ−1μi​)+ln(P(ωi​))=μi​Σ−1x−21​μiT​Σ−1μi​+ln(P(ωi​))=wiT​x+wi0​{wi​wi0​​=Σ−1μi​=ln(P(ωi​))−21​μiT​Σ−1μi​​​​
决议面方程：gi(x)−gj(x)=0g_i(\mathbf{x})-g_j(\mathbf{x})=0gi​(x)−gj​(x)=0

睁开可得：wT(x−x0)=0\mathbf{w}^T(\mathbf{x}-\mathbf{x}_0)=0wT(x−x0​)=0 ( 这是线性鉴别函数 )
先验概率相称P(wi)=P(wj)P(w_i)=P(w_j)P(wi​)=P(wj​)先验概率不相称P(wi)≠P(wj)P(w_i)\neq P(w_j)P(wi​)=P(wj​)w=Σ−1(μi−μj)\mathbf{w}=\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_i-\boldsymbol{\mu}_j)w=Σ−1(μi​−μj​)w=Σ−1(μi−μj)\mathbf{w}=\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_i-\boldsymbol{\mu}_j)w=Σ−1(μi​−μj​)x0=12(μi+μj)\mathbf{x}_0=\frac{1}{2}(\boldsymbol{\mu}_i+\boldsymbol{\mu}_j)x0​=21​(μi​+μj​)KaTeX parse error: {align} can be used only in display mode.

第三种情况：Σi≠Σj,i,j=1,2,…,c\boldsymbol{\Sigma}_i\neq\boldsymbol{\Sigma}_j, \quad i,j = 1,2,\ldots,cΣi​=Σj​,i,j=1,2,…,c

鉴别函数：
gi(x)=ln⁡(p(x∣ωi))+ln⁡(P(ωi))=−12(x−μi)TΣi−1(x−μi)−d2ln⁡(2π)−12ln⁡(∣Σi∣)+ln⁡(P(ωi))=−12(x−μi)TΣi−1(x−μi)−12ln⁡(∣Σi∣)+ln⁡(P(ωi))=xTWix+wiTx+wi0{Wi=−12Σi−1wi=Σi−1μiwi0=−12μiTΣi−1μi−12ln⁡(∣Σi∣)+ln⁡(P(ωi))\begin{align}g_i(\mathbf{x})&=\ln(p(\mathbf{x}|\omega_i))+\ln(P(\omega_i))\\&=-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)-\frac{d}{2}\ln(2\pi)-\frac{1}{2}\ln(|\boldsymbol{\Sigma}_i|)+\ln(P(\omega_i))\\&=-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)-\frac{1}{2}\ln(|\boldsymbol{\Sigma}_i|)+\ln(P(\omega_i))\\&=\mathbf{x}^T\mathbf{W}_i\mathbf{x}+\mathbf{w}_i^T\mathbf{x}+\mathrm w_{i0}\\&\begin{cases}\mathbf{W}_i &= -\frac{1}{2}\boldsymbol{\Sigma}_i^{-1}\\\mathbf{w}_i&=\boldsymbol{\Sigma}_i^{-1}\boldsymbol{\mu}_i\\\mathrm w_{i0}&=-\frac{1}{2}\boldsymbol{\mu}_i^T\boldsymbol{\Sigma}_i^{-1}\boldsymbol{\mu}_i-\frac{1}{2}\ln(|\boldsymbol{\Sigma}_i|)+\ln(P(\omega_i))\end{cases}\end{align}gi​(x)​=ln(p(x∣ωi​))+ln(P(ωi​))=−21​(x−μi​)TΣi−1​(x−μi​)−2d​ln(2π)−21​ln(∣Σi​∣)+ln(P(ωi​))=−21​(x−μi​)TΣi−1​(x−μi​)−21​ln(∣Σi​∣)+ln(P(ωi​))=xTWi​x+wiT​x+wi0​⎩⎨⎧​Wi​wi​wi0​​=−21​Σi−1​=Σi−1​μi​=−21​μiT​Σi−1​μi​−21​ln(∣Σi​∣)+ln(P(ωi​))​​​
决议方程：
gi(x)−gj(x)=0xT(Wi−Wj)x+(wi−wj)Tx+wi0−wj0=0g_i(\mathbf{x})-g_j(\mathbf{x})=0\\\mathbf{x}^T(\mathbf{W}_i-\mathbf{W}_j)\mathbf{x}+(\mathbf{w}_i-\mathbf{w}_j)^T\mathbf{x}+w_{i0}-w_{j0}=0gi​(x)−gj​(x)=0xT(Wi​−Wj​)x+(wi​−wj​)Tx+wi0​−wj0​=0
决议面为一个超二次曲面。随着Σi\boldsymbol{\Sigma}_iΣi​、μi\boldsymbol{\mu}_iμi​、P(wi)P(w_i)P(wi​)等的差别而出现出超球面、超椭球面、超双曲面或超平面等差别的情况。

例子: c=2, 2D

P(ω1)=P(ω2)=0.5μ1=[36];Σ1=[1/2002];Σ1−1=[2001/2]μ2=[3−2];Σ2=[2002];Σ2−1=[1/2001/2]P(\omega_1)=P(\omega_2)=0.5\\\boldsymbol{\mu}_1 = \begin{bmatrix} 3 \\ 6 \end{bmatrix} ; \boldsymbol{\Sigma}_1 = \begin{bmatrix} 1/2 & 0 \\ 0 & 2 \end{bmatrix} ; \boldsymbol{\Sigma}_1^{-1} = \begin{bmatrix} 2 & 0 \\ 0 & 1/2 \end{bmatrix}\\\boldsymbol{\mu}_2 = \begin{bmatrix} 3 \\ -2 \end{bmatrix} ; \boldsymbol{\Sigma}_2 = \begin{bmatrix} 2 & 0 \\ 0 & 2 \end{bmatrix} ; \boldsymbol{\Sigma}_2^{-1} = \begin{bmatrix} 1/2 & 0 \\ 0 & 1/2 \end{bmatrix}P(ω1​)=P(ω2​)=0.5μ1​=[36​];Σ1​=[1/20​02​];Σ1−1​=[20​01/2​]μ2​=[3−2​];Σ2​=[20​02​];Σ2−1​=[1/20​01/2​]
对于两类标题，Σi≠Σj\boldsymbol{\Sigma}_i\neq\boldsymbol{\Sigma}_jΣi​=Σj​，先验相称。
gi(x)=−12(x−μi)TΣi−1(x−μi)−12ln⁡(∣Σi∣)+ln⁡(P(ωi))g_i(\mathbf{x})=-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)-\frac{1}{2}\ln(|\boldsymbol{\Sigma}_i|)+\ln(P(\omega_i))gi​(x)=−21​(x−μi​)TΣi−1​(x−μi​)−21​ln(∣Σi​∣)+ln(P(ωi​))
决议面方程为g1(x)−g2(x)=0g_1(\mathbf{x}) - g_2(\mathbf{x}) = 0g1​(x)−g2​(x)=0。
(x−μ1)TΣ1−1(x−μ1)+ln⁡(∣Σ1∣)=(x−μ2)TΣ2−1(x−μ2)+ln⁡(∣Σ2∣)(x−μ1)TΣ1−1(x−μ1)=(x1−3,x2−6)[2001/2][x1−3x2−6]ln⁡(∣Σ1∣)=ln⁡(1)=0,ln⁡(∣Σ2∣)=ln⁡(4)=2ln⁡(2)(x−μ2)TΣ2−1(x−μ2)=(x1−3,x2+2)[1/2001/2][x1−3x2+2](\mathbf{x}-\boldsymbol{\mu}_1)^T\boldsymbol{\Sigma}_1^{-1}(\mathbf{x}-\boldsymbol{\mu}_1)+\ln(|\boldsymbol{\Sigma}_1|)=(\mathbf{x}-\boldsymbol{\mu}_2)^T\boldsymbol{\Sigma}_2^{-1}(\mathbf{x}-\boldsymbol{\mu}_2)+\ln(|\boldsymbol{\Sigma}_2|)\\(\mathbf{x}-\boldsymbol{\mu}_1)^T\boldsymbol{\Sigma}_1^{-1}(\mathbf{x}-\boldsymbol{\mu}_1)=(x_1 - 3, x_2 - 6)\left[\begin{matrix}2&0\\0&1/2\end{matrix}\right]\left[\begin{matrix}x_1 - 3\\x_2 - 6\end{matrix}\right]\\\ln(|\boldsymbol{\Sigma}_1|)=\ln(1)=0,\ln(|\boldsymbol{\Sigma}_2|)=\ln(4)=2\ln(2)\\(\mathbf{x}-\boldsymbol{\mu}_2)^T\boldsymbol{\Sigma}_2^{-1}(\mathbf{x}-\boldsymbol{\mu}_2)=(x_1 - 3, x_2 + 2)\left[\begin{matrix}1/2&0\\0&1/2\end{matrix}\right]\left[\begin{matrix}x_1 - 3\\x_2 + 2\end{matrix}\right]\\(x−μ1​)TΣ1−1​(x−μ1​)+ln(∣Σ1​∣)=(x−μ2​)TΣ2−1​(x−μ2​)+ln(∣Σ2​∣)(x−μ1​)TΣ1−1​(x−μ1​)=(x1​−3,x2​−6)[20​01/2​][x1​−3x2​−6​]ln(∣Σ1​∣)=ln(1)=0,ln(∣Σ2​∣)=ln(4)=2ln(2)(x−μ2​)TΣ2−1​(x−μ2​)=(x1​−3,x2​+2)[1/20​01/2​][x1​−3x2​+2​]
−(2(x1−3)2+12(x2−6)2)+(12(x1−3)2+12(x2+2)2)+2ln⁡(2)=0−2(x1−3)2−12(x2−6)2+12(x1−3)2+12(x2+2)2+2ln⁡(2)=0(−2+12)(x1−3)2−12(x2−6)2+12(x2+2)2+2ln⁡(2)=0−32(x1−3)2+8x2−16+2ln⁡2=0-(2(x_1 - 3)^2+\frac{1}{2}(x_2 - 6)^2)+(\frac{1}{2}(x_1 - 3)^2+\frac{1}{2}(x_2 + 2)^2)+2\ln(2)=0\\-2(x_1 - 3)^2-\frac{1}{2}(x_2 - 6)^2+\frac{1}{2}(x_1 - 3)^2+\frac{1}{2}(x_2 + 2)^2+2\ln(2)=0\\(-2 + \frac{1}{2})(x_1 - 3)^2-\frac{1}{2}(x_2 - 6)^2+\frac{1}{2}(x_2 + 2)^2+2\ln(2)=0\\-\frac{3}{2}(x_1 - 3)^2+8x_2-16+2\ln2=0−(2(x1​−3)2+21​(x2​−6)2)+(21​(x1​−3)2+21​(x2​+2)2)+2ln(2)=0−2(x1​−3)2−21​(x2​−6)2+21​(x1​−3)2+21​(x2​+2)2+2ln(2)=0(−2+21​)(x1​−3)2−21​(x2​−6)2+21​(x2​+2)2+2ln(2)=0−23​(x1​−3)2+8x2​−16+2ln2=0
以是，此例子的决议面方程为x2=3.514−1.125x1+0.1875x12x2=3.514-1.125x_1+0.1875x_1^2x2=3.514−1.125x1​+0.1875x12​。