NLP自然语言处理处罚期末

1.自然语言处理处罚概述

自然语言面临的标题

• 歧义：语法、布局、词性、语义上的歧义
  
• 未知语言的出现：即新词新梗
  
• 知识性：专业名词
  
• 上下文依靠
  
• 多模态：单一的文本输入或输出难以全面表达息争决标题,必要连合其他情势的输入或输出数据,如图像、视频、语音等多种情势的信息来更好地明白和表达。
  

自然语言概念：使用盘算机技能对语言文本举行加工和处理处罚
自然语言范例

自然语言明白：

• 实体辨认：如主动快递辨认人名地名手机号
  
• 感情分析：美团点评
  
• 关键词分析：商品关键词提取
  
• 文天职类：本日头条
  
• 知识图谱
  

自然语言天生：

• 呆板翻译
  
• 对话问答
  
• AI写诗、写歌
  

2.基于NLP工具的中文分词

1.开辟流程中有哪些特性工程？

• 离散型表现方法：One-Hot、BOW、TF-IDF
  
• 分布式表现方法：N-gram、wordEmbedding：Word2vec、Glove、FastText、BERT、GPT
  

2.中英文分词区别

• 分词方式差别、中文更难
  
• 英文单词有多种形态：单复数和时态（就涉及到词性、词干还原）
  
• 中文分词有多种粒度标题：即多种分别方式 
  

3.中文分词方法有？

• 基于辞书
  
• 基于统计：CRF条件随机场、HMM隐马尔可夫模子、SVM
  
• 基于深度学习：CNN、RNN、LSTM
  

自然语言处理处罚的根本流程

获取语料——数据处理处罚——特性工程——模子训练——评估指标——摆设上线

获取语料：语料，即数据集
数据处理处罚：语料洗濯、分词、词性标注、去停用词

 特性工程：把单词表现成向量

• 离散型表现方法：One-Hot编码、词袋模子BOW、TF-IDF词频-逆文档频率
  
• 分布式表现方法：N-gram、wordEmbedding：Word2vec、Glove、FastText、BERT、GPT
  

模子训练： 模子选择有呆板学习（GBDT梯度提拔决议树、LR逻辑回归、SVM支持向量机、RF随机丛林、KNN迩来邻分类算法），深度学习
模子优化就涉及到四个标题：拟合和梯度
评估指标
摆设上线：本地摆设、服务器摆设
中文分词CWS先容 

概念：中笔墨序列插入分隔符，将其切分为词
    留意：呆板学习分词是必须的、但深度学习期间，算法飞涨，分词不是必须的。只有关键词提取、实体辨认等任务分词是必须的。
  难点：

• 没有同一标准
  
• 歧义词
  
• 新词 
  

中文分词方法 

• 基于辞书
  
• 基于统计：CRF条件随机场、HMM隐马尔可夫模子、SVM
  
• 基于深度学习：CNN、RNN、LSTM
  

中英文分词区别 

• 分词方式差别、中文更难
  
• 英文单词有多种形态：单复数和时态（就涉及到词性、词干还原）
  

• 中文分词有多种粒度标题：即多种分别方式 
  

词性标注 POS

概念：即为每个单词标注一个词性，多用于预处理处罚阶段

 词性标注难点 

• 一次多性标题
  
• 词性标注规则不同一
  
• 训练语料缺失:OOV，词汇超出
  
• 新词怎样标注
  

3.基于感情辞书的文本感情分析理论

1.感情分析的缩写是SA
2.什么是感情时序分析

• 时间也是感情分析的维度，如时间改变，人会改变想法。如热门话题讨论。
  

3.感情分类的方法

• 按任务分类
  
• 按文本级别分类
  

感情分析分类

感情广义狭义区分

狭义：分积极、悲观、中性 
广义：相干任务：感情辨认、感情分类、观点发掘
感情分析方法

狭义上，感情分析即指感情分类，大抵流程为：

• 基于呆板学习
  
  
  
• 基于深度学习
  
  
  
• 基于辞书
  
  
  

基于辞书感情分析流程 

1.分词
2.确定感情词及其极性：根据辞书来的
3.感情极性盘算：即加减法

4.综合判断
辞书方法优缺点 

评估指标盘算 

 

   尚有真正例率，多少正确的被猜测对，公式同查全率。
  假正例率，多少反例被猜测成正率: 

  ROC曲线：曲线下为AUC值，该方法无视样本不均衡。
  盘算题 

   算法1的查准率为78/82=0.95, 查全率为78/80=0.975, F1-score为0.9624。
算法2的查准率为80/88=0.91, 查全率为80/80=1.0, F1-score为0.9524。
  可见两种算法的查准率和F1-score都比力良好,算法2在查全率上略胜一筹。
  4.基于Kmeans的短文本聚类

1.Kmeans算法步调及优缺点
2.聚类和分类的区别

• 分类有种别标识，聚类没有
  

3.常见的聚类算法

• 基于均值：K-means
  
• 基于密度BSCAN,基于密度的抗噪聚类方法
  
• 基于条理：凝结条理聚类、分裂条理聚类
  

4. 为什么选TF-IDF作为K-means的特性提取工程？

• TF-IDF能有效提取文本特性、镌汰噪声、处理处罚多义词、具有精良的可扩展性、与K-means算法兼容性好、无需标注数据、易于实现
  

文本聚类场景及概念 

如消息分类、检索结果聚类（但存在检索词多义的情况）、数字图书馆、
概念：就是将数据会合数据分别成多少子集，子集内部样本具有雷同性子，差别子集间差异较大。每个子集称为簇，簇内相似、簇间相异

聚类算法 

• 基于均值：K-means
  
• 基于密度BSCAN,基于密度的抗噪聚类方法
  
• 基于条理：凝结条理聚类、分裂条理聚类
  

间隔度量 
欧氏间隔即两点间间隔，曼哈顿间隔即直线间隔

 K-means聚类算法

算法流程：

评估指标：

kmeans算法优缺点：

• 优：速率快、服从高、本钱低、易明白、很机动
  
• 缺：易受噪声 边沿点 孤立点影响、K值欠好取、方向于辨认球形或类球形布局的簇 
  

密度聚类DBSCAN 

聚类结果图：
 

条理聚类Agglomerative

文本聚类

即聚类应用在文本上。无监视学习，无需文档标注，对文本信息举行有效构造择要导航，两类代表算法：

• 基于间隔的聚类算法
  
• 基于概率模子的聚类方法
  

聚类流程：

文本准备——数据预处理处罚 ——特性工程——聚类算法——聚类结果

TF-IDF词频-逆文本频率

公式：TF-IDF = TFXIDF
TF词频：
词频可不是词文章中出现的次数。 而是 某词再文章出现的次数/文章总词数

 IDF逆文本频率：
指一个单词在文档中区分度

TF-IDF优缺点：

• 优：简单快速易明白、语料库稳定时可离线盘算 
  
• 缺：数据集分布不均影响结果、无法反映词序信息
  

TF-IDF使用场景

文本聚类
搜索引擎
关键词提取：即盘算出各词的TF-IDF值，按权值从大到小依次分列
   为什么TF-IDF作为K-means的特性提取工程？
  TF-IDF能有效提取文本特性、镌汰噪声、处理处罚多义词、具有精良的可扩展性、与K-means算法兼容性好、无需标注数据以及易于实现等特点，成为K-means文本聚类算法中常用的特性提取方法。
  5.基于FastText的文天职类

1.常见的深度学习文天职类框架有哪几种？

• FastText、TextCNN 、XLNet、BERT 
  

2.FastText包罗哪三部分？

• 模子架构
  
• N-gram
  
• 条理softmax
  

3.Word2Vec有哪两种模式？

• CBOW：即一连词袋模子。通过上下文来猜测当前值
  
• skip-gram：跳词模子。当前词猜测上下文
  

4.TextCNN的滑动窗口和图像处理处罚的滑动有什么区别？

• 数据格式差别：一个是图像一个是文本
  
• 文本卷积卷积核只向下滑动，卷积核宽度（固定的）=词向量维度，以是卷积核巨细指的是卷积核高度
  

5.文天职类任务有

•  二元文天职类
  
• 多类文天职类
  
• 条理文天职类
  
• 文本序列分类
  

6.逻辑回归为什么能处理处罚分类标题？

• 输出为概率值
  
• 有决议边界
  
• 可表明性
  

7.多分类任务使用激活函数是softmax。每个种别都有一个概率值，且全部种别的概率之和为1。
8.FastText与Word2vec的差别

• f是词袋模子，w是循环词袋模子
  
• w只能处理处罚辞书中的词，无法处理处罚构词信息。但f有构词优化
  
• f猜测的是种别，w猜测的是词
  
• f输入是整个句子的的单词和N-gram特性，w输入的是上下文
  

9.FastText改进点

• 构词优化，能处理处罚构词信息
  
• 快速的训练和推理
  
• 高效的文天职类
  
• 可表明性
  

文天职类概述

界说：呆板分析文章内容、将文本数据主动分配到一个或多个预界说的种别
特点：主动化、监视学习
文天职类分为：

• 消息文章分类、垃圾邮件过滤、客户反馈分析、医疗纪录分析
  

分类任务范例：

•  二元文天职类
  
• 多类文天职类
  
• 条理文天职类
  
• 文本序列分类
  

   基于感情辞书的感情分析也可以被视为一种文天职类任务。
  呆板学习的文天职类

深度学习的文天职类 

独热编码one-hot

独热编码缺点很大：

• 词汇较多时就会造成维度劫难，盘算代价大
  
•  无法表现词与词之间的关系
  

提出WordEmbedding(词嵌入)技能 ：

• word2vec
  
• Glove
  
• FastTest
  

求余弦相似度 ：

FastText模子概述

带监视的文天职类标题。包罗三部分：

• 模子架构
  
• N-gram：一种天生式模子。将文本按照字节举行巨细为N的滑动窗口操纵。
  
• 条理softmax
  

  OOV
  Out of Vocabulary词汇外，即模子在训练时没有见过的单词。FastText通过将词汇分解为字符n-gram来处理处罚OOV标题。、
  N-gram 构词的三步总结

  1.选择 N 的巨细
  2.切分文本为 N-grams
  3.构造词组或特性提取
  

  词袋模子BOW :文本表现为一个词的聚集，忽略词语的序次和语法布局，只关注词语的序次。

FastTest与Word2vec的比力

可以明白为：word2vec+分类+构词优化=FastText
   具体看章节开始的标题
  6.基于Seq2Seq的问答体系

1.问答体系的分类
2.E-D的缺陷

• 岂论输入和输出的长度是什么，中心向量c（也就是编码器的输出,解码器的输入）长度固定。
  

3.说一说Seq2Seq布局相比于循环神经网络实现序列天生，有什么长处？

• 编码解码器并行化，加速训练
  
• 不具备短期影象长程依靠标题
  
• 机动性
  

4.Seq2Seq布局可以有哪些应用场景？

• 照片压缩
  
• 笔墨-笔墨：呆板翻译、文章择要、代码补全、对话呆板人
  
• 音频-笔墨：语音辨认
  
• 图片-笔墨：图像形貌天生
  

5.Encoder-Decoder与Seq2Seq的关系？

• 主流的Seq2Seq模子通常基于Encoder-Decoder框架实现
  

6.Encoder-Decoder的编码部分息争码部分的作用分别是什么？

• encoder：将输入序列（如笔墨图片音频）转化为固定维度的稠密向量。可以明白将实际标题转化为数学标题。
  
• decoder：天生目的译文。可看作求解数学标题，转化为实际办理方案。
  

7.LSTM神经网络的工作逻辑？

• 通过引入门控机制控制信息流，从而降服恒久依靠。由三个关键的门控单元构成：输入门、忘记门和输出门，它们共同决定了细胞状态的更新以及终极的隐蔽状态输出
  

问答体系的分类

• 基于知识库的问答体系（依靠于布局型数据）
  
• 基于检索的问答体系（依靠于大量文本数据）
  
• 基于对话的问答体系
  
• 基于天生的问答体系
  

面临的寻衅：

•  自然语言明白、知识获取和更新、答案正确性、上下文明白、需求的多样性
  

Encoder-Decoder架构

编码解码，指示一类算法的统称，该架构下可使用差别算法。

• encoder：将输入序列（如笔墨图片音频）转化为固定维度的稠密向量。可以明白将实际标题转化为数学标题。
  
• decoder：天生目的译文。可看作求解数学标题，转化为实际办理方案。
  

显着特性：端到端的学习算法。
Encoder-Decoder应用 

• 照片压缩
  
• 笔墨-笔墨：呆板翻译、文章择要、代码补全、对话呆板人
  
• 音频-笔墨：语音辨认
  
• 图片-笔墨：图像形貌天生
  

Seq2Seq模子

先问什么是序列天生标题？
根据输入的内容X和Y汗青序列信息来猜测序列中的下一个值的天生有监视任务。
   这里的有监视可明白为：输入为目的语言和源语言，二者是逐一对应的。雷同label。
  引申到深度学习中即：构建一个连合的神经网络，以端到端的方式将一个序列化数据映射成另一个序列化数据，简称Seq2Seq模子。
主流的Seq2Seq模子通常基于Encoder-Decoder框架实现； 模子布局为：

根据差别的任务可以选择差别的编码器息争码器：

• 循环神经网络：RNN、LSTM、GRU
  
• 卷积神经网络：CNN
  
• 留意力机制：Attention、Transformer 
  

关于RNN和LSTM这里不做赘述，具体移步 神经网络与深度学习
RNN循环神经网络的缺点：

• 恒久依靠标题：RNN 有短期影象标题，无法处理处罚很长的输入序列
  
• 训练投入本钱大；
  
• 梯度消散和梯度爆炸；
  

7.基于Seq2Seq+Att的翻译体系

1.说一说Attention值的盘算公式是什么？

2.Attention的优缺点？

• 优：参数更少、速率更快、结果更好
  
• 缺：盘算本钱大、序列长度限定 、训练难度大
  

3.Attention机制基于Encoder-Decoder提出了哪些改进？

• 办理了恒久依靠标题、 并行化和高效训练、进步了对长序列的处理处罚本事
  

4.Attention机制的工作步调

• query和key举行相似度盘算，得到权值；
  
• 将权值举行归一化softmax，得到直接可用的权重；
  
• 将权重和value举行加权求和；
  

翻译体系

即使用盘算机将一种源语言转化为目的语言的过程。分为：

• 呆板翻译：百度翻译
  
• 翻译机：讯飞
  
• 照相翻译
  

Attention机制 

attention三大长处：

• 参数更少
  
• 速率更快:并行盘算：同时实行多个盘算任务。
  
• 结果更好
  

缺点：

• 盘算本钱大、序列长度限定 、训练难度大
  

  rnn由于递归布局可以实行并行盘算但服从低
  引入Attention的Encoder-Decoder

“固定向量->向量序列”大概指的是编码器将固定长度的输入向量转换为一系列内部表现

Attention布局原理 

attention中KQV的通用盘算流程：

• query和key举行相似度盘算，得到权值；
  
• 将权值举行归一化softmax，得到直接可用的权重；
  
• 将权重和value举行加权求和输出留意力值；
  

  各att变体紧张就相似度盘算差别
  

 Attention种类 

self-attention盘算公式：

 

8.基于Transformer的翻译体系理论

1. Transformer本质上属于Encoder-Decoder布局。
2. 通过位置编码办理Attention无法捕捉序次信息的标题。
3. 使用多头留意力机制从多个角度抓取重点信息。
4. 使用掩码办理Attention文本天生过程中偷窥下文的标题
5.Transformer具有多个子编解码布局
6.残差毗连和层归一化拨开乌云
网络团体布局 

encoder看作6个子encoder，decoder看作6个子decoder

每个encoder可看作自留意力+FFN前馈
每个decoder可看作自留意力+编码-解码留意力层+FFN

Encoder细节 

位置Positional Embedding的加入为了获取序次信息，办理留意力无法捕捉序次信息的标题。
   位置编码即将位置向量添加到embedding中。是为了给模子提供序列中每个元素的位置信息。通过正弦和余弦函数的组合来实现的，这种编码方式可以确保差别位置的编码是唯一的，而且模子可以捕捉到序列的周期性特性。 
  上图的encoder输入分两种，词embedding和位置embedding
常见的词embedding有：

• Word2Vec、FastText、BERT、One-hot Encoding
  

 self-att布局

这里KQV由输入X乘差别的权重得来的 。
self-att的输出为：留意这里的dk指的是向量维度，即Q、K矩阵的列数，根号dk防止内积过大，使得相似度得分更平滑。

多头留意力 

团体流程：
输入句子-embedding-天生QKV-盘算att值-归并输出

每一个头会产生差别的QKV，得到一个差别的留意力值，多头终极输出让输入与输出数量同等：

归并多个attention值 X 连合训练得到的权重矩阵W = 终极输出Z 

单多头留意力机制的差别点

盘算方式

• 单：只有一个留意力头
  
• 多：多个留意力头，每个头使用独立的权重矩阵盘算，并行盘算服从高，末了拼接
  

学习本事

• 只能学习一种范例关系
  
• 可学习多种差别关系
  

信息融合

• 易导致信息丢失，由于信息通过同一机制处理处罚
  
• 对信息多视角融合
  

复杂性：一个大一个小
 Add&Norm

即残差毗连和归一化。这里指的是层归一化。引入缘故原由来自两朵乌云：

• 梯度消散和爆炸
  
  
  
• 网络退化：网络过深正确率反而低：无法学习恒等映射
  

以是引入恒等映射，残差毗连。 引入层归一化办理梯度消散和爆炸，提拔数值稳固性。

 
   这里先容一下常见的relu(ruai lu我如许读^v^) :其他常见的激活函数
  即线性整流单元，
  

   layer和batch的区别

为什么使用层归一化而非批归一化？

• 模子输入通常为变长序列，batch 处理处罚变长序列会导致盘算不同等。
  
• layer对单样本全部层归一化，盘算服从高
  
• layer更有助于梯度运动，更恰当深层网络
  

Decoder细节 

第一个多头留意力的masked操纵即:由输入X得到mask矩阵:

 

 第二个多头留意力的KV来自encoder，Q使用上一个输出的
   掩码多头留意力只使用上文信息。即思量该元素之前的元素，而不包罗它本身或之后的元素。 
  末了输出的softmax操纵 

关键代码

怎样正确地分割和归并留意力头（split_heads和combine_heads方法）：

盘算位置编码的公式，特别是正弦和余弦函数的应用。

怎样正确地应用层归一化（LayerNorm）和实现前向传播中的残差毗连和Dropout。

9.基于BERT模子的旅店评价分类

1.BERT分为bert-large(24层)和bert-base(12层)版本
2.模子由多个transformer-encoder层堆叠而成，偏重于文本明白
3.BERT的输入Embedding(嵌入)由token embedding(字符编码)、segment embedding(分句编码)、position embedding(位置编码)三个部分相加得到。
4.预训练时，通过MLM与NSP分别学习字符表征与句子表征。

• MLM掩码语言模子 ：输入文本部分词汇被随机掩码mask更换，从而根据上下文猜测。通过完形填空学习单词级信息。
  
• NSP下一句猜测：判断给定两个句子是否公道（后一句前一句）。通过句子关系学习句子级信息。
  

5.可以在文天职类、问答体系、定名实体辨认等特定的卑鄙任务上微调提取文本特性。
   Embedding是深度学习中的一个关键技能，它通过将离散数据转换为一连的向量表现，从而捕捉关系。
   BERT模子布局

单项编码和双向编码

•  只关注序列的一个方向，不思量整个序列的上下文信息。
  
• 思量上下文
  

分句编码

在embedding中输入有句子和句子对，分句编码即区分句子和句子对。

• 预训练输入句子对，微调输入单句
  

两个标志：

• CLS分类标志：输出句子表征或句子关系
  
• SEP分隔标志：区分句子和句子对
  

BERT微调 

Fine-tuning：使用特定命据微调BERT预训练模子，用于具体NLP任务。

• 双句子级任务：文本相似度、问答匹配
  
• 单句分类任务：感情分析、垃圾邮件检测
  
• 文本问答任务：呆板阅读明白、主动问答体系
  
• 票据标注任务：信息抽取、文天职析
  

BERT改进模子 

RoBERTa、ALBERT、XLNet
处理处罚中文时必要调解分词方法，可以使用BERT-wwm模子。掩饰整个词而不是单个字符
10.大模子LLM理论根本

1.请枚举常见的prompt根本操纵有哪些

• 明白需求指示，制止含糊词语
  
• 使用分隔符
  
• 使用固定输特别式
  
• 脚色扮演
  
• 提供充实上下文
  

2. 请表明什么是Zero Shot Prompt、Few-shot Prompt、One-shot Prompt？

• 无样本学习：无需提供示例或训练数据直接让模子来天生答案
  
• 小样本：提供少量示例来天生答案
  
• 单样本：仅提供单个示例或上下文来天生答案，可以看作是Few-shot Prompt的一种特别情况，
  

3.请枚举常见的prompt进阶操纵

• 小样本学习
  
• 头脑链
  
• 组合使用多种prompt
  
• 多提供关键词
  
• 指定输出长度
  
• 长文本总结
  
• COSTAR框架
  

4.costar框架具体寄义
COSTAR框架

C:context配景   S:strategy 计谋  A:action 举措
Object 目的    T:tactics 战术     R:review 回首
   缩写大汇总

  AIGC:人工智能天生内容                                    NSP：下一句猜测
  LLM：大语言模子                                              NLU：自然语言明白
  CoT：头脑链                                                     NLG：自然语言天生
  BERT：基于transformer的双向编码器表征