HUGGINGFACE NLP- MAIN NLP TASKS

1 Token classification

1.1        分类
1.1.1        实体定名辨认 (NER): 找出句子中的实体（如人物、所在或构造）。这可以通过为每个实体或“无实体”指定一个种别的标签。
1.1.2        词性标注 (POS): 将句子中的每个单词标记为对应于特定的词性（如名词、动词、形容词等）。
1.1.3        分块（chunking）: 找到属于同一实体的Token。这个任务(可团结POS或NER)可以任何将一块Token作为订定一个标签(通常是B -),另一个标签(通常I -)表现Token是否是同一块,和第三个标签(通常是O)表现Token不属于任何块。也就是标出句子中的短语块，比方名词短语（NP），动词短语（VP）等。
1.2        标签
1.2.1        差异tokenizer有差异分类标签
1.2.2        常见
O 表现这个词不对应任何实体。
B-PER/I-PER意味着这个词对应于人名实体的开头/内部。
B-ORG/I-ORG 的意思是这个词对应于构造名称实体的开头/内部。
B-LOC/I-LOC 指的是是这个词对应于地名实体的开头/内部。
B-MISC/I-MISC 表现该词对应于一个杂项实体的开头/内部。
1.3        处理处罚数据
1.3.1        可以扩展我们的标签列表以匹配token
1.4        train
1.4.1        DataCollatorForTokenClassification. Like the DataCollatorWithPadding, it takes the tokenizer used to preprocess the inputs:
1.4.2        Metrics
To have the Trainer compute a metric every epoch,
1.5        reDefining the model
1.5.1

1. id2label = {i: label for i, label in enumerate(label_names)}
2. label2id = {v: k for k, v in id2label.items()}
4. model = AutoModelForTokenClassification.from_pretrained(
5.     model_checkpoint,
6.     id2label=id2label,
7.     label2id=label2id,
8. )

复制代码

1.6        Fine-tuning the model
1.6.1        TrainingArguments
1.6.2        A custom training loop
Preparing everything for training
2 微调掩码语言模子

2.1        在域内数据上微调预练习语言模子的过程通常称为 范畴顺应
2.2        选择用于掩码语言建模的预练习模子