bert-base-uncased模子的tokenizer.json和vocab.txt的区别和接洽

说在前面

忽然发现这两个文件是由区别的，之前傻傻的把两个文件都下载到模子内里了，transformers工具包使用bert加载分词器时并不是都必要这两个文件的，而是工具加载器范例类具体决定的。
vocab.txt 的作用

• 词汇表文件，通常是一个纯文本文件，此中列出了模子使用的全部词汇（Token）。
  
• 在 BERT 和类似的模子中，vocab.txt 是必须的，由于它包罗了从输入文本到模子输入的映射（即词汇到 ID 的映射）。
  
  
  
  • 比方，对于一个分词器，它会将 "hello" 映射到一个 ID（如 1012），并通过这种方式来实验文本的分词。
    
  
  
• vocab.txt 是传统的分词器（如 BertTokenizer）的核心文件，加载分词器时，分词器会根据这个词汇表来举行分词。
  

tokenizer.json 的作用

• tokenizer.json 文件通常是由 Fast Tokenizer（如 BertTokenizerFast）天生的，它包罗了分词器的具体设置信息。
  
  
  
  • tokenizer.json 包罗的不但仅是词汇表，还包罗分词器的一些算法设置、特殊字符的映射、字节对编码（BPE）相干的归并规则等。
    
  • Fast Tokenizer 使用 tokenizers 库，它是一个专为高效文本处理处罚计划的库，能加速分词的过程。
    
  • 当你使用 BertTokenizerFast 如许的 Fast 版本时，tokenizer.json 会被天生，而且通常会生存为一个文件。
    
  
  

加载分词器时使用哪个文件？

• 对于传统的 BertTokenizer（非 Fast 版本），加载分词器时，重要使用 vocab.txt 文件。这个文件是必须的，它包罗了词汇和其对应的 ID。
  
  
  
  • BertTokenizer 加载时，不会使用 tokenizer.json，由于传统版本的分词器只依赖于 vocab.txt。
    
  
  
• 对于 BertTokenizerFast（Fast 版本），它会使用 tokenizer.json 文件，且这个文件是通过 tokenizers 库天生的。固然它也会依赖 vocab.txt 文件来获取词汇信息，但 tokenizer.json 文件则包罗了更多细节（如归并规则、特殊字符处理处罚等）。
  

为什么你练习后的模子没有 tokenizer.json 文件？

• 假如你使用的是传统的 BertTokenizer 举行练习，模子生存后就不会包罗 tokenizer.json，只会包罗 vocab.txt 和其他一些设置文件。
  
• 假如你盼望天生 tokenizer.json，你必要使用 Fast Tokenizer，好比 BertTokenizerFast，这种情况下，分词器会在生存时主动天生 tokenizer.json 文件。
  

是否必要同时使用 tokenizer.json 和 vocab.txt？

• 不必要同时使用 tokenizer.json 和 vocab.txt，它们的作用差别，且它们通常并差别时存在于一个模子的生存目次中。
  
  
  
  • 传统的 BertTokenizer 只必要 vocab.txt。
    
  • Fast Tokenizer（如 BertTokenizerFast）必要 tokenizer.json，但也会使用 vocab.txt。
    
  
  

加载分词器时的代码

无论你是否有 tokenizer.json 文件，加载分词器的代码都类似，区别在于你使用的是哪种范例的分词器：

•         对于传统的 BertTokenizer：
  
  2. from transformers import BertTokenizer
  4. tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")  # 加载词汇表和配置文件

  复制代码
•         对于 BertTokenizerFast（假如使用了 Fast 版本）：
  
  2. from transformers import BertTokenizerFast
  4. tokenizer = BertTokenizerFast.from_pretrained("bert-base-uncased")  # 加载tokenizer.json及vocab.txt

  复制代码

在 Fast Tokenizer 的情况下，tokenizer.json 会被主动加载，但你仍旧必要确保生存了 vocab.txt 文件，由于它包罗了词汇表。
总结：

• vocab.txt 是传统分词器（如 BertTokenizer）所必须的文件，加载时会使用该文件。
  
• tokenizer.json 是 Fast Tokenizer（如 BertTokenizerFast）的核心文件，包罗更多的设置和细节，但不是必须的（只有 Fast Tokenizer 才会使用）。
  
• 假如你练习的是传统的 BertTokenizer，那么只有 vocab.txt 文件即可，没有 tokenizer.json 文件也没有题目。
  
• 假如你盼望天生 tokenizer.json 文件，必要使用 Fast Tokenizer（如 BertTokenizerFast）。