Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力剖析

Llama 3.1 发布了！Llama 3.1 有三种规格: 8B 适合在消费者级 GPU 上进行高效部署和开辟，70B 适合大规模 AI 原生应用，而 405B 则实用于合成数据、大语言模型 (LLM) 作为评判者或蒸馏。这三个规格都提供基础版和指令调优版。
除了六个天生模型，Meta 还发布了两个新模型: Llama Guard 3 和 Prompt Guard。Prompt Guard 是一个小型分类器，可以检测提示注入和越狱。Llama Guard 3 是一个保护模型，能够分类 LLM 输入和天生的内容。
此次发布的一些功能和集成包罗:

• Hub 上的模型
  
• Hugging Face Transformers 和 TGI 集成
  
• Meta Llama 3.1 405B Instruct 的 Hugging Chat 集成
  
• 使用推理端点、Google Cloud、Amazon SageMaker 和 DELL Enterprise Hub 进行推理和部署集成
  
• FP8、AWQ 和 GPTQ 的量化，便于推理
  
• 使用