沉醉式体验和评测Meta最新超等大语言模子405B

2024年7月23日， 亚马逊云科技的AI模子托管平台Amazon Bedrock正式上线了Meta推出的超等参数目大语言模子 - Llama 3.1模子，小李哥也如饥似渴去体验和试用了该模子，那这么多参数目标AI模子毕竟强在那里呢？Llama 3.1模子是Meta（脸书）迄今为止开始进、最强盛的模子。这一系列模子包罗了参数巨细分别为8B、70B 和 405B的模子，在多个行业热门基准测试中体现非常精彩，并为天生式AI云端应用解锁了丰富、全新的无穷大概。
在新一代版本中，全部Llama 3.1模子都支持128K上下文长度（相比Llama 3版本增长了120K tokens长度），这意味着新版本的模子其上下文处理处罚本领是Llama 3模子的16倍！而且在多语言对话场景中体现精彩，支持包罗英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语在内的八种语言。

Meta推出的三款新模子是什么？

现在开发者们已经可以在亚马逊云科技的Amazon Bedrock服务中使用来自Meta的三款全新的 Llama 3.1 模子，资助开发者构建、测试并负责任地扩展他们的天生式 AI创意应用：

• Llama 3.1 405B
  
  405B是环球公开可用的参数最多的大型语言模子，根据 Meta 的说法，这款模子为AI整个行业作为全新的模子标准，非常得当企业级应用和科研研发场景。该模子尤实在用于天生合成数据，从而资助改进较小的Llama模子，以及通过模子蒸馏技能将知识通报给更小的模子（训练自界说模子）。Llama 3.1 405B在通用知识、长篇文本天生、多语言翻译、呆板翻译、编程、数学、工具使用、加强的上下文明白以及高级推理和决定本领方面体现非常精彩。
  
• Llama 3.1 70B
  
  70B非常得当内容创作、AI对话、语言明白、研发和开发者/企业应用场景。该模子在文本择要、文天职类、感情分析和眇小推理、语言建模、对话体系、代码天生和任务指令实行方面体现优秀。
  
• Llama 3.1 8B
  
  更得当盘算资源有限的场景。该模子在低延长推理要求下，善于文本择要、文天职类、感情分析和语言翻译等简朴任务。
  

Meta还对 Llama 3.1在150多个热门基准数据集上举行了性能测评，涵盖了多种语言种别，并通过人力评估举行了二次验证。如以下图表所示，Llama 3.1在全部紧张基准种别中都优于Llama 3。

怎样保障Llama AI大模子使用中的安全性？

开发者在使用Llama大模子时可以团结Llama 3.1的负责任AI功能，以及Amazon Bedrock提供的数据管理和模子评估特性，放心地构建安全且可靠的天生式 AI 应用。
Amazon Bedrock的安全防护步伐（Guardrails）

通过为差异的模子使用场景创建多个设置差异的Guardrails，开发者可以为用户与天生式AI应用之间的交互创建安全保障。详细如下：

• 根据详细的用例和负责任的AI政策，实行自界说的掩护步伐。
  
• 连续监控和分析用户输入和模子相应，发现大概违反自界说安全计谋的情况。
  
• 检测模子相应中的“幻觉”（即不基于自界说数据或与用户查询无关的回复）。
  
• 对差异模子（包罗自界说和第三方模子）举行评估。
  

Amazon Bedrock 上的模子评估

开发者仅需可几步就可以对Amazon Bedrock上的模子举行评估、比力并选择得当使用场景的最佳Llama模子。通过Amazon Bedrock上的模子评估，开发者可以选择：

• 自动评估，评估预界说指标如正确性、鲁棒性和毒性。
  
• 人工评估，评估自界说指标如相干性、风格和与品牌声音的对齐度等。
  
• 提供内置的多个差异测试场景数据集，大概导入自界说数据集。
  

 
怎样在亚马逊云科技上体验Llama3.1?

通过控制台界面使用Llama3.1

1. 进入亚马逊云科技控制台，点击Amazon Bedrock服务

2. 选择地区俄勒冈(Oregon)，进入“Model Access”界面开启Llama 405B模子访问。 

 3. 再点击左侧菜单栏“Playgrounds”下的“Text”界面，选择模子“Llama 405B”。输入我们想问的题目，就可以得到终极的405B大模子复兴了。

通过Shell下令行访问

同时我们可以用AWS CLI在shell下令行中调用Llama 3.1 405B大模子，我们运行以下下令。

1. aws bedrock-runtime invoke-model \
2.   --model-id meta.llama3-1-405b-instruct-v1:0 \
3. --body "{"prompt":" [INST]You are a very intelligent bot with exceptional critical thinking[/INST] I went to the market and bought 10 apples. I gave 2 apples to your friend and 2 to the helper. I then went and bought 5 more apples and ate 1. How many apples did I remain with? Let's think step by step.","max_gen_len":512,"temperature":0.5,"top_p":0.9}" \
4.   --cli-binary-format raw-in-base64-out \
5.   --region us-west-2 \
6.   invoke-model-output.txt

复制代码

参数表明：

1）aws bedrock-runtime invoke-model：调用模子推理的API方法
2） model-id meta.llama3-1-405b-instruct-v1:0：Llama 3.1 405B模子ID
3）body.prompt: 模子提示词
4）body.max_gen_len: 最大输出token
5)  body. temperature、Top P：模子随机性参数
6）--cli-binary-format raw-in-base64-out：输出编码格式
7）--region us-west-2：模子所在地区


通过Python代码调用Llama 405B API

我们可以使用亚马逊云科技提供的Python SDK Boto3来调用访问Amazon Bedrock上的Llama 3.1 405B大模子，示例代码如下：

1. import boto3
2. from botocore.exceptions import ClientError
4. # Create a Bedrock Runtime client in the AWS Region you want to use.
5. client = boto3.client("bedrock-runtime", region_name="us-west-2")
7. # Set the model ID, e.g., Llama 3 8b Instruct.
8. model_id = "meta.llama3-1-405b-instruct-v1:0"
10. # Start a conversation with the user message.
11. user_message = "Describe the purpose of a 'hello world' program in one line."
12. conversation = [
13.     {
14.         "role": "user",
15.         "content": [{"text": user_message}],
16.     }
17. ]
19. try:
20.     # Send the message to the model, using a basic inference configuration.
21.     response = client.converse(
22.         modelId=model_id,
23.         messages=conversation,
24.         inferenceConfig={"maxTokens": 512, "temperature": 0.5, "topP": 0.9},
25.     )
27.     # Extract and print the response text.
28.     response_text = response["output"]["message"]["content"][0]["text"]
29.     print(response_text)
31. except (ClientError, Exception) as e:
32.     print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
33.     exit(1)

复制代码

以上就是在亚马逊云科技上调用Meta最新的超等大语言模子Llama 3.1 405B的全部步调。接待各人关注小李哥将来获取更多国际前沿的亚马逊云科技天生式AI云开发/云架构方案。