使用AI大语言模子和Langchain开发智能车算法训练知识库(上篇)

本日小李哥将先容亚马逊云科技的Jupyter Notebook呆板学习托管服务Amazon SageMaker上，通过AI大语言模子、向量知识库和LangChain Agent，创建用于AI 智能车模子训练的RAG问答知识库。整个项目的架构图如下：
本系列共分为上下两篇。在上篇内容中，我将分享该知识库的GitHub项目开源代码，各人可以自行下载学习和测试使用。并带各人在亚马逊云科技平台的Jupyter Notebook里摆设项目搭建该知识库。也接待各人继续关注本系列下篇，我们将使用AI天生训练和测试数据集，以及使用Stable Diffusion图像天生模子评估智能车模子性能。

方案所需根本知识

什么是Amazon SageMaker？

Amazon SageMaker 是亚马逊云科技提供的一项全托管呆板学习服务，资助开发者和数据科学家轻松构建、训练和摆设呆板学习模子。SageMaker 提供了全套的工具和根本办法支持，用户无需管理底层的服务器和情况，即可快速处置惩罚从数据预备到模子训练再到摆设的完备呆板学习流程。
SageMaker 提供了机动的开发情况，支持多种常用的呆板学习框架，如 TensorFlow、PyTorch 等，同时也支持用户自界说的算法和模子。无论是使用预训练模子照旧重新开始训练，SageMaker 都可以大概提供高效的分布式训练本事，并通过主动调优（如超参数优化）提拔模子的精度。

关于LangChain？

LangChain Agent 是围绕大语言模子(LLM)作为其焦点引擎构建的 AI 体系，可实现逾越文本天生的本事。Agent 将 LLM 的天然语言上风与规划、影象和工具使用等附加组件相团结。规划答应 Agent 将复杂目的分解为可管理的子任务。影象提供短期的上下文学习和长期知识存储，以便快速检索。工具使用使 Agent 可以大概通过调用 API、使用搜刮引擎、实行代码等来网络信息和接纳举措。
经心筹划的提示通过编码脚色、指令、权限和上下文来塑造 Agent 举动。这使开发职员可以大概为各种应用步调定制 Agent，如对话助手、工作流主动化、模仿和科学发现。LLM Agent 的重要上风包罗天然语言明确、推理和自主任务完成。然而，在有限的上下文巨细、不可靠的天然语言接口以及长期规划困难等方面仍旧存在寻衅。

推理和举措 (ReAct) Agent框架

本实行中使用的 Agent 使用一种称为 ReAct 的技能。ReAct(推理和举措)是一种新的范式，它团结了语言模子在推理和举措本事方面的进步，使它们可以大概办理复杂的语言推理和决议任务。使用 ReAct，语言模子可以天生推理跟踪来创建、维护和调解高级筹划，并接纳举措从外部源(如 API 和知识库)中获取额外信息。
ReAct 的重要优点是推理和举措之间的协同作用。推理答应模子推导和更新筹划，而举措使网络额外信息以支持推理成为大概。这有助于办理仅推理方法中的幻觉和错误级联等标题。与仅推理和仅举措的基线相比，ReAct 已被证着实多跳问答、究竟查抄和交互式决议等任务上实现了更良好的性能。

本实践包罗的内容

1. 创建运行Jupyter Notebook的盘算资源服务器

2. 分享使用AI大语言模子和Langchain构建智能车算法训练知识库的GitHub源代码

3. 在Jupyter Notebook中运行代码创建向量数据库、LangChain Agent，并使用Bedrock上的大语言模子构建RAG知识库，用于智能车模子算法训练干系标题的查询


项目实操步调

摆设云资源

1. 起首我们登录亚马逊云科技控制台，进入Sagemaker服务主页

2. 在左侧菜单栏中点击Notebook, 点击Create Notebook Instances创建盘算实例，用于运行Jupyter Notebook服务器

3. 为Instance定名为”DeepRacerLab“，选择实例范例为”ml.t2.medium“，将磁盘容量设置为64GB

4. 为Jupyter Instance分配须要IAM权限，并开启Root Access，如许用户在Jupyter服务器中运行下令时会以root用户权限运行。

 5. 同时我们可以在创建服务器时主动添加Github项目代码，我们如图添加项目url：”https://github.com/jeremypedersen/deepracer-genai“，该项目包罗了使用Amazon Bedrock上的大模子和LangChain构建DeepRacer "智能 Agent" 的模子文件和 notebooks

6. 添加完全部参数后，点击”Create notebook instance“创建运行Jupyter Notebook的盘算服务器

打开Jupyter Notebook控制台

7. 当刚创建的Notebook实例的状态变为”InService“后，在SageMaker Instance页面中点击“Open JupyterLab”：

 8. 打开后就会在网页中弹出Jupyter Notebook控制台界面

开始运行代码创建知识库

9. 在左侧文件列表中打开文件：”00_deepracer_model_evaluation.ipynb“

 10. 打开文件后，会提示选择运行代码的内核，我们选择 conda_python3

11.  末了按照Jupyter Notebook里的步调依次运行就可以创建RAG知识库了！

以上就是使用亚马逊云科技AI大语言模子和Langchain开发智能车算法训练知识库上篇内容。接待各人关注小李哥的亚马逊云科技AI服务深入调研系列，关注小李哥未来不要错过更多国际前沿的AWS云开发/云架构方案。