langchain当地知识库问答呆板人集资当地知识库

配景

1. 在网上找到个案例
2. langchain本地知识库问答机器人集成本地知识库
3. 下面是文章的代码

复制代码

1. from langchain.embeddings.openai import OpenAIEmbeddings
2. from langchain.vectorstores import Chroma
3. from langchain.text_splitter import CharacterTextSplitter
4. from langchain import OpenAI,VectorDBQA
5. from langchain.document_loaders import DirectoryLoader
6. from langchain.chains import RetrievalQA
8. # 加载文件夹中的所有txt类型的文件
9. loader = DirectoryLoader('/content/sample_data/data/', glob='**/*.txt')
10. # 将数据转成 document 对象，每个文件会作为一个 document
11. documents = loader.load()
13. # 初始化加载器
14. text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
15. # 切割加载的 document
16. split_docs = text_splitter.split_documents(documents)
18. # 初始化 openai 的 embeddings 对象
19. embeddings = OpenAIEmbeddings()
20. # 将 document 通过 openai 的 embeddings 对象计算 embedding 向量信息并临时存入 Chroma 向量数据库，用于后续匹配查询
21. docsearch = Chroma.from_documents(split_docs, embeddings)
23. # 创建问答对象
24. qa = VectorDBQA.from_chain_type(llm=OpenAI(), chain_type="stuff", vectorst

复制代码