password
Created time
Feb 18, 2024 05:10 AM
type
status
date
slug
summary
tags
category
icon
这篇文档很好的帮助理解如何将知识库与大模型结合起来使用。核心2个步骤,一是形成向量库,二是利用问题和向量库、LLM形成回答。
导入数据流程
将文档(document)导入,并分成很多的块(chunk),形成向量数据库(vectorstore)
步骤:
- 将文档分块(split into chunks)
- 创新embeddings并保存到vectorstore
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F703e15a9-1c5f-4620-b678-a0dea4d69d32%2F4ca28c18-ba0a-4d87-8ffb-38298a7ce7d8%2FUntitled.png?table=block&id=599a4bf9-4f36-48f0-9952-b9e74f593100&t=599a4bf9-4f36-48f0-9952-b9e74f593100)
查询数据流程
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F703e15a9-1c5f-4620-b678-a0dea4d69d32%2F94bce2c2-e2d3-44e5-96a0-01d8777eb896%2FUntitled.png?table=block&id=961670b7-7f3e-471b-9310-2ee1c44f5244&t=961670b7-7f3e-471b-9310-2ee1c44f5244)
步骤:
- 将聊天记录和新问题通过LLM合并为一个新的问题(利用LLM的语义理解能力)。
这点很重要,因为可以把上下文与新的问题结合起来,提高对客户问题的理解。
- 查找相关文档。去向量库(vectorstore)查询,查找相关文档以获取答案。
- 再次利用LLM生成响应。