大模型时代的到来使得 AI 应用开发变得更加轻松、省时，尤其是在 CVP Stack 的范式下，开发者甚至可以用一个周末的时间做出一个完整的应用程序。
本文将应用理论于实践，给大家演示如何利用 Milvus、Xinference、Llama 2-70B 开源模型和 LangChain，构筑出一个全功能的问答系统。Xinference 使得本地部署 Llama 2 模型变得简洁高效，而 Milvus 则提供了高效的向量存储和检索能力。
摆脱对 OpenAI 的依赖，借助开源生态系统构建出全流程的 AI 应用，现在开始！
01.项目介绍
Milvus
Milvus（https://milvus.io/docs/overvi...） 是一个向量数据库，其主要功能是存储、索引和管理大规模的嵌入向量，这些向量由深度神经网络和其他机器学习模型生成。与传统的关系数据库不同，Milvus 专门处理输入向量的查询，并能够索引规模达到万亿级别的向量。
Milvus 的设计从底层开始，特别考虑了处理来自非结构化数据的嵌入向量。随着互联网的发展，非结构化数据如电子邮件、论文、传感器数据、照片等变得越来越普遍。为了让计算机能够理解和处理这些非结构化数据，这些数据会被转换成向量，使用嵌入技术。Milvus 的任务就是存储和索引这些向量，并通过计算向量之间的相似度来分析它们的相关性。
Xinference
Xinference（https://github.com/xorbitsai/...） 使得本地模型部署变得非常简单。用户可以轻松地一键下载和部署内置的各种前沿开源模型，例如 Llama 2（https://ai.meta.com/llama/）、chatglm2、通义千问等。为了让使用 OpenAI API 的用户能够无缝迁移，Xinference 提供了与 OpenAI 兼容的 RESTful 接口。与 OpenAI 这样的专有大模型方案相比，Xinference 有以下优势：
- 更安全：在私有化部署下，数据完全不外流，大大降低了数据泄露的风险。
- 成本更低：与OpenAI的LLM服务相比，私有化的LLM允许用户在定制化的基础上，用更小的模型达到相似的效果。这可以大大减少硬件需求并提高推理效率。
- 可定制：用户可以基于开源基础模型，使用自己的数据集进行微调，从而创建一个属于自己的模型。
Xinference 还可以在分布式集群中部署，实现高并发推理，并简化了扩容和缩容的过程。Xinference 不仅支持在CPU上进行推理，而且在 GPU 繁忙时，可以将部分计算任务交给 CPU 来完成，从而提高系统的吞吐率。
LangChain
LangChain（https://github.com/langchain-...） 为开发基于语言模型的应用提供了一个灵活且易用的框架，使应用能够与数据源交互并高效地适应其环境。它不仅提供了各种功能组件，还为每一层的抽象都提供了多种实现方式。在这个示例中，LangChain 成功地将诸如 Milvus、Xinference Embedding 和 Xinference LLM 等模块连接起来。我们使用 LangChain 对工作流程进行编排，极大地简化了 AI 应用的开发过程。
以下是问答系统的工作流程图：
02.具体操作
安装&启动服务
通过 PyPI 安装 LangChain、Milvus 和 Xinference：
pip install langchain milvus "xinference[all]"这条命令将在本地 19530 端口启动 Milvus 向量检索服务：
$ milvus-server这条命令将在本地 9997 端口启动 Xinference 模型推理服务：
$ xinference部署 Llama 2 和 Falcon 模型
在本示例中，我们将通过 Xinference 的命令行工具的 launch命令在本地部署两个模型服务：
- Falcon-40B-Instruct：Falcon-40B-Instruct 是一个具有 400 亿万参数的因果解码器模型，它在 Baize 数据集的混合数据上进行了微调。我们将使用这个模型来为文档块生成词向量。
- Llama 2-Chat-70B：Llama 2系列模型是一组GPT-like (也被称作自回归Transformer 模型)大语言模型，Llama 2-Chat 针对聊天对话场景进行了微调，采用了监督微调（SFT）和人类反馈强化学习（RLHF）进行了迭代优。我们将使用这个模型作为 LLM 后端，进行对话。
启动 Falcon-40B-Instruct 模型：
xinference launch --model-name "falcon-instruct" \
--model-format pytorch \
-size-in-billions 40 \
--endpoint "http://127.0.0.1:9997"启动 Llama 2-Chat-70B 模型：
$ xinference launch --model-name "llama-2-chat" \
--model-format ggmlv3 \
--size-in-billions 70 \
--endpoint "http://127.0.0.1:9997"上述两个命令都会返回 model_uid，可以利用它在 LangChain 中与它们交互。要了解如何在集群中部署 Xinference，可参考 Xinference 的 README。
用Xinference Embeddings抽取向量
在这个示例中，我们选择了这个文件（https://github.com/hwchase17/...）来作为问答系统的“知识库”，可以将它替换为其他内容，或者增加更多的文档。我们使用 LangChain 的 TextLoader 和 RecursiveCharacterTextSplitter 来记载以及对文档分块。
from langchain.document_loaders import TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
loader = TextLoader("../../state_of_the_union.txt") # 替换成任何你想要进行问答的txt文件
documents = loader.load()
text_splitter = RecursiveCharacterTextSplitter(
chunk_size = 512,
chunk_overlap = 100,
length_function = len,
)
docs = text_splitter.split_documents(documents)连接到我们在上一步中创建的 Xinference Embedding 服务端点，即 Falcon-40B-Instruct 模型。之后，我们可以使用embed_query或 embed_documents方法来提取查询或文档片段的文本向量。
from langchain.embeddings import XinferenceEmbeddings
xinference_embeddings = XinferenceEmbeddings(
server_url="http://127.0.0.1:9997", # 换成设置的url，这里用的是默认端口
model_uid = {model_uid} # 替换成之前返回的Falcon-Instruct模型model_uid
)用Milvus实现向量搜索
通过刚才的步骤，我们将一篇长文章进行了分块，并且对每个分块进行了向量化。接下来我们借助 LangChain 提供的 from_documents方法将向量化后的文档写入了 Milvus：
from langchain.vectorstores import Milvus
vector_db = Milvus.from_documents(
docs,
xinference_embeddings,
connection_args={"host": "0.0.0.0", "port": "19530"},
)然后我们就可以开始对文档进行搜索了！在这里我们使用了 LangChain 提供的 similarity_search（https://python.langchain.com/...） 接口，它的原理是寻找和 query 具有最大余弦相似度的 Embedding，因此它召回的内容也都是文本中的原句。
query = "what does the president say about Ketanji Brown Jackson"
docs = vector_db.similarity_search(query, k=10)
print(docs[0].page_content) 结果如下，可以看出 Top-k 回答中的第一个回答就给出了文本中关于 Ketanji Brown Jackson 的上下文原句。
One of the most serious constitutional responsibilities a President has is nominating someone to serve on the United States Supreme Court.
And I did that 4 days ago, when I nominated Circuit Court of Appeals Judge Ketanji Brown Jackson. One of our nation’s top legal minds, who will continue Justice Breyer’s legacy of excellence.用 Xinference LLM 构建对话式问答系统
接下来我们将演示如何利用 LLM 对文本内容进行归纳和总结，并且借助 LangChain 创造对话式的问答体验。
首先，我们引入 LangChain 的 Xinference LLM 模块，用我们之前启动的 Llama2 模型作为 LLM 来提供对话的能力：
from langchain.llms import Xinference
xinference_llm = Xinference(
server_url="http://127.0.0.1:9997", # 换成设置的url，这里用的是默认端口
model_uid = {model_uid} # 替换成上一步返回的Llama 2 chat模型的model_uid
)我们先试试看，在不利用文档信息的前提下，看看 Llama 2 会给出什么答案：
xinference_llm(prompt="What did the president say about Ketanji Brown Jackson?")'\nWhat did the president say about Ketanji Brown Jackson?\nPresident Joe Biden called Judge Ketanji Brown Jackson a "historic" and "inspiring" nominee when he introduced her as his pick to replace retiring Supreme Court Justice Stephen Breyer. He highlighted her experience as a public defender and her commitment to justice and equality, saying that she would bring a unique perspective to the court.\n\nBiden also praised Jackson\'s reputation for being a "fair-minded" and "thoughtful" jurist who is known for her ability to build'为了让 LLM 能记住上下文，我们用 LangChain 中 ConversationBufferMemory 模块的创建一个拥有“记忆”对象，用来保存对话的历史记录。
from langchain.memory import ConversationBufferMemory
memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)我们使用 LangChain 中的 ConversationalRetrievalChain 作为核心模块，LangChain 替我们处理了和 Memory 打交道并且从向量数据库中召回文档的细节，使得我们在开发应用的过程中无需关注它们的实现：首先，LangChain 会将聊天历史（这里是从提供的 Memory 中检索的）与当前问题合并，形成一个独立的问题；然后，根据独立的问题从检索器中查找相关文档；最后，将检索到的文档和独立的问题传递给问答链，生成回答。
from langchain.chains import ConversationalRetrievalChain
chain = ConversationalRetrievalChain.from_llm(
llm=xinference_llm,
retriever=vector_db.as_retriever(),
memory=memory)创建好这个Chain之后，我们就可以开始对文档进行提问了：
query = "What did the president say about Ketanji Brown Jackson"
result = chain({"question": query})
print(result["answer"])' According to the provided text, President Biden said that he nominated Circuit Court of Appeals Judge Ketanji Brown Jackson to serve on the United States Supreme Court 4 days ago, and that she is one of our nation’s top legal minds who will continue Justice Breyer’s legacy of excellence.'对比之前不借助文档直接提问的效果，使用了文档搜索之后的回答看起来更靠谱了，因为 LLM 使用了我们提前准备好的“知识库”来回答，并且对文档内容进行了一定的总结。
因为有 Memory 的加持，我们还能够和 LLM 持续对话：
query = "Did he mention who she succeeded"
result = chain({"question": query})
print(result["answer"])'According to the given text, President Biden said that Ketanji Brown Jackson succeeded Justice Breyer on the Supreme Court.'可以看到 Llama 2 精准地认识到“he”指代上一个 query 中的 the president， “she” 指代上一个 query 中的 Ketanji Brown Jackson。
再换一个问题，这次 Llama 2 找到了文章中关于总统对 COVID-19 的评论，并总结出了相关的答案：
query = "Summarize the President's opinion on COVID-19"
result = chain({"question": query})
print(result['answer'])' According to the text, the president views COVID-19 as a "God-awful disease" and wants to move forward in addressing it in a unified manner, rather than allowing it to continue being a partisan dividing line.'03.总结
在这篇文章中，我们以构建本地全功能问答系统为例，展示如何巧妙地融合 Xinference 和 Milvus 两大强大的开源工具，并通过 LangChain 实现顺畅的串联，并且利用了开源模型的强大为例，打破了被单一大模型 API 束缚的桎梏。我们深信，通过持续探索和技术的协同，一定可以实现更多激动人心的应用与技术突破，创造更大的价值。
