【实施案例】内容总结 🦜️🔗 Summarization
输入“/”快速插入内容
【实施案例】内容总结 🦜️🔗 Summarization
【实施案例】内容总结 🦜️🔗 Summarization
用户811用户8112024年4月12日创建
1433
2247
🌿
场景⑧：【LLM用例】内容总结 🦜️🔗 Summarization
落地：【实施案例】内容总结 🦜️🔗 Summarization
原理
要想制作一个文件总结工具，最关键的一步就是要把你的文件内容正确地输入到LLM的处理窗口里。通常，这里有两种主流的做法：
Stuff方法
一种直接的方式就是把所有的文件内容扔进一个大的文本框里。这样做最简单，不过你需要先了解如何使用create_stuff_documents_chain这个构造器，这个构造器就是用来实现这种方法的。
Map-reduce方法
另一种方法是先分别对每个文件进行总结，这就好比是一个“map”过程，然后再把所有这些总结合并起来，形成一个最终的总结，这就像是“reduce”过程。想要了解如何使用MapReduceDocumentsChain来实现这个过程，可以再看一下这个链接。
指南
为了让你初步了解，这两种处理方式可以封装在一个单独的函数中：load_summarize_chain。
假设我们要对一篇博客文章进行总结，我们可以用几行代码来实现。
首先，设置环境变量并安装所需的包：
【代码示例】
代码块
%pip install --upgrade --quiet langchain-groq prema tiktoken chromadb langchain
# Set env var PREMAI_API_KEY & GROQ_API_KEY or load from a .env file
# 请自行去它们的官网上申请API，获得 PREMAI_API_KEY & GROQ_API_KEY 的值
# import dotenv
# dotenv.load_dotenv()
chain_type有chain_type="stuff"，chain_type="map_reduce" 或 chain_type="refine" 的选项。
我们使用 chain_type="stuff" 的方式，特别是当我们使用较大上下文窗口的模型时：
【代码示例】
代码块
from langchain.chains.summarize import load_summarize_chain
from langchain_community.document_loaders import WebBaseLoader
from langchain_community.chat_models import ChatPremAI
loader = WebBaseLoader("https://aithoughts.github.io/tasks/2022/09/16/building-ai-models")
docs = loader.load()
llm = ChatPremAI(project_id=609)
chain = load_summarize_chain(llm, chain_type="stuff")
chain.invoke(docs)