【实施案例】查询分析 🦜️🔗 Query analysis
输入“/”快速插入内容
【实施案例】查询分析 🦜️🔗 Query analysis
【实施案例】查询分析 🦜️🔗 Query analysis
用户811用户8112024年4月12日创建
1410
2259
查询分析
“搜索”是许多用例的动力，包括Retrieval Augmented Generation的“检索”部分。最简单的做法是将用户问题直接传递给检索器。为了提高性能，您还可以通过查询分析以某种方式“优化”查询。这通常是通过基于规则的技术来完成的，但随着LLMs的兴起，使用LLM来做这件事变得越来越流行和可行。具体来说，这涉及到将原始问题（或消息列表）传递给LLM，并返回一个或多个优化后的查询，这些查询通常包含一个字符串，以及其他可选的结构化信息。
🌿
场景⑦：【LLM用例】查询分析 🦜️🔗 Query analysis
落地：【实施案例】查询分析 🦜️🔗 Query analysis
解决的问题
查询分析有助于优化发送给检索器的搜索查询。这种情况可能是：
•
检索器支持针对数据的具体字段进行搜索和筛选，而用户输入可能涉及这些字段的任意一个，
•
用户输入包含多个独立的查询，
•
为了获取相关信息，需要进行多个查询，
•
搜索质量对措辞敏感，
•
存在多个可以搜索的检索器，而用户输入可能指的是其中的任何一个。
注意，不同的问题需要不同的解决方案。为了确定你应该使用哪种查询分析技术，你需要了解你当前检索系统的具体问题。这最好是通过查看你当前应用程序的失败数据点并识别常见主题来完成。只有知道了你的问题，你才能开始解决它们。
示例
这个示例将会展示如何在简单的端到端示例中使用查询分析。我们建立一个基础的搜索引擎，展示将原始用户问题发送给搜索引擎时可能遇到的一个问题，以及一个例子，说明查询分析如何解决这个问题。虽然有很多不同的查询分析技术，但这个端到端示例并不会涵盖所有的技术。
为了更好地解释这个问题，我们将对 YouTube 视频进行搜索。
项目设置
首先，我们需要进行环境设置：
安装必要的依赖项
代码块
# %pip install -qU langchain langchain-community langchain-google-genai langchain-groq youtube-transcript-api pytube chromadb
设置环境变量
在这个例子中，我们将使用 Google 生成式 AI 以及 Groq相关接口：
代码块
# import getpass
# import os
# os.environ["GOOGLE_API_KEY"] = getpass.getpass()
# os.environ["GROQ_API_KEY"] = getpass.getpass()
# 关于如何申请 Google 生成式 AI 以及 Groq 的 API Key，包括魔法上网，本文不涉及具体教学
加载文档 Load documents
使用 YouTubeLoader 加载几个 LangChain 视频的转录文本：
代码块
from langchain_community.document_loaders import YoutubeLoader
urls = [
"https://www.youtube.com/watch?v=HAn9vnJy6S4",
"https://www.youtube.com/watch?v=dA1cHGACXCo",
"https://www.youtube.com/watch?v=ZcEMLz27sL4",
"https://www.youtube.com/watch?v=hvAPnpSfSGo",
"https://www.youtube.com/watch?v=EhlPDL4QrWY",
"https://www.youtube.com/watch?v=mmBo8nlu2j0",
"https://www.youtube.com/watch?v=rQdibOsL1ps",
"https://www.youtube.com/watch?v=28lC4fqukoc",
"https://www.youtube.com/watch?v=es-9MgxB-uc",
"https://www.youtube.com/watch?v=wLRHwKuKvOE",
"https://www.youtube.com/watch?v=ObIltMaRJvY",
"https://www.youtube.com/watch?v=DjuXACWYkkU",
"https://www.youtube.com/watch?v=o7C9ld6Ln-M",
]
docs = []
for url in urls:
docs.extend(YoutubeLoader.from_youtube_url(url, add_video_info=True).load())
import datetime
# Add some additional metadata: what year the video was published
for doc in docs:
doc.metadata["publish_year"] = int(
datetime.datetime.strptime(
doc.metadata["publish_date"], "%Y-%m-%d %H:%M:%S"
).strftime("%Y")
)