\n| LLM-as-a-Parser（GPT-4o \u7b49\u591a\u6a21\u6001\u6a21\u578b\u76f4\u63a5"\u770b"PDF）<\/td>\n | \u51c6\u786e\u7387\u6781\u9ad8，\u76f4\u63a5\u8f93\u51fa Markdown<\/td>\n | \u626b\u63cf\u4ef6\u3001\u6392\u7248\u590d\u6742\u7684 PDF；\u6210\u672c\u8f83\u9ad8<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n \u793a\u4f8b（\u4f7f\u7528 Unstructured \u89e3\u6790 PDF）：<\/p>\n from unstructured.partition.pdf import partition_pdf<\/p>\n elements = partition_pdf(
\n filename="docs\/\u4ea7\u54c1\u624b\u518c.pdf",
\n strategy="hi_res", # \u9ad8\u5206\u8fa8\u7387\u7b56\u7565，\u8868\u683c\/\u56fe\u7247\u8bc6\u522b\u66f4\u51c6
\n)
\nfor el in elements:
\n print(el.category, "|", el.text[:100])
\n# \u8f93\u51fa\u793a\u4f8b：
\n# Title | \u7b2c\u4e00\u7ae0 \u4ea7\u54c1\u6982\u8ff0
\n# Table | \u578b\u53f7 | \u529f\u7387 | \u4ef7\u683c …<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 1：\u626b\u63cf\u7248 PDF \u5fc5\u987b\u5148 OCR，\u5426\u5219\u89e3\u6790\u51fa\u6765\u5168\u662f\u4e71\u7801\u6216\u7a7a\u767d\u3002Unstructured \u7684\u00a0strategy="ocr_only"\u00a0\u6216\u00a0hi_res\u00a0\u53ef\u5904\u7406，\u4f46\u4e0d\u8981\u9ed8\u8ba4\u8df3\u8fc7\u8fd9\u4e00\u6b65\u3002<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 2：\u8868\u683c\u662f\u89e3\u6790\u91cd\u707e\u533a\u3002Word \u8f6c PDF \u7684\u8868\u683c\u3001\u5e26\u5408\u5e76\u5355\u5143\u683c\u7684\u8868\u683c，\u89e3\u6790\u540e\u5e38\u5e38\u884c\u5217\u9519\u4e71\u3002\u89e3\u6790\u540e\u5fc5\u987b\u62bd\u6837\u4eba\u5de5\u68c0\u67e5\u2014\u2014"\u89e3\u6790\u9519\u8bef\u7684 PDF \u662f RAG \u5931\u8d25\u7684\u9996\u8981\u539f\u56e0"，\u6ca1\u6709\u4e4b\u4e00\u3002<\/p>\n
\n1.3 \u5207\u7247：\u628a\u4e66\u62c6\u6210"\u77e5\u8bc6\u70b9\u5361\u7247"<\/h4>\n\u539f\u7406：\u5927\u6a21\u578b\u7684\u4e0a\u4e0b\u6587\u7a97\u53e3\u6709\u9650（\u51e0\u5343\u5230\u51e0\u5341\u4e07 token），\u4f60\u4e0d\u80fd\u628a\u6574\u672c\u4e66\u585e\u8fdb\u53bb，\u8981\u628a\u957f\u6587\u6863\u5207\u6210\u8bed\u4e49\u5b8c\u6574\u7684\u5c0f\u7247\u6bb5，\u68c0\u7d22\u65f6\u6309\u7247\u6bb5\u53ec\u56de\u3002<\/p>\n \u901a\u4fd7\u7c7b\u6bd4：\u5207\u7247\u5c31\u50cf\u628a\u4e00\u672c\u539a\u4e66\u62c6\u6210\u4e00\u5f20\u5f20"\u77e5\u8bc6\u70b9\u5361\u7247"，\u6bcf\u5f20\u5361\u7247\u8bb2\u6e05\u4e00\u4e2a\u5c0f\u4e3b\u9898\u3002\u5207\u5f97\u592a\u7c97，\u68c0\u7d22\u6d6a\u8d39 token；\u5207\u5f97\u592a\u788e，\u8bed\u4e49\u88ab\u62e6\u8170\u622a\u65ad\u3002<\/p>\n \u5207\u7247\u65b9\u6848\u6f14\u8fdb：<\/p>\n \n\n\u65b9\u6848\u505a\u6cd5\u4f18\u70b9\u7f3a\u70b9<\/tr>\n \n| \u56fa\u5b9a\u5927\u5c0f\u5207\u7247<\/td>\n | \u6bcf 500 token \u4e00\u5200<\/td>\n | \u5b9e\u73b0\u7b80\u5355<\/td>\n | \u6781\u6613\u5207\u65ad\u8bed\u4e49，\u6bd4\u5982\u628a"\u5c0f\u660e\u662f"\u548c"\u7a0b\u5e8f\u5458"\u5206\u5230\u4e24\u6bb5<\/td>\n<\/tr>\n | \n| \u7ed3\u6784\u5207\u7247<\/td>\n | \u6309 Markdown \u6807\u9898\u3001\u4ee3\u7801\u51fd\u6570\u5207<\/td>\n | \u8bed\u4e49\u5b8c\u6574<\/td>\n | \u4f9d\u8d56\u6587\u6863\u7ed3\u6784，\u65e0\u7ed3\u6784\u7684\u6587\u6863\u6ca1\u7528<\/td>\n<\/tr>\n | \n| \u8bed\u4e49\u5207\u7247<\/td>\n | \u7528 Embedding \u7b97\u53e5\u5b50\u76f8\u4f3c\u5ea6，\u5728\u8bed\u4e49\u65ad\u5c42\u5904\u5207<\/td>\n | \u8fb9\u754c\u6700\u5408\u7406<\/td>\n | \u8ba1\u7b97\u6210\u672c\u9ad8<\/td>\n<\/tr>\n | \n| Late Chunking（Cohere）<\/td>\n | \u5148\u5bf9\u5168\u6587\u505a Embedding，\u518d\u6309\u8fb9\u754c\u5e73\u5747\u6c60\u5316<\/td>\n | \u4fdd\u7559\u8de8\u8fb9\u754c\u4e0a\u4e0b\u6587\u4fe1\u606f<\/td>\n | \u9700\u8981\u7279\u5b9a\u6a21\u578b\u914d\u5408<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n \u5b9e\u9645\u63a8\u8350：\u5148\u7528\u7ed3\u6784\u5207\u7247（MarkdownHeaderTextSplitter\u00a0\u6216\u6309\u6bb5\u843d），\u518d\u53e0\u52a0\u5927\u5c0f\u4e0a\u9650（\u5982 5121024 token，\u91cd\u53e0 50100 token）\u3002\u91cd\u53e0（overlap）\u662f\u4e3a\u4e86\u9632\u6b62\u95ee\u9898\u6070\u597d\u843d\u5728\u5207\u53e3\u4e0a\u3002<\/p>\n from langchain.text_splitter import MarkdownHeaderTextSplitter<\/p>\n splitter = MarkdownHeaderTextSplitter(
\n headers_to_split_on=[("#", "\u6807\u98981"), ("##", "\u6807\u98982")],
\n)
\nchunks = splitter.split_text(markdown_doc)
\nfor c in chunks[:3]:
\n print(c.metadata, "|", c.page_content[:50])<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9：\u4e0d\u8981\u5bf9\u8868\u683c\u3001JSON\u3001\u4ee3\u7801\u505a\u7eaf\u5b57\u7b26\u5207\u7247\u3002\u8fd9\u7c7b\u7ed3\u6784\u5316\u5185\u5bb9\u6700\u597d\u6574\u5757\u4fdd\u7559（\u6bd4\u5982\u4e00\u4e2a\u8868\u683c\u4f5c\u4e3a\u4e00\u7247），\u5426\u5219\u68c0\u7d22\u5230\u7684\u7247\u6bb5"\u7f3a\u5934\u5c11\u5c3e"，\u6a21\u578b\u6839\u672c\u8bfb\u4e0d\u61c2\u3002<\/p>\n
\n1.4 Embedding：\u8ba9\u6587\u5b57\u53d8\u6210"\u5750\u6807\u70b9"<\/h4>\n\u539f\u7406：\u628a\u6587\u672c\u6620\u5c04\u5230\u4e00\u4e2a\u9ad8\u7ef4\u5411\u91cf\u7a7a\u95f4（\u6bd4\u5982 1024 \u7ef4），\u8ba9\u8bed\u4e49\u76f8\u8fd1\u7684\u6587\u672c\u5728\u7a7a\u95f4\u91cc\u8ddd\u79bb\u66f4\u8fd1\u3002<\/p>\n \u901a\u4fd7\u7c7b\u6bd4：\u60f3\u8c61\u4e00\u4e2a\u5de8\u5927\u7684"\u8bed\u4e49\u5730\u56fe"\u3002"\u82f9\u679c"\u548c"\u6c34\u679c"\u79bb\u5f97\u8fd1，"\u82f9\u679c"\u548c"\u6c7d\u8f66"\u79bb\u5f97\u8fdc\u3002Embedding \u6a21\u578b\u8d1f\u8d23\u628a\u6bcf\u53e5\u8bdd\u5728\u5730\u56fe\u4e0a"\u5b9a\u4f4d"\u3002<\/p>\n 2026 \u5e74\u5f00\u6e90\u6a21\u578b\u5df2\u5168\u9762\u53cd\u8d85\u95ed\u6e90 API\u2014\u2014Qwen3-Embedding-8B\u3001Harrier-OSS-v1\u3001NV-Embed-v2 \u7b49\u5728 MTEB v2 \u6392\u884c\u699c\u4e0a\u5747\u8d85\u8d8a OpenAI \/ Cohere \u7b49\u5546\u4e1a API\u3002\u81ea\u6258\u7ba1\u4f18\u5148\u9009\u5f00\u6e90；\u95ed\u6e90 API \u53ea\u5728\u4f60\u4e0d\u60f3\u8fd0\u7ef4 GPU\u3001\u4e14\u5bf9\u957f\u4e0a\u4e0b\u6587\/\u591a\u6a21\u6001\u6709\u7279\u5b9a\u9700\u6c42\u65f6\u8003\u8651\u3002<\/p>\n 2026 \u6700\u65b0\u5f00\u6e90 Embedding \u6a21\u578b：<\/p>\n \n\n\u6a21\u578b\u53c2\u6570\u7279\u70b9\u4e0a\u4e0b\u6587\u8bb8\u53ef\u9002\u5408\u573a\u666f<\/tr>\n \n| Qwen3-Embedding-8B<\/td>\n | 8B<\/td>\n | \u591a\u8bed\u8a00\u7b2c\u4e00\u68af\u961f（119 \u8bed\u8a00），\u6307\u4ee4\u611f\u77e5，\u652f\u6301 MRL \u622a\u65ad<\/td>\n | 32K<\/td>\n | Apache 2.0<\/td>\n | \u81ea\u6258\u7ba1\u9996\u9009，\u4e2d\u6587\/\u591a\u8bed\u8a00 RAG \u6700\u5f3a\u5f00\u6e90\u9009\u62e9<\/td>\n<\/tr>\n | \n| Qwen3-Embedding-4B \/ 0.6B<\/td>\n | 4B \/ 0.6B<\/td>\n | \u540c\u7cfb\u5217\u5c0f\u5c3a\u5bf8，\u6027\u4ef7\u6bd4\u4e0e\u8fb9\u7f18\u90e8\u7f72<\/td>\n | 32K<\/td>\n | Apache 2.0<\/td>\n | 4B \u662f\u751f\u4ea7\u90e8\u7f72\u751c\u70b9，0.6B \u9002\u5408 CPU\/\u8fb9\u7f18<\/td>\n<\/tr>\n | \n| Harrier-OSS-v1（\u5fae\u8f6f）<\/td>\n | 27B<\/td>\n | 2026 \u5e74 3 \u6708\u53d1\u5e03，MMTEB v2 \u699c\u9996（~74.3）<\/td>\n | 32K<\/td>\n | MIT<\/td>\n | \u6709\u63a8\u7406\u57fa\u7840\u8bbe\u65bd\u3001\u8ffd\u6c42\u6781\u81f4\u8d28\u91cf<\/td>\n<\/tr>\n | \n| NV-Embed-v2（NVIDIA）<\/td>\n | 7B<\/td>\n | \u82f1\u6587\u68c0\u7d22\u4e13\u9879\u6700\u5f3a（~72.3）<\/td>\n | 32K<\/td>\n | CC-BY-NC<\/td>\n | \u82f1\u6587\u573a\u666f\u3001NVIDIA\/vLLM \u670d\u52a1<\/td>\n<\/tr>\n | \n| BGE-M3（\u667a\u6e90）<\/td>\n | 568M<\/td>\n | dense + sparse + \u591a\u5411\u91cf\u4e09\u5408\u4e00，100+ \u8bed\u8a00<\/td>\n | 8K<\/td>\n | MIT<\/td>\n | \u4ecd\u662f\u751f\u4ea7\u73af\u5883\u6700\u5e38\u7528，\u6df7\u5408\u68c0\u7d22\u514d\u591a\u6a21\u578b<\/td>\n<\/tr>\n | \n| Jina v5-text-small<\/td>\n | ~0.6B<\/td>\n | MTEB v2 \u82f1\u6587 71.7，\u8de8\u8bed\u8a00\u5bf9\u9f50\u597d<\/td>\n | 32K<\/td>\n | CC-BY-NC<\/td>\n | \u5185\u90e8\u5de5\u5177\/\u7814\u7a76；\u5546\u7528\u8d70 API<\/td>\n<\/tr>\n | \n| gte-Qwen3-8B（\u963f\u91cc）<\/td>\n | 8B<\/td>\n | \u901a\u7528\u591a\u8bed\u8a00，Apache 2.0<\/td>\n | 32K<\/td>\n | Apache 2.0<\/td>\n | \u9700\u8981\u5bbd\u677e\u5546\u7528\u8bb8\u53ef\u7684\u66ff\u4ee3<\/td>\n<\/tr>\n | \n| KaLM-Embedding-Gemma3-12B（\u817e\u8baf）<\/td>\n | 12B<\/td>\n | MMTEB \u5b98\u65b9\u699c\u9996（72.32）<\/td>\n | 32K<\/td>\n | \u817e\u8baf\u793e\u533a\u8bb8\u53ef<\/td>\n | \u4e2d\u6587\/\u591a\u8bed\u8a00\u9ad8\u8d28\u91cf\u573a\u666f<\/td>\n<\/tr>\n | \n| Nomic Embed Text V2（MoE）<\/td>\n | ~475M<\/td>\n | \u9996\u4e2a\u5f00\u6e90 MoE Embedding，dense+sparse \u4e00\u4f53<\/td>\n | 512<\/td>\n | Apache 2.0<\/td>\n | \u6df7\u5408\u68c0\u7d22\u3001\u4f4e\u8d44\u6e90<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n 2026 \u6700\u65b0\u95ed\u6e90 API：<\/p>\n \n\n\u6a21\u578b\u7279\u70b9\u4e0a\u4e0b\u6587\u4ef7\u683c（\u6bcf\u767e\u4e07 token）<\/tr>\n \n| Gemini Embedding 2（Google）<\/td>\n | \u9996\u4e2a\u539f\u751f\u591a\u6a21\u6001（\u6587\u672c+\u56fe+\u97f3\u89c6\u9891+PDF \u7edf\u4e00\u5411\u91cf），MTEB ~68.3<\/td>\n | 8K<\/td>\n | ~$0.008（batch \u66f4\u4f4e）<\/td>\n<\/tr>\n | \n| Voyage-3.1 \/ voyage-4-large<\/td>\n | \u4ee3\u7801\/\u6cd5\u5f8b\/\u91d1\u878d\u9886\u57df\u68c0\u7d22\u6700\u5f3a，\u957f\u4e0a\u4e0b\u6587\u4e4b\u738b<\/td>\n | 128K<\/td>\n | ~$0.06\u20130.5<\/td>\n<\/tr>\n | \n| Cohere Embed v4<\/td>\n | \u591a\u6a21\u6001\u3001100+ \u8bed\u8a00\u3001Matryoshka \u7ef4\u5ea6\u53ef\u8c03<\/td>\n | 128K<\/td>\n | ~$0.10\u20130.12<\/td>\n<\/tr>\n | \n| OpenAI text-embedding-3-large\/small<\/td>\n | \u4ecd\u662f 2024 \u5e74 1 \u6708\u7684\u7248\u672c，\u672a\u66f4\u65b0，\u9760\u751f\u6001\u5403\u8001\u672c<\/td>\n | 8K<\/td>\n | $0.13 \/ $0.02<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n \u5173\u952e\u8d8b\u52bf：<\/p>\n \u5f00\u6e90\u5df2\u53cd\u8d85\u95ed\u6e90：Qwen3-Embedding-8B\u3001Harrier\u3001NV-Embed-v2 \u5728 MTEB v2 \u4e0a\u5747\u8d85\u8d8a OpenAI\/Cohere \u7b49 API\u3002<\/li>\n\u591a\u6a21\u6001\u6210\u4e3a\u6807\u914d：Gemini Embedding 2\u3001Cohere v4 \u90fd\u80fd\u628a\u56fe\u7247\/PDF \u4e0e\u6587\u672c\u5d4c\u5165\u540c\u4e00\u5411\u91cf\u7a7a\u95f4\u3002<\/li>\nMatryoshka（MRL）\u7ef4\u5ea6\u622a\u65ad\u666e\u53ca：\u53ef\u628a 4096 \u7ef4\u622a\u5230 32 \u7ef4\u4f7f\u7528，\u5411\u91cf\u5e93\u5b58\u50a8\u7701 75% \u4ee5\u4e0a\u3002<\/li>\n\u6df7\u5408\u68c0\u7d22\u5185\u5efa：BGE-M3\u3001Nomic v2 \u5355\u6a21\u578b\u540c\u65f6\u8f93\u51fa dense + sparse，\u4e0d\u7528\u518d\u62fc BM25\u3002<\/li>\n\u6210\u672c\u5dee\u8ddd\u60ac\u6b8a：\u6bcf\u5929 1 \u4ebf token \u7684 RAG \u8d1f\u8f7d，OpenAI API \u7ea6 $13,000\/\u6708，\u81ea\u6258\u7ba1 BGE-M3 \u7ea6 $500\/\u6708（\u5dee\u7ea6 26 \u500d）\u3002<\/li>\n\u6ce8\u610f MTEB v2 \u5df2\u6362\u699c：2026 \u5e74\u8d77\u5206 English v2 \u4e0e MMTEB \u591a\u8bed\u8a00\u699c，\u5206\u6570\u4e0d\u80fd\u4e0e v1 \u76f4\u63a5\u6bd4\u8f83\u3002<\/li>\nfrom sentence_transformers import SentenceTransformer<\/p>\n model = SentenceTransformer("BAAI\/bge-m3")
\ntexts = ["\u82f9\u679c\u662f\u4e00\u79cd\u6c34\u679c", "\u82f9\u679c\u53d1\u5e03\u4e86\u65b0\u624b\u673a", "\u4eca\u5929\u5929\u6c14\u5f88\u597d"]
\nembeddings = model.encode(texts, normalize_embeddings=True)
\nprint(embeddings.shape) # (3, 1024)<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 1：\u67e5\u8be2\u8bed\u53e5\u548c\u6587\u6863\u8981\u7528\u540c\u4e00\u4e2a Embedding \u6a21\u578b，\u5426\u5219"\u5730\u56fe"\u90fd\u4e0d\u4e00\u6837，\u68c0\u7d22\u5fc5\u7136\u5931\u6548\u3002<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 2：Embedding \u6a21\u578b\u5347\u7ea7\u540e\u8981\u5168\u91cf\u91cd\u704c\u5411\u91cf\u5e93\u3002\u6df7\u7528\u65b0\u65e7\u6a21\u578b\u4ea7\u751f\u7684\u5411\u91cf（\u65b0\u65e7"\u5730\u56fe"）\u65e0\u6cd5\u4e92\u76f8\u6bd4\u8f83，\u8fd9\u662f\u7ebf\u4e0a\u4e8b\u6545\u9ad8\u53d1\u70b9\u3002<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 3：\u4e2d\u6587\u573a\u666f\u8bf7\u4f18\u5148\u9009\u62e9\u591a\u8bed\u8a00\u6a21\u578b（\u5982 Qwen3-Embedding\u3001BGE-M3\u3001KaLM-Embedding），\u7eaf\u82f1\u6587\u4e13\u9879\u6a21\u578b（\u5982 NV-Embed-v2）\u5bf9\u4e2d\u6587\u8bed\u4e49\u7684\u7406\u89e3\u4f1a\u5927\u6253\u6298\u6263\u3002<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 4：MRL \u7ef4\u5ea6\u622a\u65ad\u5fc5\u987b\u5168\u5c40\u7edf\u4e00\u3002Qwen3-Embedding \u7b49\u652f\u6301\u628a 4096 \u7ef4\u622a\u5230\u4efb\u610f\u7ef4\u5ea6（\u5982 1024\/512\/256），\u4f46\u4e00\u65e6\u9009\u5b9a\u622a\u65ad\u7ef4\u5ea6，\u5165\u5e93\u4e0e\u67e5\u8be2\u5fc5\u987b\u4e00\u81f4，\u4e2d\u9014\u6539\u7ef4\u5ea6\u8981\u5168\u91cf\u91cd\u5efa\u5411\u91cf\u5e93\u3002<\/p>\n
\n1.5 \u5411\u91cf\u6570\u636e\u5e93：\u7ed9\u4e0a\u4ebf\u4e2a\u5750\u6807\u70b9\u5efa\u7d22\u5f15<\/h4>\n\u539f\u7406：\u5411\u91cf\u6570\u636e\u5e93\u89e3\u51b3"\u5728\u51e0\u4ebf\u4e2a\u9ad8\u7ef4\u5411\u91cf\u91cc\u5feb\u901f\u627e\u5230\u79bb\u67e5\u8be2\u70b9\u6700\u8fd1\u7684 Top-K \u4e2a"\u3002\u6838\u5fc3\u662f\u8fd1\u4f3c\u6700\u8fd1\u90bb（ANN）\u7d22\u5f15（\u5982 HNSW\u3001IVF），\u727a\u7272\u5c11\u91cf\u7cbe\u5ea6\u6362\u53d6\u6beb\u79d2\u7ea7\u54cd\u5e94\u3002<\/p>\n \u901a\u4fd7\u7c7b\u6bd4：Embedding \u6a21\u578b\u53ea\u662f\u628a\u4e66\u7684\u5185\u5bb9"\u7ffb\u8bd1\u6210\u5750\u6807"，\u5411\u91cf\u6570\u636e\u5e93\u624d\u662f\u771f\u6b63\u7684"\u4e66\u67b6"\u2014\u2014\u5b83\u628a\u4e0a\u4ebf\u4e2a\u5750\u6807\u70b9\u7ec4\u7ec7\u6210\u53ef\u4ee5\u79d2\u67e5\u7684\u7d22\u5f15\u7ed3\u6784\u3002<\/p>\n \u9009\u578b\u5bf9\u6bd4：<\/p>\n \n\n\u6570\u636e\u5e93\u6838\u5fc3\u7279\u70b9\u9002\u7528\u573a\u666f<\/tr>\n \n| Pinecone<\/td>\n | \u5168\u6258\u7ba1 SaaS，\u81ea\u52a8\u6269\u7f29\u5bb9<\/td>\n | \u5feb\u901f\u539f\u578b\u3001\u4e0d\u60f3\u8fd0\u7ef4\u7684\u521d\u521b\u56e2\u961f<\/td>\n<\/tr>\n | \n| Milvus \/ Zilliz<\/td>\n | \u9ad8\u6027\u80fd，\u5341\u4ebf\u7ea7\u5411\u91cf，\u652f\u6301\u5411\u91cf+\u6807\u91cf\u6df7\u5408\u68c0\u7d22<\/td>\n | \u6d77\u91cf\u6570\u636e\u3001\u9ad8\u5e76\u53d1\u751f\u4ea7\u73af\u5883<\/td>\n<\/tr>\n | \n| Weaviate<\/td>\n | \u5f00\u6e90，\u539f\u751f\u591a\u6a21\u6001，\u5185\u7f6e LLM \u6a21\u5757<\/td>\n | \u9700\u8981\u672c\u5730\u90e8\u7f72\u3001\u6a21\u5757\u5316\u8981\u6c42\u9ad8<\/td>\n<\/tr>\n | \n| Chroma \/ FAISS<\/td>\n | \u8f7b\u91cf\u7ea7\u3001\u5d4c\u5165\u5f0f<\/td>\n | \u672c\u5730\u6d4b\u8bd5\u3001\u5c0f\u89c4\u6a21\u5e94\u7528<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n # \u4ee5 Milvus \u4e3a\u4f8b：\u5efa Collection \u5e76\u5199\u5165
\nfrom pymilvus import MilvusClient<\/p>\n client = MilvusClient("milvus_demo.db")
\nclient.create_collection(
\n collection_name="kb_docs",
\n dimension=1024, # \u4e0e bge-m3 \u8f93\u51fa\u7ef4\u5ea6\u4e00\u81f4
\n metric_type="COSINE", # \u4f59\u5f26\u76f8\u4f3c\u5ea6
\n)
\nclient.insert(
\n collection_name="kb_docs",
\n data=[
\n {"id": 1, "vector": embeddings[0].tolist(), "text": "\u82f9\u679c\u662f\u4e00\u79cd\u6c34\u679c", "source": "\u5e38\u8bc6.md"},
\n {"id": 2, "vector": embeddings[1].tolist(), "text": "\u82f9\u679c\u53d1\u5e03\u4e86\u65b0\u624b\u673a", "source": "\u65b0\u95fb.md"},
\n ],
\n)<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9：\u5411\u91cf\u7ef4\u5ea6\u5fc5\u987b\u4e0e Embedding \u6a21\u578b\u8f93\u51fa\u7ef4\u5ea6\u4e00\u81f4（BGE-M3 \u662f 1024 \u7ef4，\u6362\u6a21\u578b\u5c31\u8981\u91cd\u5efa Collection）\u3002\u53e6\u5916，\u751f\u4ea7\u73af\u5883\u4e0d\u8981\u53ea\u5b58\u5411\u91cf，\u8981\u628a\u539f\u6587\u3001\u6765\u6e90\u3001\u5143\u6570\u636e（\u6807\u9898\u3001\u9875\u53f7）\u4e00\u8d77\u5b58\u8fdb\u53bb，\u5426\u5219\u68c0\u7d22\u7ed3\u679c\u65e0\u6cd5\u8ffd\u6eaf\u3001\u65e0\u6cd5\u5c55\u793a\u5f15\u7528\u3002<\/p>\n
\n1.6 \u6df7\u5408\u68c0\u7d22\u4e0e\u91cd\u6392\u5e8f：\u5148\u6d77\u9009，\u518d\u7cbe\u6311<\/h4>\n\u95ee\u9898：\u7eaf\u5411\u91cf\u68c0\u7d22（\u8bed\u4e49\u5339\u914d）\u5bf9\u7cbe\u786e\u5173\u952e\u8bcd\u5f88\u5f31\u3002\u6bd4\u5982\u7528\u6237\u641c"iPhone 15 Pro Max 256G \u6df1\u84dd"，\u5411\u91cf\u68c0\u7d22\u53ef\u80fd\u628a"\u84dd\u8272\u624b\u673a"\u90fd\u53ec\u56de，\u5374\u6f0f\u6389\u8fd9\u4e2a\u7cbe\u786e\u578b\u53f7\u3002<\/p>\n \u6df7\u5408\u68c0\u7d22（Hybrid Search）：\u5411\u91cf\u68c0\u7d22（\u8bed\u4e49） + \u5173\u952e\u8bcd\u68c0\u7d22（BM25\/TF-IDF，\u7cbe\u786e\u5339\u914d）\u53cc\u8def\u53ec\u56de，\u518d\u5408\u5e76\u53bb\u91cd\u3002<\/p>\n \u91cd\u6392\u5e8f（Reranking）：\u628a\u53ec\u56de\u7684\u4e0a\u767e\u4e2a\u5019\u9009，\u4ea4\u7ed9\u4e00\u4e2a\u66f4\u7cbe\u7ec6\u7684 Cross-Encoder \u6a21\u578b\u91cd\u65b0\u6253\u5206，\u53ea\u628a\u6700\u76f8\u5173\u7684 Top-N（\u5982 5 \u4e2a）\u4f20\u7ed9 LLM\u3002<\/p>\n \u901a\u4fd7\u7c7b\u6bd4：\u6df7\u5408\u68c0\u7d22\u662f"\u5148\u6d77\u9009"\u2014\u2014\u8bed\u4e49\u641c\u7d22\u548c\u5173\u952e\u8bcd\u641c\u7d22\u5404\u62db\u4e00\u6279\u4eba；\u91cd\u6392\u5e8f\u662f"\u7ec8\u9762"\u2014\u2014\u8ba9\u8d44\u6df1\u9762\u8bd5\u5b98（Reranker）\u9010\u4e2a\u7cbe\u6311，\u53ea\u7559\u6700\u4f18\u79c0\u7684\u51e0\u4e2a\u4eba\u8fdb final round（\u5582\u7ed9 LLM）\u3002<\/p>\n \u76ee\u524d\u63d0\u5347 RAG \u51c6\u786e\u7387\u6027\u4ef7\u6bd4\u6700\u9ad8\u7684\u624b\u6bb5，\u5c31\u662f\u52a0\u4e00\u4e2a Reranker\u3002<\/p>\n \n\n\u91cd\u6392\u5e8f\u5de5\u5177\u8bf4\u660e<\/tr>\n \n| Cohere Rerank<\/td>\n | \u5546\u4e1a API，\u6548\u679c\u597d\u3001\u63a5\u5165\u5feb<\/td>\n<\/tr>\n | \n| BGE Reranker<\/td>\n | \u5f00\u6e90，\u4e2d\u6587\u6548\u679c\u597d，\u53ef\u672c\u5730\u90e8\u7f72<\/td>\n<\/tr>\n | \n| Voyage Reranker<\/td>\n | \u4e0e voyage embedding \u914d\u5408\u6700\u4f73<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n from FlagEmbedding import FlagReranker<\/p>\n reranker = FlagReranker("BAAI\/bge-reranker-v2-m3")
\nquery = "\u82f9\u679c\u516c\u53f8\u7684\u521b\u59cb\u4eba\u662f\u8c01？"
\ncandidates = ["\u82f9\u679c\u662f\u4e00\u79cd\u6c34\u679c\u3002", "\u4e54\u5e03\u65af\u662f\u82f9\u679c\u516c\u53f8\u7684\u8054\u5408\u521b\u59cb\u4eba\u4e4b\u4e00\u3002", "\u82f9\u679c\u53d1\u5e03\u4e86\u65b0\u624b\u673a\u3002"]
\nscores = reranker.compute_score([[query, c] for c in candidates])
\n# \u8f93\u51fa: [-7.8, 8.5, -2.1] -> \u7b2c2\u6761\u6700\u76f8\u5173<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 1：\u91cd\u6392\u5e8f\u540e\u4ecd\u7136\u8981\u63a7\u5236\u9001\u8fdb LLM \u7684 token \u91cf\u3002Top-5 \u6bcf\u6761 1000 token，\u5c31\u662f 5000 token，\u8d85\u51fa\u9884\u7b97\u4f1a\u62d6\u6162\u54cd\u5e94\u3001\u63d0\u9ad8\u6210\u672c\u3002<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 2：BM25 \u7684\u00a0k1\u3001b\u00a0\u53c2\u6570\u3001\u6df7\u5408\u6bd4\u4f8b（\u5982\u5411\u91cf 0.7 : \u5173\u952e\u8bcd 0.3）\u9700\u8981\u5728\u771f\u5b9e\u6570\u636e\u4e0a\u8c03\u53c2，\u4e0d\u8981\u62cd\u8111\u888b\u3002\u53ef\u4ee5\u7528\u9a8c\u8bc1\u96c6\u505a\u4e00\u6b21\u5c0f\u5b9e\u9a8c\u786e\u5b9a\u6bd4\u4f8b\u3002<\/p>\n
\n1.7 \u4e0a\u4e0b\u6587\u7ec4\u88c5：\u628a\u6700\u6709\u7528\u7247\u6bb5\u5582\u7ed9\u5927\u6a21\u578b<\/h4>\n\u68c0\u7d22\u5230\u7247\u6bb5\u540e，\u4e0d\u80fd\u7b80\u5355\u62fc\u63a5，\u8981\u505a"\u7ec4\u88c5"\u52a0\u5de5，\u5e38\u89c1\u6280\u672f：<\/p>\n \n\n\u6280\u672f\u505a\u4ec0\u4e48\u901a\u4fd7\u7406\u89e3<\/tr>\n \n| Prompt \u6a21\u677f\u7ec4\u88c5<\/td>\n | \u6309"\u7cfb\u7edf\u6307\u4ee4 + \u68c0\u7d22\u7247\u6bb5 + \u95ee\u9898"\u7ed3\u6784\u5316\u62fc\u63a5，\u8981\u6c42"\u53ea\u80fd\u57fa\u4e8e\u7247\u6bb5\u56de\u7b54"<\/td>\n | \u7ed9\u5927\u6a21\u578b\u5b9a\u89c4\u77e9：\u4e0d\u8bb8\u778e\u7f16，\u5f15\u7528\u8981\u6807\u51fa\u5904<\/td>\n<\/tr>\n | \n| Prompt Compression（\u5982 LLMLingua）<\/td>\n | \u538b\u7f29\u68c0\u7d22\u4e0a\u4e0b\u6587，\u5254\u9664\u5197\u4f59 token<\/td>\n | \u628a 5000 token \u7684"\u5e9f\u8bdd+\u5e72\u8d27"\u538b\u7f29\u5230 2000 token \u7684"\u7eaf\u5e72\u8d27"<\/td>\n<\/tr>\n | \n| CRAG（Corrective RAG）<\/td>\n | \u5148\u8bc4\u4f30\u68c0\u7d22\u7ed3\u679c\u76f8\u5173\u6027，\u4e0d\u76f8\u5173\u5c31\u89e6\u53d1 Web \u641c\u7d22\u8865\u5145<\/td>\n | \u68c0\u7d22"\u6389\u94fe\u5b50"\u65f6\u81ea\u52a8\u6362\u4e00\u6761\u8def\u8d70<\/td>\n<\/tr>\n | \n| \u5f15\u6587\u6807\u6ce8<\/td>\n | \u8ba9 LLM \u5728\u7b54\u6848\u540e\u6807\u6ce8\u00a0[\u6765\u6e90: \u6587\u6863\u540d-\u9875\u53f7]<\/td>\n | \u7528\u6237\u80fd\u56de\u6eaf\u9a8c\u8bc1，\u63d0\u5347\u53ef\u4fe1\u5ea6<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n prompt = f"""\u4f60\u662f\u4e00\u540d\u4e25\u8c28\u7684\u77e5\u8bc6\u5e93\u52a9\u624b\u3002\u8bf7\u53ea\u4f9d\u636e\u4e0b\u9762\u63d0\u4f9b\u7684\u8d44\u6599\u56de\u7b54\u95ee\u9898；
\n\u5982\u679c\u8d44\u6599\u4e2d\u6ca1\u6709\u76f8\u5173\u4fe1\u606f，\u8bf7\u660e\u786e\u56de\u7b54"\u8d44\u6599\u4e2d\u672a\u627e\u5230"\u3002\u56de\u7b54\u672b\u5c3e\u8bf7\u6807\u6ce8\u6765\u6e90\u3002<\/p>\n \u3010\u8d44\u6599\u3011
\n{context} # \u5df2\u62fc\u63a5\u3001\u53bb\u91cd\u3001\u538b\u7f29\u540e\u7684 Top-5 \u7247\u6bb5<\/p>\n \u3010\u95ee\u9898\u3011
\n{question}<\/p>\n \u3010\u56de\u7b54\u3011
\n"""<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 1：\u62fc\u63a5\u4e0a\u4e0b\u6587\u65f6\u8981\u53bb\u91cd\u3001\u6309\u76f8\u5173\u6027\u964d\u5e8f，\u628a\u6700\u76f8\u5173\u7684\u653e\u524d\u9762\u2014\u2014LLM \u5bf9 Prompt \u524d\u90e8\u7684\u6ce8\u610f\u529b\u66f4\u5f3a\u3002 \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 2：\u4e00\u5b9a\u8981\u5728 Prompt \u91cc\u5199\u660e"\u627e\u4e0d\u5230\u5c31\u8bf4\u627e\u4e0d\u5230"，\u5426\u5219\u6a21\u578b\u4f1a\u5f3a\u884c\u7528\u4e0a\u4e0b\u6587"\u7f16"\u4e00\u4e2a\u7b54\u6848，\u5e7b\u89c9\u53c8\u56de\u6765\u4e86\u3002<\/p>\n
\n2. \u77e5\u8bc6\u56fe\u8c31\u6784\u5efa\u6d41\u7a0b<\/h3>\n2.1 \u77e5\u8bc6\u56fe\u8c31\u662f\u4ec0\u4e48：\u7528"\u5173\u7cfb"\u7ec4\u7ec7\u77e5\u8bc6<\/h4>\n\u539f\u7406：\u77e5\u8bc6\u56fe\u8c31\u7528\u56fe\u7ed3\u6784\u5b58\u50a8\u77e5\u8bc6\u2014\u2014\u8282\u70b9（Node）\u8868\u793a\u5b9e\u4f53，\u8fb9（Edge）\u8868\u793a\u5173\u7cfb，\u5373\u00a0(\u5b9e\u4f53A) –\u5173\u7cfb–> (\u5b9e\u4f53B)\u00a0\u7684\u4e09\u5143\u7ec4\u7ed3\u6784\u3002<\/p>\n \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510 \u5de5\u4f5c\u4e8e \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510
\n \u2502 \u4e54\u5e03\u65af \u2502 \u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500> \u2502\u82f9\u679c\u516c\u53f8 \u2502
\n \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518 \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518
\n \u2502 \u2502
\n \u521b\u7acb\u4e8e\u2502 \u2502\u53d1\u5e03
\n \u25bc \u25bc
\n \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510 \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510
\n \u2502 1976\u5e74 \u2502 \u2502 iPhone \u2502
\n \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518 \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518<\/p>\n \u901a\u4fd7\u7c7b\u6bd4：\u5982\u679c\u8bf4\u5411\u91cf\u5e93\u662f"\u6309\u5185\u5bb9\u76f8\u4f3c\u5ea6\u6392\u4e66\u7684\u56fe\u4e66\u9986"，\u77e5\u8bc6\u56fe\u8c31\u5c31\u662f"\u753b\u6ee1\u4eba\u7269\u5173\u7cfb\u7f51\u7684\u767d\u677f"\u2014\u2014\u5b83\u4e0d\u5173\u5fc3\u4e24\u53e5\u8bdd\u50cf\u4e0d\u50cf，\u53ea\u5173\u5fc3"\u8c01\u548c\u8c01\u662f\u4ec0\u4e48\u5173\u7cfb"\u3002<\/p>\n \u77e5\u8bc6\u56fe\u8c31\u64c5\u957f\u4ec0\u4e48：<\/p>\n \n- \u2705\u00a0\u591a\u8df3\u63a8\u7406："\u4e54\u5e03\u65af\u521b\u7acb\u4e86\u82f9\u679c \u2192 \u82f9\u679c\u53d1\u5e03\u4e86 iPhone \u2192 iPhone \u7684\u4f9b\u5e94\u5546\u662f\u8c01？"（\u6cbf\u5173\u7cfb\u8d70\u4e24\u6b65）<\/li>\n
- \u2705\u00a0\u7cbe\u786e\u5173\u7cfb\u67e5\u8be2："\u5217\u51fa\u6240\u6709\u5728 2024 \u5e74\u878d\u8d44\u8d85\u8fc7 1 \u4ebf\u7684 A \u8f6e\u516c\u53f8"<\/li>\n
- \u2705\u00a0\u5168\u5c40\u603b\u7ed3："\u8fd9\u5957\u8f6f\u4ef6\u67b6\u6784\u7684\u6f14\u53d8\u8d8b\u52bf\u662f\u4ec0\u4e48？"<\/li>\n
- \u274c\u00a0\u4e0d\u64c5\u957f：\u957f\u7bc7\u6a21\u7cca\u8bed\u4e49\u7684\u76f8\u4f3c\u5339\u914d（\u8fd9\u662f\u5411\u91cf\u5e93\u7684\u5f3a\u9879）<\/li>\n<\/ul>\n
2.2 \u672c\u4f53\u8bbe\u8ba1：\u5148\u753b\u597d"\u9aa8\u67b6"<\/h4>\n\u539f\u7406：\u672c\u4f53（Ontology）\u5c31\u662f\u56fe\u8c31\u7684\u00a0schema（\u6a21\u5f0f）\u2014\u2014\u89c4\u5b9a\u6709\u54ea\u4e9b\u5b9e\u4f53\u7c7b\u578b（\u5982：\u4eba\u7269\u3001\u516c\u53f8\u3001\u836f\u7269\u3001\u75be\u75c5）\u548c\u5173\u7cfb\u7c7b\u578b（\u5982：\u5de5\u4f5c\u4e8e\u3001\u6cbb\u7597\u3001\u7ade\u4e89\u3001\u6536\u8d2d）\u3002<\/p>\n \u901a\u4fd7\u7c7b\u6bd4：\u76d6\u697c\u524d\u5148\u753b\u7ed3\u6784\u56fe\u2014\u2014\u54ea\u91cc\u662f\u627f\u91cd\u5899\u3001\u54ea\u91cc\u662f\u623f\u95f4\u3001\u54ea\u91cc\u662f\u8d70\u5eca\u3002\u6ca1\u6709\u672c\u4f53\u76f4\u63a5\u5f80\u91cc\u5806\u6570\u636e，\u56fe\u8c31\u5f88\u5feb\u5c31\u4f1a\u53d8\u6210"\u4e00\u9505\u4e71\u9ebb"\u3002<\/p>\n \u8bbe\u8ba1\u539f\u5219：<\/p>\n - \u5148\u5b9a\u4e49\u6838\u5fc3\u4e1a\u52a1\u5b9e\u4f53：\u4ece\u4f60\u771f\u6b63\u8981\u56de\u7b54\u7684\u95ee\u9898\u51fa\u53d1，\u53cd\u63a8\u9700\u8981\u54ea\u4e9b\u5b9e\u4f53\u548c\u5173\u7cfb\u3002\u6bd4\u5982\u8981\u56de\u7b54"\u8fd9\u4e2a\u836f\u6cbb\u4ec0\u4e48\u75c5"，\u5c31\u9700\u8981\u00a0\u836f\u7269 -[\u6cbb\u7597]-> \u75be\u75c5\u3002<\/li>\n
- \u907f\u514d\u8fc7\u5ea6\u8bbe\u8ba1：\u4e0d\u8981\u628a\u73b0\u5b9e\u4e2d\u6240\u6709\u5c5e\u6027\u90fd\u5efa\u6a21\u6210\u5b9e\u4f53\u3002\u80fd\u4f5c\u4e3a\u5c5e\u6027（Property）\u5c31\u4e0d\u8981\u786c\u62c6\u6210\u8282\u70b9\u3002\u6bd4\u5982"\u4ef7\u683c 99 \u5143"\u662f\u5546\u54c1\u5c5e\u6027，\u4e0d\u5fc5\u5355\u72ec\u5efa\u4e00\u4e2a"\u4ef7\u683c"\u8282\u70b9\u3002<\/li>\n
- \u81ea\u9876\u5411\u4e0b + \u81ea\u5e95\u5411\u4e0a\u7ed3\u5408：\u5148\u7528\u4e1a\u52a1\u4e13\u5bb6\u5b9a\u6838\u5fc3 schema，\u518d\u5728\u6570\u636e\u62bd\u53d6\u8fc7\u7a0b\u4e2d\u53d1\u73b0\u9057\u6f0f，\u53cd\u5411\u8865\u5145\u3002<\/li>\n
- \u5173\u7cfb\u8981\u53cc\u5411\u53ef\u8bfb\u3001\u547d\u540d\u6e05\u6670：A -[\u96c7\u4f63]-> B\u00a0\u6bd4\u00a0A -[\u76f8\u5173]-> B\u00a0\u6709\u4ef7\u503c\u5f97\u591a\u3002"\u76f8\u5173"\u8fd9\u7c7b\u6a21\u7cca\u5173\u7cfb\u4f1a\u8ba9\u56fe\u8c31\u5931\u53bb\u63a8\u7406\u80fd\u529b\u3002<\/li>\n
\u793a\u4f8b\u672c\u4f53（\u4f01\u4e1a\u4eba\u624d\u56fe\u8c31）：<\/p>\n \u5b9e\u4f53\u7c7b\u578b:
\n – Person: {name, title, email}
\n – Company: {name, industry, founded_year}
\n – Position: {name}<\/p>\n \u5173\u7cfb\u7c7b\u578b:
\n – Person -[\u5de5\u4f5c\u4e8e]-> Company
\n – Person -[\u62c5\u4efb]-> Position
\n – Person -[\u6bd5\u4e1a\u4e8e]-> School
\n – Company -[\u6536\u8d2d]-> Company<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9：\u5148\u60f3\u6e05\u695a"\u56fe\u8c31\u7528\u6765\u56de\u7b54\u4ec0\u4e48\u95ee\u9898"，\u518d\u8bbe\u8ba1\u672c\u4f53\u3002\u4e3a\u5efa\u6a21\u800c\u5efa\u6a21\u3001\u628a\u672c\u4f53\u8bbe\u8ba1\u5f97\u53c8\u5927\u53c8\u5168，\u4f1a\u5bfc\u81f4\u540e\u7eed\u62bd\u53d6\u6210\u672c\u7206\u70b8\u3001\u56fe\u8c31\u5229\u7528\u7387\u6781\u4f4e\u300220 \u4e2a\u5b9e\u4f53\u7c7b\u578b\u5f80\u5f80\u6bd4 200 \u4e2a\u66f4\u5b9e\u7528\u3002<\/p>\n 2.3 \u5b9e\u4f53\u8bc6\u522b\u4e0e\u5173\u7cfb\u62bd\u53d6：LLM \u8f85\u52a9\u62bd\u53d6\u4e09\u5143\u7ec4<\/h4>\n\u539f\u7406：\u4ece\u975e\u7ed3\u6784\u5316\u6587\u672c\u4e2d\u63d0\u53d6\u00a0(Subject, Predicate, Object)\u00a0\u4e09\u5143\u7ec4\u3002\u4f8b\u5982\u4ece\u53e5\u5b50"\u4e54\u5e03\u65af\u4e8e 1976 \u5e74\u521b\u7acb\u4e86\u82f9\u679c\u516c\u53f8"\u63d0\u53d6：<\/p>\n (\u4e54\u5e03\u65af, \u521b\u7acb, \u82f9\u679c\u516c\u53f8)
\n(\u4e54\u5e03\u65af, \u5de5\u4f5c\u4e8e, \u82f9\u679c\u516c\u53f8)
\n(\u82f9\u679c\u516c\u53f8, \u6210\u7acb\u5e74\u4efd, 1976)<\/p>\n \u4f20\u7edf\u65b9\u6cd5：SpaCy\u3001Stanford CoreNLP \u8bad\u7ec3\u9886\u57df NER \u6a21\u578b\u2014\u2014\u9700\u8981\u6807\u6ce8\u6570\u636e\u3001\u8bad\u7ec3\u6210\u672c\u9ad8\u3001\u6362\u9886\u57df\u8981\u91cd\u8bad\u3002<\/p>\n 2024-2026 \u4e3b\u6d41：LLM-based Extraction（Few-shot + Schema-guided）：<\/p>\n - Few-shot Prompting：\u7ed9 LLM \u51e0\u4e2a\u793a\u4f8b，\u8ba9\u5b83\u4ece\u6587\u672c\u4e2d\u76f4\u63a5\u62bd\u4e09\u5143\u7ec4；<\/li>\n
- Schema-guided Prompting（\u63a8\u8350）：\u628a 2.2 \u8282\u5b9a\u4e49\u597d\u7684\u672c\u4f53\u5199\u8fdb Prompt，\u5f3a\u5236 LLM\u00a0\u53ea\u8f93\u51fa\u7b26\u5408\u672c\u4f53\u7684\u5b9e\u4f53\u548c\u5173\u7cfb\u2014\u2014\u4fdd\u8bc1\u56fe\u8c31\u7ed3\u6784\u89c4\u8303，\u907f\u514d"\u81ea\u7531\u53d1\u6325"\u51fa\u6765\u7684\u4e71\u4e03\u516b\u7cdf\u7684\u5173\u7cfb\u3002<\/li>\n
from langchain.llms import OpenAI
\nfrom langchain.chains import create_extraction_chain<\/p>\n schema = {
\n "properties": [
\n {"name": "subject", "type": "string", "description": "\u4e3b\u4f53\u5b9e\u4f53"},
\n {"name": "relation", "type": "string", "description": "\u5173\u7cfb，\u53d6\u503c\u9650\u5b9a\u4e3a: \u5de5\u4f5c\u4e8e\/\u521b\u7acb\/\u6536\u8d2d\/\u6bd5\u4e1a\u4e8e"},
\n {"name": "object", "type": "string", "description": "\u5ba2\u4f53\u5b9e\u4f53"},
\n ],
\n "required": ["subject", "relation", "object"],
\n}
\nchain = create_extraction_chain(llm, schema)
\nres = chain.run("\u4e54\u5e03\u65af\u4e8e1976\u5e74\u521b\u7acb\u4e86\u82f9\u679c\u516c\u53f8\u3002")
\n# \u8f93\u51fa: [{"subject": "\u4e54\u5e03\u65af", "relation": "\u521b\u7acb", "object": "\u82f9\u679c\u516c\u53f8"}]<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 1：LLM \u62bd\u53d6\u975e\u5e38\u6d88\u8017 Token（\u5927\u91cf\u8f93\u5165 + \u7ed3\u6784\u5316\u8f93\u51fa），\u662f RAG \u4f53\u7cfb\u7684"\u6210\u672c\u5927\u5934"\u3002\u5efa\u8bae：\u2460 \u4f18\u5148\u7528\u00a0Batch API\u00a0\u6279\u91cf\u5904\u7406；\u2461 \u5bf9\u9ad8\u9891\u62bd\u53d6\u4efb\u52a1\u5fae\u8c03\u4e00\u4e2a\u5c0f\u6a21\u578b（\u5982 Llama-3.1-8B），\u6210\u672c\u80fd\u964d\u4e00\u4e2a\u6570\u91cf\u7ea7\u3002<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9 2：LLM \u62bd\u53d6\u7ed3\u679c\u5fc5\u987b\u505a\u6821\u9a8c\u3002\u7528\u6b63\u5219\/\u89c4\u5219\u8fc7\u6ee4\u660e\u663e\u9519\u8bef，\u7528\u7f6e\u4fe1\u5ea6\u9608\u503c\u4e22\u5f03\u4f4e\u8d28\u91cf\u4e09\u5143\u7ec4，\u5426\u5219"\u5783\u573e\u4e09\u5143\u7ec4\u8fdb\u56fe\u8c31"，\u63a8\u7406\u7ed3\u679c\u5168\u662f\u9519\u7684\u3002<\/p>\n 2.4 \u56fe\u6570\u636e\u5e93\u9009\u578b：Neo4j \/ NebulaGraph \/ JanusGraph<\/h4>\n\u539f\u7406：\u56fe\u6570\u636e\u5e93\u4e13\u95e8\u4e3a"\u8282\u70b9 + \u5173\u7cfb"\u7684\u9ad8\u6548\u904d\u5386\u8bbe\u8ba1，\u63d0\u4f9b\u56fe\u67e5\u8be2\u8bed\u8a00（Cypher \/ nGQL \/ Gremlin）\u3002<\/p>\n \u901a\u4fd7\u7c7b\u6bd4：\u56fe\u6570\u636e\u5e93\u662f"\u4e13\u4e3a\u67e5\u5173\u7cfb\u7f51\u4f18\u5316\u7684\u641c\u7d22\u5f15\u64ce"\u2014\u2014\u67e5\u8be2"A \u7684\u670b\u53cb\u7684\u670b\u53cb\u91cc\u6709\u54ea\u4e9b\u662f\u533b\u751f"，\u5b83\u6beb\u79d2\u7ea7\u8fd4\u56de；\u800c\u4f20\u7edf\u5173\u7cfb\u578b\u6570\u636e\u5e93\u505a\u540c\u6837\u7684\u591a\u8868 JOIN \u4f1a\u6162\u5230\u5d29\u6e83\u3002<\/p>\n \u9009\u578b\u5bf9\u6bd4：<\/p>\n \n\n\u6570\u636e\u5e93\u6838\u5fc3\u7279\u70b9\u4f18\u70b9\u7f3a\u70b9\u9002\u5408\u573a\u666f<\/tr>\n \n| Neo4j<\/td>\n | \u6700\u6d41\u884c，Cypher \u67e5\u8be2\u8bed\u8a00，\u751f\u6001\u5b8c\u5584（APOC \u63d2\u4ef6）<\/td>\n | \u793e\u533a\u5927\u3001\u5de5\u5177\u591a\u3001\u4e0a\u624b\u5feb\u3001\u6587\u6863\u5168<\/td>\n | \u5f00\u6e90\u7248（Community）\u4e0d\u652f\u6301\u9ad8\u53ef\u7528\u96c6\u7fa4<\/td>\n | \u4e2d\u5c0f\u4f01\u4e1a\u3001\u56e2\u961f\u5b66\u4e60\u6210\u672c\u4f4e\u3001\u5feb\u901f\u4ea4\u4ed8<\/td>\n<\/tr>\n | \n| NebulaGraph<\/td>\n | \u56fd\u4ea7\u5f00\u6e90，\u5206\u5e03\u5f0f\u67b6\u6784，\u517c\u5bb9 OpenCypher<\/td>\n | \u6027\u80fd\u5f3a\u3001\u652f\u6301\u8d85\u5927\u89c4\u6a21\u56fe\u8c31\u3001\u4e91\u539f\u751f<\/td>\n | \u5b66\u4e60\u66f2\u7ebf\u9661\u3001\u751f\u6001\u4e0d\u5982 Neo4j<\/td>\n | \u767e\u4e07\u4ebf\u7ea7\u8fb9\u3001\u9ad8\u5e76\u53d1\u751f\u4ea7\u73af\u5883<\/td>\n<\/tr>\n | \n| JanusGraph<\/td>\n | \u5b8c\u5168\u5f00\u6e90，\u652f\u6301 HBase\/Cassandra \u7b49\u591a\u540e\u7aef<\/td>\n | \u7075\u6d3b\u6027\u9ad8\u3001\u652f\u6301\u6d77\u91cf\u6570\u636e<\/td>\n | \u67b6\u6784\u590d\u6742\u3001\u9700\u81ea\u7ef4\u62a4\u5b58\u50a8\u4e0e\u7d22\u5f15\u3001\u5ef6\u8fdf\u8f83\u9ad8<\/td>\n | \u6df1\u5ea6\u5b9a\u5236\u3001\u5df2\u6709\u5927\u6570\u636e\u7ec4\u4ef6\u6808<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Neo4j Cypher \u793a\u4f8b：<\/p>\n \/\/ \u5efa\u8282\u70b9
\nCREATE (p:Person {name: "\u4e54\u5e03\u65af"})
\nCREATE (c:Company {name: "\u82f9\u679c\u516c\u53f8"})<\/p>\n \/\/ \u5efa\u5173\u7cfb
\nMATCH (p:Person {name: "\u4e54\u5e03\u65af"}), (c:Company {name: "\u82f9\u679c\u516c\u53f8"})
\nCREATE (p)-[:\u521b\u7acb {year: 1976}]->(c)<\/p>\n \/\/ \u591a\u8df3\u67e5\u8be2：\u4e54\u5e03\u65af\u521b\u7acb\u7684\u516c\u53f8\u53d1\u5e03\u4e86\u54ea\u4e9b\u4ea7\u54c1？
\nMATCH (p:Person {name: "\u4e54\u5e03\u65af"})-[:\u521b\u7acb]->(c:Company)-[:\u53d1\u5e03]->(prod:Product)
\nRETURN prod.name<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9：\u4e0d\u8981\u7528\u56fe\u6570\u636e\u5e93\u5b58\u5927\u6bb5\u6587\u672c\u539f\u6587\u3002\u56fe\u6570\u636e\u5e93\u64c5\u957f\u5173\u7cfb\u904d\u5386，\u4e0d\u64c5\u957f\u5168\u6587\u68c0\u7d22\u3002\u6b63\u786e\u59ff\u52bf\u662f**"\u5411\u91cf\u5e93\u5b58\u539f\u6587\u3001\u56fe\u5e93\u5b58\u5173\u7cfb"**：\u6587\u672c\u68c0\u7d22\u8d70\u5411\u91cf\u5e93，\u5173\u7cfb\u63a8\u7406\u8d70\u56fe\u5e93，\u4e24\u8005\u4e92\u8865（\u8be6\u89c1\u7b2c 4 \u90e8\u5206\u67b6\u6784）\u3002<\/p>\n
\n3. GraphRAG：\u77e5\u8bc6\u56fe\u8c31 + LLM \u7684\u878d\u5408<\/h3>\n3.1 \u4e3a\u4ec0\u4e48\u9700\u8981 GraphRAG<\/h4>\n\u4f20\u7edf RAG \u7684\u77ed\u677f：<\/p>\n \n\n\u95ee\u9898\u7c7b\u578b\u793a\u4f8b\u4f20\u7edf RAG \u8868\u73b0<\/tr>\n \n| \u5168\u5c40\u6027\u95ee\u9898<\/td>\n | "\u8fd9\u5957\u7cfb\u7edf\u67b6\u6784\u7684\u6574\u4f53\u6f14\u8fdb\u8d8b\u52bf\u662f\u4ec0\u4e48？"<\/td>\n | \u274c \u68c0\u7d22\u5230\u7684\u53ea\u662f\u5c40\u90e8\u7247\u6bb5，\u62fc\u4e0d\u51fa\u5168\u5c40<\/td>\n<\/tr>\n | \n| \u591a\u8df3\u63a8\u7406<\/td>\n | "X \u516c\u53f8\u7684\u80a1\u4e1c\u4e0e Y \u516c\u53f8\u6709\u4f55\u95f4\u63a5\u5173\u8054？"<\/td>\n | \u274c \u5355\u8f6e\u68c0\u7d22\u65e0\u6cd5\u6cbf\u5173\u7cfb\u94fe\u8d70\u4e24\u6b65<\/td>\n<\/tr>\n | \n| \u5173\u7cfb\u805a\u5408<\/td>\n | "\u54ea\u4e9b\u5458\u5de5\u540c\u65f6\u53c2\u4e0e\u4e86 A \u548c B \u4e24\u4e2a\u9879\u76ee？"<\/td>\n | \u274c \u5411\u91cf\u68c0\u7d22\u96be\u4ee5\u505a\u7cbe\u786e\u7684\u5173\u7cfb\u4ea4\u96c6<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n GraphRAG（\u56fe\u68c0\u7d22\u589e\u5f3a\u751f\u6210）\u628a"\u77e5\u8bc6\u56fe\u8c31\u7684\u5173\u7cfb\u63a8\u7406\u80fd\u529b"\u6ce8\u5165 RAG \u6d41\u7a0b，\u4e13\u95e8\u8865\u4e0a\u8fd9\u4e09\u5757\u77ed\u677f\u3002<\/p>\n 3.2 \u5fae\u8f6f GraphRAG \u539f\u7406：\u5efa\u56fe + \u793e\u533a\u6458\u8981 + \u53cc\u901a\u9053\u67e5\u8be2<\/h4>\n\u5fae\u8f6f 2024 \u5e74\u5f00\u6e90\u4e86\u00a0microsoft\/graphrag，\u662f\u76ee\u524d GraphRAG \u4e8b\u5b9e\u4e0a\u7684\u6807\u51c6\u5b9e\u73b0\u3002<\/p>\n \u6784\u5efa\u9636\u6bb5（Indexing）：<\/p>\n - \u5207\u7247：\u4e0e RAG \u7c7b\u4f3c，\u628a\u6587\u6863\u5207\u6210\u7247\u6bb5；<\/li>\n
- LLM \u5efa\u56fe：\u7528 LLM \u4ece\u6bcf\u4e2a\u7247\u6bb5\u4e2d\u62bd\u53d6\u5b9e\u4f53\u548c\u5173\u7cfb，\u5199\u5165\u77e5\u8bc6\u56fe\u8c31；<\/li>\n
- \u793e\u533a\u68c0\u6d4b（Community Detection）：\u7528\u56fe\u7b97\u6cd5（\u5982 Leiden）\u628a\u56fe\u8c31\u5212\u5206\u6210"\u793e\u533a"（\u8054\u7cfb\u7d27\u5bc6\u7684\u8282\u70b9\u7c07）；<\/li>\n
- \u793e\u533a\u6458\u8981（Community Summaries）：\u7528 LLM \u4e3a\u6bcf\u4e2a\u793e\u533a\u751f\u6210\u4e00\u6bb5\u6458\u8981\u2014\u2014\u76f8\u5f53\u4e8e\u7ed9"\u5173\u7cfb\u7f51"\u5199"\u90e8\u95e8\u7b80\u4ecb"\u3002<\/li>\n
\u67e5\u8be2\u9636\u6bb5（Query）：<\/p>\n \n- Global Search（\u5168\u5c40\u641c\u7d22）：\u9488\u5bf9"\u603b\u7ed3\u6574\u4e2a\u6570\u636e\u96c6"\u7c7b\u95ee\u9898，\u901a\u8fc7\u00a0Map-Reduce\u00a0\u65b9\u5f0f\u628a\u591a\u4e2a\u793e\u533a\u6458\u8981\u6c47\u603b\u3001\u538b\u7f29，\u518d\u4ea4\u7ed9 LLM \u751f\u6210\u5168\u5c40\u6027\u7b54\u6848；<\/li>\n
- Local Search（\u5c40\u90e8\u641c\u7d22）：\u9488\u5bf9"\u67d0\u4e2a\u5177\u4f53\u5b9e\u4f53"\u7684\u95ee\u9898，\u4ece\u8be5\u5b9e\u4f53\u8282\u70b9\u51fa\u53d1，\u6cbf\u56fe\u8c31\u5173\u7cfb\u505a\u591a\u8df3\u68c0\u7d22，\u628a\u76f8\u5173\u90bb\u5c45\u8282\u70b9\u548c\u539f\u6587\u7247\u6bb5\u4e00\u8d77\u4ea4\u7ed9 LLM\u3002<\/li>\n<\/ul>\n
\u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510
\n \u2502 \u5fae\u8f6f GraphRAG \u6d41\u7a0b \u2502
\n \u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518
\n \u6784\u5efa: \u6587\u6863\u5207\u7247 -> LLM\u62bd\u53d6\u5b9e\u4f53\u5173\u7cfb -> \u56fe\u6570\u636e\u5e93 -> \u793e\u533a\u68c0\u6d4b -> \u793e\u533a\u6458\u8981
\n \u2502
\n \u67e5\u8be2: Global Search: \u6c47\u603b\u591a\u4e2a\u793e\u533a\u6458\u8981 (Map-Reduce) \u2500\u2500\u2500\u2500\u2500\u2500\u2518
\n Local Search: \u5b9e\u4f53\u8282\u70b9\u51fa\u53d1 -> \u591a\u8df3\u68c0\u7d22\u90bb\u5c45 + \u539f\u6587<\/p>\n # \u5b89\u88c5\u4e0e\u521d\u59cb\u5316（microsoft\/graphrag）
\npip install graphrag<\/p>\n # \u521d\u59cb\u5316\u9879\u76ee（\u4f1a\u751f\u6210 settings.yaml \u7b49\u914d\u7f6e\u6587\u4ef6）
\ngraphrag init –root .\/ragproject<\/p>\n # \u7d22\u5f15\u6784\u5efa（\u6784\u5efa\u9636\u6bb5：\u89e3\u6790 -> \u5207\u7247 -> LLM \u5efa\u56fe -> \u793e\u533a\u6458\u8981）
\ngraphrag index –root .\/ragproject<\/p>\n # \u67e5\u8be2（\u5168\u5c40 \/ \u5c40\u90e8）
\ngraphrag query –root .\/ragproject –method global –query "\u8fd9\u4efd\u6587\u6863\u7684\u6838\u5fc3\u4e3b\u9898\u662f\u4ec0\u4e48？"
\ngraphrag query –root .\/ragproject –method local –query "\u4e54\u5e03\u65af\u521b\u7acb\u4e86\u54ea\u4e9b\u516c\u53f8？"<\/p>\n \u26a0\ufe0f\u00a0\u6613\u9519\u70b9：GraphRAG \u7684\u7d22\u5f15\u6784\u5efa\u975e\u5e38\u6602\u8d35（\u6bcf\u4e2a\u7247\u6bb5\u90fd\u8981 LLM \u62bd\u4e09\u5143\u7ec4 + \u751f\u6210\u793e\u533a\u6458\u8981），\u6784\u5efa\u65f6\u95f4\u4ee5"\u5c0f\u65f6"\u8ba1\u662f\u5e38\u6001\u3002\u5148\u5728\u5c0f\u6570\u636e\u96c6\u4e0a\u8dd1\u901a，\u786e\u8ba4\u6548\u679c\u540e\u518d\u5168\u91cf\u6784\u5efa；\u4e0d\u8981\u4e00\u4e0a\u6765\u5c31\u5bf9 100 \u4e07\u6587\u6863\u8dd1\u7d22\u5f15\u3002<\/p>\n 3.3 \u5176\u4ed6\u7ed3\u5408\u6a21\u5f0f：ToG\u3001Vector + Graph \u6df7\u5408<\/h4>\n\u9664\u5fae\u8f6f GraphRAG \u5916，\u8fd8\u6709\u51e0\u79cd\u4e3b\u6d41\u7ed3\u5408\u6a21\u5f0f：<\/p>\n \n\n\u6a21\u5f0f\u6838\u5fc3\u601d\u60f3\u9002\u5408\u573a\u666f<\/tr>\n \n| ToG（Think-on-Graph）<\/td>\n | LLM \u5728\u63a8\u7406\u8fc7\u7a0b\u4e2d\u6bcf\u4e00\u6b65\u90fd\u5230\u56fe\u4e0a\u6267\u884c\u641c\u7d22，\u50cf\u4eba\u4e00\u6837\u6cbf\u7740\u5173\u7cfb\u8def\u5f84\u8fb9\u60f3\u8fb9\u8d70<\/td>\n | \u9700\u8981\u9010\u6b65\u63a8\u7406\u7684\u590d\u6742\u95ee\u7b54<\/td>\n<\/tr>\n | \n| Vector + Graph \u6df7\u5408<\/td>\n | \u5148\u7528\u5411\u91cf\u68c0\u7d22\u627e\u5230\u8d77\u59cb\u8282\u70b9，\u518d\u6cbf\u56fe\u904d\u5386\u53d1\u73b0\u5173\u8054\u8282\u70b9<\/td>\n | \u5927\u591a\u6570\u751f\u4ea7\u843d\u5730\u573a\u666f，\u6027\u4ef7\u6bd4\u6700\u9ad8<\/td>\n<\/tr>\n | \n| Graph \u4f5c\u4e3a\u9a8c\u8bc1\u5c42<\/td>\n | \u5411\u91cf\u68c0\u7d22\u51fa\u5019\u9009\u7b54\u6848\u540e，\u7528\u56fe\u8c31\u9a8c\u8bc1\u5b9e\u4f53\u5173\u7cfb\u662f\u5426\u6210\u7acb<\/td>\n | \u63d0\u9ad8\u7b54\u6848\u53ef\u4fe1\u5ea6\u3001\u8fc7\u6ee4\u5e7b\u89c9<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Vector + Graph \u6df7\u5408\u68c0\u7d22\u4f2a\u4ee3\u7801：<\/p>\n def hybrid_retrieve(question):
\n # 1. \u5411\u91cf\u68c0\u7d22：\u627e\u5230\u76f8\u5173\u6587\u672c\u7247\u6bb5\u53ca\u5176\u4e2d\u7684\u5b9e\u4f53
\n vec_hits = vector_store.search(question, top_k=20)<\/p>\n # 2. \u4ece\u7247\u6bb5\u4e2d\u8bc6\u522b\u5b9e\u4f53（\u6216\u7528 LLM \u62bd\u53d6）
\n seed_entities = extract_entities(question) + extract_entities_from(vec_hits)<\/p>\n # 3. \u56fe\u904d\u5386：\u4ece\u79cd\u5b50\u5b9e\u4f53\u51fa\u53d1，\u591a\u8df3\u6269\u5c55\u5173\u8054\u8282\u70b9
\n graph_hits = neo4j.query(
\n "MATCH (e) WHERE e.name IN $entities "
\n "MATCH (e)-[r*1..2]-(neighbor) RETURN neighbor, r",
\n entities=seed_entities,
\n )<\/p>\n # 4. \u5408\u5e76\u4e24\u7c7b\u7ed3\u679c -> \u7ec4\u88c5 Prompt -> LLM
\n return assemble_prompt(question, vec_hits, graph_hits)<\/p>\n \u843d\u5730\u5efa\u8bae：\u751f\u4ea7\u9879\u76ee\u4f18\u5148\u9009\u00a0Vector + Graph \u6df7\u5408\u2014\u2014\u5b83\u4e0d\u9700\u8981\u50cf\u5fae\u8f6f GraphRAG \u90a3\u6837\u6784\u5efa\u6602\u8d35\u7684\u793e\u533a\u6458\u8981，\u6539\u9020\u73b0\u6709 RAG \u7cfb\u7edf\u7684\u6210\u672c\u6700\u4f4e\u3002<\/p>\n
\n4. \u4ece\u96f6\u642d\u5efa\u5b9e\u73b0\u6b65\u9aa4\u6e05\u5355（RAG + KG \u6df7\u5408\u67b6\u6784）<\/h3>\n\u4e0b\u9762\u662f\u4e00\u4efd"\u7167\u505a\u5373\u53ef"\u7684 10 \u6b65\u6e05\u5355，\u67b6\u6784\u540c\u65f6\u5305\u542b\u5411\u91cf\u5e93（RAG）\u4e0e\u56fe\u5e93（KG），\u662f\u6807\u51c6\u7684\u4f01\u4e1a\u77e5\u8bc6\u5e93\u5f62\u6001\u3002<\/p>\n \u250c\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2510
\n\u2502 \u6df7\u5408\u77e5\u8bc6\u5e93\u67b6\u6784\u603b\u89c8 \u2502
\n\u2502 \u2502
\n\u2502 PDF\/MD\/HTML \u2500\u2500\u89e3\u6790\u2500\u2500> \u5207\u7247 \u2502
\n\u2502 \u251c\u2500\u2500> \u5411\u91cf\u5316 -> \u5411\u91cf\u5e93(Milvus) \u2502
\n\u2502 \u2502 \u25b2 \u2502
\n\u2502 \u2502 \u2514\u2500\u2500 \u6df7\u5408\u68c0\u7d22(\u5411\u91cf+BM25) \u2502
\n\u2502 \u251c\u2500\u2500> LLM\u62bd\u53d6\u4e09\u5143\u7ec4 -> \u56fe\u5e93(Neo4j) \u2502
\n\u2502 \u2502 \u25b2 \u2502
\n\u2502 \u2502 \u2514\u2500\u2500 \u56fe\u904d\u5386(\u591a\u8df3) \u2502
\n\u2502 \u2514\u2500\u2500> \u539f\u6587\u5b58\u50a8 -> \u5f15\u7528\u6eaf\u6e90 \u2502
\n\u2502 \u2502
\n\u2502 \u7528\u6237\u63d0\u95ee -> \u6df7\u5408\u68c0\u7d22 + \u91cd\u6392\u5e8f -> Prompt\u7ec4\u88c5 -> LLM -> \u7b54\u6848\u2502
\n\u2514\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2500\u2518<\/p>\n \u6b65\u9aa4 1：\u660e\u786e\u95ee\u9898\u57df\u4e0e\u6570\u636e\u76d8\u70b9（\u6700\u91cd\u8981\u7684\u4e00\u6b65）<\/p>\n | | | | | | | | | |