AnythingLLM (任意LLM) 深度评测：2025年开源RAG知识库智能问答平台使用教程：从入门到精通

从选型到落地的可执行指南，适合个人与团队快速上手。

教程正文

从选型到落地的实战步骤。

一、什么是AnythingLLM？

AnythingLLM 是一款开源的全栈式 RAG（检索增强生成）知识库平台，支持将本地文档、网页内容、数据库等转化为智能问答的知识源。它兼容 OpenAI、Claude、本地模型（如 Ollama、LM Studio）等多种大语言模型，并提供简洁的 Web 界面和 API 接口。2025 年版本新增了多模态支持、更强大的分块策略和权限管理，非常适合个人知识管理、企业文档问答以及开发者快速搭建智能客服。

二、快速安装与部署

2.1 环境要求

操作系统：Windows 10+ / macOS 13+ / Linux (推荐 Ubuntu 22.04)
硬件：至少 4GB 内存，建议 8GB 以上；如运行本地模型需独立显卡（显存≥6GB）
Docker（可选）：简化部署，推荐使用 Docker Compose

2.2 Docker 部署（最简方式）

创建目录 mkdir anythingllm && cd anythingllm
下载 docker-compose.yml：wget https://github.com/Mintplex-Labs/anything-llm/releases/latest/download/docker-compose.yml
启动：docker compose up -d
访问 http://localhost:3001 进行初始设置

技巧 Tip： 如果使用本机 Ollama 模型，需在 Docker Compose 中添加网络配置，确保容器能访问宿主机的 localhost:11434。

三、首次配置与模型连接

3.1 设置管理员账号

打开浏览器进入 http://localhost:3001，输入邮箱和密码创建第一个管理员（支持邀请其他用户）。

3.2 选择并配置 LLM

进入“设置” → “LLM 提供商”：

OpenAI：填入 API Key 和模型名称（如 gpt-4o-mini）
Ollama：选择本地运行的模型（需先启动 Ollama 并拉取模型）
LM Studio：指定 API 地址（默认 http://localhost:1234/v1）

实操步骤： 选择 Ollama → 点击“测试连接”，若显示“连接成功”即可保存。

四、创建知识库与导入文档

4.1 新建工作区

点击左侧“工作区” → “新建工作区”，命名如“我的知识库”。每个工作区可以独立设置模型和分块参数。

4.2 上传文档

支持格式：PDF、TXT、Markdown、Word、Excel、CSV、图片（需配合多模态模型）、网页链接等。

进入工作区 → 点击“上传文件”或“添加链接”
拖拽或选择文件，等待解析完成（后台自动分块、向量化）
可在“文档管理”中查看已导入的文件列表及分块数量

技巧 Tip： 对于 PDF 中的表格，建议先导出为 CSV 再导入，检索准确率更高。

4.3 分块策略调优

在“工作区设置” → “文档处理”中，可调整：

块大小 (Chunk Size)：默认 1000 token，小文档可降至 500
重叠率 (Overlap)：建议 10%~20%，避免上下文断裂
嵌入模型 (Embedding Model)：推荐 text-embedding-3-small 或 nomic-embed-text-v1.5

五、智能问答实战

5.1 基础问答

在工作区聊天窗口直接提问，例如“总结一下这份年度报告的核心观点”。系统会自动检索相关分块并生成答案。

5.2 引用溯源

每条回答下方会显示引用的文档片段及其来源文件，点击即可跳转到原文位置。

5.3 多轮对话与上下文

AnythingLLM 默认保存最近 20 轮对话历史，可手动清空。若要强制模型只基于知识库回答，可在设置中开启“仅使用检索内容”。

实操步骤： 上传一份产品说明书 → 连续问：“这个产品怎么安装？”、“常见故障如何解决？” → 观察回答是否准确并检查引用。

六、高级功能与 API 集成

6.1 API 接口

在“设置” → “API 密钥”中生成密钥，可用于外部程序调用。示例（curl）：

curl -X POST http://localhost:3001/api/v1/workspace/{workspace_id}/chat \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"message":"公司考勤制度是什么？"}'

6.2 多用户与权限

管理员可创建普通用户并限制其可访问的工作区，适合企业内部分享机密文档。

6.3 自定义 Prompt 模板

在“高级设置”中修改系统提示词，例如添加“请用中文并分点回答”。

七、常见问题与排错

问题	解决方法
上传文档后无响应	检查嵌入模型是否正常加载，重启容器
回答与文档无关	降低 `Similarity Threshold`（默认 0.8）或增加检索数量
Ollama 连接失败	确保 Ollama 运行 `ollama serve`，且防火墙放行 11434 端口

八、总结与推荐

AnythingLLM 是目前最成熟的开源 RAG 方案之一，部署简单、模型兼容性强、知识库管理灵活。无论是个人搭建第二大脑，还是企业打造内部知识库，都值得尝试。

适用人群： 初级用户也能半小时上手，开发者可深度定制。推荐搭配 Ollama + 本地嵌入模型实现完全离线使用。