AnythingLLM 本地部署文档问答与智能体

把自己的文档接进大模型做问答，麻烦的地方通常在两处：模型怎么接、文档怎么切片进向量库。AnythingLLM 把这两件事包进了一个可以直接下载的桌面应用，也提供了能自己部署的服务端版本。仓库给出的定位是本地优先的智能体应用，本地跑、数据不出机器是默认选项。

AnythingLLM 是一个用 JavaScript 写的本地优先 AI 应用，把文档摄入、向量检索、多模型对话与智能体放在同一个界面里，输入是自己的文档和问题，输出是带来源引用的回答。

它覆盖的场景有两类。个人在一台电脑上把工作资料、手册、论文放进去直接提问；团队在服务器上用 Docker 起一个实例，每人各有一个工作区，共用同一套模型与向量库配置。桌面版与 Docker 版走的是同一条产品线，但多用户权限与网站嵌入聊天组件只在 Docker 版里出现。

基础用法

安装与依赖

仓库首屏推荐的是桌面客户端，下载入口是 anythingllm.com/download，覆盖 Mac、Windows 与 Linux。走这条路不需要预装 Node，也不用先建数据库，官方描述是「install in minutes」。仓库地址在 https://github.com/Mintplex-Labs/anything-llm ，采用 MIT 许可证，主要语言是 JavaScript。

要在服务器上部署，仓库里有 docker/ 目录与 cloud-deployments/ 目录，还有一份 BARE_METAL.md（5.6 KB）讲裸机安装。根目录的 .nvmrc 约定了 Node 版本，.devcontainer/ 提供开发容器配置。本文依据的 README 节选里没有给出完整的 Docker 启动命令，这一步需要到仓库文档里找。

运行时依赖按形态分：桌面版是打包好的应用；服务端版是 Node 服务加前端。仓库体积 93913 KB，代码占比为 JavaScript 95.3%、TypeScript 1.6%、CSS 1.2%、HTML 0.8%、Shell 0.5%、Python 0.3%。Star 数 66532，Fork 7411，开放 Issue 329 条。

最短能跑通的示例

桌面版跑通一次的最小路径是四步。

1. 在设置里选模型提供方。可以填 OpenAI、Anthropic、Google Gemini Pro、DeepSeek、Groq、Mistral 等云服务的密钥，也可以指向本机的 Ollama、LM Studio、LocalAI 或 llama.cpp 兼容服务。v1.16.2 把 LLMman OSS 加为本地 LLM 提供方，并新增 Google Vertex AI。
2. 新建工作区（workspace）。工作区是文档集合与对话记录的容器。
3. 上传文档。界面支持拖拽，格式覆盖 PDF、TXT、DOCX 等。
4. 提问。回答下方会附带来源引用。

仓库对这条路径的描述是接入模型、摄入文档、几分钟内开始对话，全程没有要求先建向量数据库。

确认它跑起来了

判断标准有三条：工作区列表里出现你新建的工作区；上传的文档完成嵌入并在文档列表里可见；提问后返回的回答下面带得出引用的原文片段。

如果模型列表一直停在加载状态、找不到本机已装的模型，这是历史 Issue 里反复出现过的现象，对应条目是「Ollama stuck on -- loading available models --」，状态已解决。桌面版的输出都在应用界面里，服务端版以容器形式运行，仓库节选里没有给出查看运行日志的命令。

主要功能

文档问答与知识库

• 多类型文档摄入：支持 PDF、TXT、DOCX 等格式。文档进入工作区后先切片、嵌入到向量库，再参与检索。仓库里没有说明单文件大小上限。
• 带来源引用的对话界面：对话区与上传区在同一个界面，支持拖拽上传，回答附带引用来源，方便回溯原文。
• 大批文档的检索优化：仓库称内置优化让它在文档量大的场景下比其它 chat UI 成本更低、响应更快。这是官方表述，仓库里没有给出对比测试数据。

智能体、集成与部署

• 工作区内置 Agents：在工作区里开关，让模型在使用文档之外还能浏览网页等。1.15.0 起桌面版开始把 Agent 能力放到应用之外，仓库描述里提到这个方向上先落地的三个功能。
• 无代码 Agent 构建器：agent-flows，用界面拼装 agent 流程。仓库同时声明 MCP 兼容，可以接 MCP 服务器。
• 动态模型路由：Dynamic Model Routing，按自定义规则把对话自动路由到更合适的提供方与模型。
• 定时任务：Scheduled Tasks，用 cron 表达式周期性跑任务或提示词，运行时带完整 agent 能力。
• 多用户与权限：多用户实例与按用户的权限控制。仓库明确标注这一项仅 Docker 版本可用，嵌入到自己网站的聊天组件同样是 Docker 版专属。

另有记忆功能（自动记忆与用户手动管理）、自定义 AI Agent、面向集成的 Developer API，以及 v1.16.0 起支持的图片生成，用 /img 触发，需要先配置支持图片的提供方。

参数与配置

常用参数

Issue 里有用户贴出 .env.development 片段用于排障，出现的字段包括 SERVER_PORT、OPEN_AI_KEY、OPEN_MODEL_PREF、CACHE_VECTORS，以及注释里提到的向量库开关。

SERVER_PORT=3001
OPEN_AI_KEY=sk-.....
OPEN_MODEL_PREF='gpt-3.5-turbo'
CACHE_VECTORS="true"

字段名的大小写与下划线写法会影响结果。Issue 里有一条「API keys wont go green」，起因就是密钥状态一直不生效，最后指向配置文件里的写法。

配置文件

仓库根目录放着 BARE_METAL.md、SECURITY.md、TERMS_SELF_HOSTED.md、.nvmrc、package.json 等文件，docker/ 目录放容器相关配置。README 节选里没有一份完整的配置字段清单，仓库里没有说明每个字段的取值范围与默认值。

实际使用中的坑

下面几条来自 GitHub Issue 区，都是真实用户踩过的。

• 在 Snapdragon X 系列的 NPU 上做推理时报「QNN Engine is offline.」。这条讨论有 69 条评论，是全站评论数最多的一条，状态已解决。
• Linux 的 AppImage 版本因为 OpenSSL 版本问题无法创建工作区，评论 45 条，状态已解决。同类症状还有容器的「115 Illegal instruction」直接退出，评论 33 条，已在讨论串里给出方案。
• 桌面版启动后提示「Document Processor Unavailable」，文档处理组件不可用，评论 28 条，状态已解决。
• 细粒度访问控制仍停在需求阶段。有管理员希望能按模型、按操作创建基于 RBAC 的角色，这条 Issue 有 27 条评论、59 个 reactions，状态是待解决。

同类项目对比

取舍的关键在两处。你要的是把一个能立刻用的文档问答应用装起来，AnythingLLM 自带界面与向量库配置入口，省掉了前后端搭建；目标是优化编码智能体的 harness 或者做细粒度权限治理，用它就绕远了，前者该看 ECC，后者得等它的 RBAC 需求落地。它也没有提供轻量 SDK 形态的用法，只想要一个模型调用库的开发者会嫌它重。

合规边界

AnythingLLM 的 Agent 可以浏览网页，文档摄入又常涉及内部资料，这两件事都有边界。网页抓取只应针对你自己拥有或已获得授权的目标，同时遵守目标站点的服务条款、robots 约定与版权要求。把抓来的内容接进模型再对外输出，来源与版权的责任仍在使用者一侧。

上传文档同样如此。公司内部文件、客户资料、带个人信息的数据放进任何 RAG 系统之前，先确认你有权这样处理，并留意所在地区对数据出境与个人信息的规定。桌面版本地运行能缩小数据离开设备的范围，但不改变处理这些数据的授权前提。把实例暴露到公网时，多用户与权限配置上的疏忽会直接变成数据泄露入口。

适合谁

适合想在本地或自己的服务器上搭一套文档问答加轻量智能体的人。有一台 Mac、Windows 或 Linux 就能起步，不需要先配向量数据库。需要团队协作、按人分配权限、往自己网站嵌聊天组件的场景，走 Docker 版。

不适合只要一个模型调用库的开发者，AnythingLLM 交付的是整套应用，没有提供轻量 SDK 形态的用法。也不适合把它当成编码智能体的优化工具，那类需求该看 ECC 这类项目。对权限模型有细粒度要求的组织，得先确认 RBAC 那条需求是否已经落地。

焚评：这个项目的量化评分

本项目的选题来自 焚.com（一个按公开公式给 GitHub 项目打分的站）。焚评当前总分 10.0 分（满分 10）。下表是各维度的得分：

评分口径、权重与计算方式见焚.com 的评分方法页；数据随 GitHub 指标刷新，具体数值以焚.com 当前页面为准。本文正文为诀.com 独立撰写，评分数据由焚.com 授权引用。