很多人一提到本地 AI，大脑里马上浮现的都是 RTX 4090、64GB 内存、高端工作站这些词。好像不把硬件堆到顶，就没有资格谈本地大模型。
但法律工作并不完全是这样。
律师和法务每天真正高频处理的任务，更多是文本：合同条款、案卷材料、会议纪要、法律意见书、证据清单、判例摘录、项目备忘录。我们不一定要训练模型，也不一定要生成图片，更多时候只是希望 AI 能在本地资料里帮我们找到信息、整理脉络、提出初步分析。
于是，我把一台几乎已经处在“退休边缘”的联想老台式机重新搬出来，尝试做一次本地 AI 改造。目标很具体：不依赖云端 API，在本机部署轻量大模型，并通过 AnythingLLM 搭建一个律师自己的私人法律知识库。
结果比预期更实用。
一台十年前的老电脑，配置到底有多低
这台机器的配置放在 2026 年来看，已经谈不上体面：
- CPU：Intel i5-4590，2014 年的老处理器；
- 显卡：GTX 960 2GB，显存基本只能说聊胜于无；
- 内存：16GB DDR3，算是整台机器最后的尊严；
- 存储：250GB SSD 系统盘，加 500GB HDD 资料盘。
如果拿它去剪视频、跑大型三维渲染、训练大模型，基本不用想。但如果目标只是运行小参数中文模型，搭建一个个人法律文档问答库，它并没有想象中那么不堪。
这次采用的组合是 Ollama + AnythingLLM。Ollama 负责在本地加载和运行模型，AnythingLLM 负责提供对话界面、文档管理和 RAG 检索。通俗地说，Ollama 像发动机，AnythingLLM 像驾驶舱，本地法律文档就是燃料。
为什么法律人更适合尝试本地 AI
我没有优先选择云端 API，最核心的原因不是费用，而是数据隐私。
律师处理的材料里，经常包括合同原件、当事人陈述、证据材料、企业内部文件、谈判记录、法律意见书初稿、案件策略和客户商业信息。这些内容天然具有敏感性。
很多云端 AI 工具已经提供企业版、数据隔离、不用于训练等承诺，这些能力当然有价值。但对律师而言，“能不上云就不上云”仍然是更稳妥的工作习惯。尤其是在个人办公、旧案整理、内部知识库建设、合同模板库管理这些场景里，本地部署的控制感更强。
本地 AI 的价值正在这里：资料不离开电脑，模型在本机运行，文档在本地索引。它不一定最快，也不一定最聪明，但边界清楚。
当然，这并不意味着本地 AI 可以替代律师判断。它更适合做资料助理、初筛助手、文书草稿助手和知识库检索入口。最终的事实判断、法律适用、诉讼策略和对外交付，仍然必须由律师完成复核。
部署方案：Ollama 负责模型，AnythingLLM 负责工作台
这套方案的好处是门槛相对低。对于不想每天敲命令行的律师来说，Ollama + AnythingLLM 是目前比较友好的本地 AI 组合。
Ollama 负责下载、加载和运行模型。安装完成后，可以把 Qwen、DeepSeek、Llama 等模型拉到本地使用。老电脑的关键不是追求最大模型，而是选择合适的小模型。参数越大，效果可能越强，但硬件压力也会迅速上升。
在这台机器上，我更倾向于使用轻量模型：
- Qwen2.5-3B：作为中文文本处理主力，适合摘要、归纳、条款梳理和文书初稿；
- DeepSeek-R1-1.5B：用于轻量逻辑推演、思路拆解和问题分层。
AnythingLLM 的价值则在于，它把本地 AI 变成一个真正可用的工作台。你可以为不同业务创建独立工作区，例如合同审查、劳动争议、租赁纠纷、公司治理、常年法律顾问、诉讼研究。每个工作区单独上传文档，资料之间互不干扰。
这很符合法律工作的实际习惯。不同客户、不同案件、不同业务类型，本来就应该分开管理。
RAG 才是律师知识库的关键
AnythingLLM 最重要的能力，是 RAG，也就是检索增强生成。
通俗讲，AI 不只是凭模型自己的训练记忆回答，而是先从你上传的本地文档中检索相关内容，再基于检索结果组织答案。对律师来说，这一点非常重要。
法律工作并不需要 AI 一本正经地“编答案”。我们更需要它明确告诉我们：依据来自哪份合同、哪一条约定、哪段会议纪要、哪份证据材料。尤其是处理旧案、历史合同、企业内部制度和项目资料时，RAG 的价值远大于单纯聊天。
如果把云端通用大模型比作一个知识广但不一定知道你案情的外部顾问，那么本地 RAG 知识库更像一个只读过你资料的内部助理。它不一定有最强的推理能力，但它能在你的材料里找线索。
实测：老电脑能不能真正干活
为了测试这台机器的上限，我做了一次模拟实战。
我把 500GB 机械硬盘里存放的数百份法律文档挂载到 AnythingLLM 中，包括 PDF 合同、Word 协议、法律意见书、起诉状模板、判例摘录、项目备忘录和历史案件材料。
第一次导入文档时，机器明显吃力。这一步主要是在做索引，也就是把文档转换成 AI 可以检索的向量数据。老 CPU 加机械硬盘，速度不可能和新机器相比。如果资料量很大，初始索引需要耐心。
但好消息是，索引不是每次都要重新做。完成初始索引后，后续问答体验会明显顺滑很多。
我试着问了一个接近实务的问题：
“根据我那份 2017 年的租赁协议，违约金最高可以主张多少？”
AnythingLLM 会先从本地文档中检索相关协议内容，再把检索到的条款交给模型分析。输出速度不是云端大模型那种秒回，但能够以类似打字机的方式持续生成答案。对于一台 i5-4590 的老电脑来说，这个表现已经超过预期。
它不能和云端顶级模型拼能力，也不能和高端显卡工作站拼速度。但它可以完成一个非常实用的任务：在本地文档中帮我快速定位条款、归纳事实、生成初步分析。
对很多律师日常工作来说，这已经有实际价值。
旧硬件要讲分工：SSD、HDD 和内存各有位置
这次折腾之后，我最大的感受是，老电脑不是不能用，而是要明确它适合做什么。
首先，AnythingLLM 是整个工作流的粘合剂。律师不是工程师，不应该把大量时间消耗在复杂配置上。AnythingLLM 把模型、文档、工作区和对话界面整合在一起，你不需要理解太多底层技术，也可以把一个本地知识库跑起来。
其次，SSD 和 HDD 要分工。我的安排是：SSD 安装系统、Ollama、模型文件和 AnythingLLM；HDD 存放历史案卷、合同、文书和资料库。这样模型加载和系统运行尽量走 SSD，保证基本响应速度，大量低频文档则放在机械硬盘里，通过索引变成可检索知识库。
换句话说，SSD 负责跑得快，HDD 负责装得多。
最后，内存比显卡更关键。如果只是处理法律文本，不做图像生成，不训练模型，那么显卡不是第一优先级。这台 GTX 960 只有 2GB 显存，实际帮助有限。真正撑住系统的是 16GB 内存。
我的体会是，8GB 内存会比较局促，16GB 是本地轻量 AI 的基本线，32GB 会明显更舒服。旧电脑改造时，与其先买显卡，不如先确认内存和 SSD 是否够用。
它适合什么，不适合什么
这套方案适合做本地合同问答、历史文档检索、案情摘要、条款归纳、法律文书初稿、会议纪要整理、常用模板库管理和个人知识库搭建。
它不适合直接替代复杂法律推理，不适合大批量高并发处理，不适合取代专业法律数据库，也不适合作为最终法律意见的自动生成工具。尤其是涉及诉讼策略、责任承担、金额计算和重大交易判断时，AI 输出只能作为初步参考。
本地部署并不会天然消除 AI 幻觉。模型仍然可能误读条款、遗漏限制条件、错误归纳事实，甚至把检索到的内容和自己的推断混在一起。因此，律师使用本地 AI 时仍然要坚持三个动作：看原文、核上下文、留判断痕迹。
换句话说，本地 AI 的定位应该是助手，不是律师。
数据隐私之外，还要注意职业责任边界
本地部署最大的优势是资料不外传，但这并不等于没有风险。
如果多人共用同一台电脑或同一个知识库，需要注意不同客户资料之间的隔离。不同案件、不同客户、不同项目，最好建立独立工作区，避免模型检索时跨项目调用材料。
如果律所内部使用，还要考虑权限管理、文档脱敏、日志留存、设备加密、备份策略和离职交接。所谓“本地”，并不是把资料放在电脑里就万事大吉。真正可靠的本地 AI 工作流，仍然要和律所的数据管理制度配套。
对企业法务来说，类似方案也可以用于内部制度问答、合同模板库、合规手册、供应商合同归档和历史项目资料检索。但企业场景更要注意权限分层，不同部门不应看到不属于自己的敏感文件。
旧电脑也能成为私人法律 AI 工作站
这次实测让我重新认识了旧硬件的价值。
在 AI 快速迭代的时代，我们很容易形成一种错觉：好像没有顶级显卡、没有昂贵订阅、没有企业级系统，就无法使用 AI。实际并非如此。
对于大量法律文本工作来说，一台十年前的老电脑，加上 16GB 内存、SSD、Ollama 和 AnythingLLM，就已经可以搭建一个基本可用的本地法律知识库。它不华丽，也不极致，但足够私密、足够可控、足够实用。
对法律人来说，这一点很重要。我们追求的不是炫技，而是在保护客户数据和职业边界的前提下，让工具真正进入工作流。
所以，别急着扔掉你的旧电脑。换一个身份，它也许就能成为你桌面上的第一台私人法律 AI 工作站。
