文章分享了作者使用Ollama框架部署DeepSeek-R1本地模型的实践经历,详细介绍了大语言模型的工作原理、本地部署方法及法律知识库搭建技术。作者认为AI具备推理能力,可作为律师的超级助手提升工作效率,但不会取代律师,而是会用AI的律师更具竞争力。文章提供了AnythingLLM和RAGflow两种知识库工具的使用指南,为法律从业者提供了实用的AI应用参考。


前言

近来AI频频出圈,AI技术也开始出现在法律咨询、法律检索、文书撰写等法律服务的核心场景。但由于此前大语言模型运行的硬件要求较高,并且主要产品是对话模型,所以主要是通过在线用于信息搜索,个人用户难以进行自定义的改造和本地使用,但随着春节期间国产模型DeepSeek-R1的问世,深刻的改变AI技术的使用场景,大语言模型不仅具备了推理能力,还通过“蒸馏技术”和架构创新,在保证基础性能的情况下极大的降低了硬件运行门槛,并且完全开源使得个人本地部署和搭配创新产生了巨大的可能。

第一次在线体验被Deepseek震惊到冒出国粹之余,我也带着焦虑,不禁会想:这玩意啥都知道就算了,居然还会推理,关键是现在还可以“飞入寻常百姓家”了,会不会取代律师或者颠覆律师行业?

伴随着网络上蜂拥的本地部署和知识库搭建教程,以及DeepSeek“本人”的指导,在市场越来越卷的背景下,我带着AI是否会取代律师的问题,开启了用ollama框架部署DeepSeek-R1本地模型的探索之旅,一方面通过实践学习AI技术相关知识,另一方面也探索AI技术在具体工作环境中的使用可能。

本文是个人分享在这一过程中的理论和实践学习笔记,以及个人的部分理解和感触,当然,自己毕竟是个半路自学而响叮当的“半壶水”,分享有不严谨和偏颇之处,还请看官海涵,具体以“deepseek”的意见为准。

本文中所称的AI或AI产品等主要指大语言模型(LLMs)及其衍生产品。

开门见山——先说感触和拙见

(一)AI绝不仅是搜索引擎——是具备推理能力的超级助手

虽然最早ChatGPT等产品出圈已经艳惊四座,但之前我更多的把Ai看作一个能够汇总搜索结论并具备一定写作能力的“超级搜索引擎”,但这次的学习和实践,我深切的感受到了其已经具备推理能力。我分别尝试问了模型一道小学奥数逻辑题和一个案例分析题,模型不仅给出了正确的答案,还向我展示了其推理过程。**这证明Ai技术不仅可以适用于法律检索、案例检索等场景,甚至可以进行案件推理和庭审推演,甚至是嵌入到业务的工作流程中形成自动化。**同时,通过本地知识库的搭建和更多数据的本地投喂,以及衔接通过本地部署衔接其他应用,Ai技术更进一步的融入律师的工作场景,作为“超级助手”极大的提工作效率。

搜索引擎时代将法律信息获取的效率提高了一个台阶,但是搜索引擎只会展示与关键词相关联的信息和资源,还是需要使用者的逐一甄别选择和理解汇总,并且只会展示前人已做出的信息的成果,不会针对具体提问进行适宜性的答复,需要使用者具备一定的知识和能力进行识别和运用,传统搜索引擎不可交互,并且不会直接给出答案,而基于大语言模型的AI产品不仅可以进行对话式的交互,还可以根据提问给出针对性的具体答案。并且近期AI-Agent产品Manus爆火,虽然网络舆论对其评价不一,但可以看见的是**AI已经不再局限于对话功能,而是可以直接用户指令,通过调用不同的应用程序向用户交付成果。**以前的AI产品像是“大脑”,Manus这类工具就是给前面的“大脑”赋予了一双“工具手”。

示例(未联网检索,在物理断网状态下,由本地部署模型进行的问答):

*逻辑题**提问为: 刘刚、马辉、李强三个男孩各有一个妹妹,六个人进行乒乓球男女混合双打比赛。事先规定:兄妹二人不能组队。第一局:*刘刚和小丽组队对战李强和小英;第二局:李强和小红组队对战刘刚和马辉的妹妹,问:刘刚、马辉、李强的妹妹分别叫什么名字?

民事案例题提问为: 甲在乙经营的餐厅用餐时,因地面湿滑摔倒受伤,花费医疗费5万元。乙称“入口处已放置‘小心地滑’警示牌”,拒绝赔偿。请分析:乙是否构成侵权?甲能否主张精神损害赔偿?

(点击查看大图)

(二)AI对法律服务行业会产生较大影响

AI将进一步降低信息壁垒,所有人可以更加便捷和高效的获取法律信息和资源。并且可以做到即时响应。同时,从社会新闻和实际工作来看,越来越多的企业、个人开始接入和使用AI产品,客户与法律服务者之间的信息会变得更加对称,对于面临的法律问题也会有基本的理解,这也意味着法律服务工作者可能需要进一步提升专业能力才可能说服客户。

虽然基于AI技术的原理,导致其在复杂问题上仍然会出现“AI幻觉”和错误答案等问题,但不可否认的是在简单问题上AI已经有相当不错的准确性,这也意味着至少目前基于AI技术所得到的法律信息或结论需要有更强的识别能力。

或者用非常通俗的话说,我们客户的需求会因为AI技术出现开始产生变化,我们的同行会因为AI技术开始优化服务方式,人民法院都开始尝试使用AI技术优化审判方法,整个社会都在因为AI技术产生深刻的变化,所以我认为身处的这个法律服务行业不会因此产生点大影响才怪了。

(三)本地部署与知识库搭建有一定的技术门槛——没网上教程那么简单

网络上目前铺天盖地的本地部署和知识库搭建教程,但是实践下来发现还是有点难度,主要存在比较多的个案问题,踩了很多教程里面没有的坑,这些问题或者所需资源需要单独处理或单独查找,这个过程中还是Deepseek帮了大忙。

本着“自己淋过雨也帮别人撑把伞”的心态,大家在本地部署和知识库搭建过程中遇到的具体问题和资源,大家可以在文末给小编留言,小编帮大家联系作者尽力进行答复。

并且从目前实践来看,后续想要用好这些工具还是需要进行持续的学习和优化。但是另外想说的是,从发展趋势来看,往后的模型使用肯定会越来越便捷,会有越来越多的成熟产品,同等性能的模型内存大小会越来越小,硬件要求会越来越低。比如目前腾讯就推出了在线的AI知识库管理工具IMA,目前实测已经非常便捷。

(四)拥抱变化但不必焦虑——AI不会取代律师,但会用AI的律师更具竞争力

通过学习和研究AI是如何工作,并且通过实践做了本地部署,我的结论是AI不会取代律师,但会用AI的律师更具竞争力。

技术之外,核心仍是法律专业能力。AI的工作原理决定了他在法律工作上的一些局限性,AI擅长的是“多”和“快”,但法律服务的价值在于“准”与“深”,即使AI在法律领域已经展现了很多不凡的能力,但如何将模型结果转化为客户可落地的方案,仍然需要律师的专业和经验判断,知识管理是律师的“第二护城河”。

AI不会一夜之间取代律师颠覆法律行业,但它正在重塑效率和法律服务的边界。与其观望,不如尝试亲手部署一个模型,从一份合同、一个案例开始,感受技术如何为专业赋能。

在这里插入图片描述

理论学习笔记——大模型如何“思考”法律问题?

(一)大语言模型的本质——从文字到数字再到文字翻译的“概率接龙游戏”

其实目前的大语言模型都并不是真正意义上的读懂和理解使用者的自然语言,无论是生成模型还是推理模型,无论是GPT还是Deepseek,尽管大模型能很好地模拟“理解行为”,但它们实际上并没有意识,也没有真正理解语言背后的概念或语义。

这里的重点在于“大语言模型”中的“大语言”,大模型主要通过提供海量的人类自然语言材料,诸如名著、法律、书籍、新闻、裁判文书等等,以此为基础将其转化为数字语言(即0和1所代表的数字语言),识别和学习这些数字语言中的模式来进行工作,通过建立矩阵模型和统计概率分布,根据基础语料数据预测接下来最可能的文字序列。模型的输出是基于统计概率而非对世界的实际认知或理解,换句话说,它们并不具备人类那样的认知能力或者情感理解。

再简单点可以大概理解为,大语言模型的世界里只有0和1代表的数字语言,他们不懂我们人类的无论中文还是英文等自然语言,他们是通过将自然语言翻译为数字语言,然后通过研究我们历史上形成的海量文字材料,通过算法或调整的参数研究我们的提问后续最可能的文字序列,再将其数字语言转换为自然语言向我们反馈和展示,本质上是一种从文字到数字再到文字翻译的“概率接龙游戏”。

具体点讲,大语言模型通过将我们的自然语言按照字或词或句的方式,通过分词器分割为一块一块的称为token的单位,再将每个token根据“词典”“翻译”为对应数字语言(具体指数字向量),这个过程对应我们的提问,也叫做“输入”。

然后模型根据转换后的输入,通过Transformer架构和一系列复杂函数的层层运算(实际过程更加复杂,推理模型还具备奖励模型机制和注意力机制等),根据已预先训练的海量语料库**(如GPT4训练语料有13万亿token,你就说大不大吧)**的概率分布,测算下文最可能出现的数字序列,然后再将这些数字序列转换为自然语言,输出答案。

以下为北大AI肖睿团队的研究学习资料:

(点击查看大图)

(二)在线使用和本地部署的主要区别

对于使用大语言模型的使用可以分为在线使用和本地部署使用两种方式。

在线使用的计算资源等通常在服务商的云端服务器中,用户输入的问题通过网络传递给服务商的服务器进行运算后再将输出结果通过网络传回用户。而本地部署是将全部计算资源安装在本地,通过本地硬件完成运算并产出结果。

二者的主要区别可参见下表:

对于法律垂直领域的使用而言,可能主要在于隐私和定制化的区别上,特别是近期的大厂“开盒”事件将隐私问题的重要性再次提升一个台阶,并且法律服务过程中使用者自身的知识库也是其服务能力的重要组成部分,本地部署无疑是法律服务场景下使用大语言模型的不错方式。

(三)知识库搭建的必要性

1.大语言模型本身有时效性

通过学习大语言模型的原理我们知道其主要是根据预训练海量的已有信息和资料,来进行运算和答复,换言之其信息受限于模型预先训练的内容,比如deepseek-r1的知识库截止日期是2023年10月,如果不通过联网检索或者投喂其信息资料,他根本不知道截止日期之后的信息,诸如新的法律规定或事件。

(点击查看大图)

2.给大语言模型提供资讯的主要方式

**结合前述原理和时效局限性的问题,所以给模型提供最新的资讯显得尤为重要,给模型提供资讯主要有四种方式,分别是联网检索、模型微调、提示词工程、知识库接入,**我用表格罗列一下其特征和优缺点对比。

一句话总结的话,就是:求快选联网,求准选知识库,求专选微调,求便选提示词。

所以,在严谨的法律垂直领域长期使用大语言模型,模型微调和知识库接入是比较合适的方式,但是模型微调需要巨大成本和技术门槛,更多的是由垂直领域的企业进行微调和开发的对应产品,一般也称为“垂类大模型”,诸如目前市面上已有的ChatLaw、法信基座大模型等,但该类产品的更新成本高,更新时效很低,所以不能很好的适应法律制度和裁判文书的更新速度,并且难以进行个性化。

所以在法律领域用好大语言模型,接入知识库个人认为是必选项。

示例:2025年3月14日刚出台《上市公司监管指引第11号——上市公司破产重整相关事项》,知识库投喂该文件和未投喂做如下对比,如下问题你也可以尝试在线用DeepSeek,在联网功能开启和关闭情况下做对。

提问为:上市公司破产重整的案件中,重整计划草案是否应当对投资人的持股期限做出约束?A公司作为上市公司,B作为投资人,取得A公司1%股权后,可否在取得股权后第6个月对外转让该部分股权?

(点击查看大图)

实践学习笔记——本地部署与知识库搭建

根据个人实践而言,本地部署本身其实并不复杂,较为麻烦的是本地知识库的搭建和本地模型的拓展应用。但是知识库搭建也可以利用调用官方API和线上模型进行匹配使用。如果感兴趣建议不要一上来就购置升级硬件,先用1.5b或7b模型做尝试和学习,确认需求再定向升级。

(一)本地部署——下载模型运行工具及模型

1、下载模型运行工具

目前市面上使用较广的模型运行工具为Ollama,并且其使用也比较简单。

可以直接在浏览器中输入地址https://ollama.com/,选择对应操作系统进行下载。

下载并安装完毕后,可以在本地打开命令提示符(win+R,输入cmd也可打开),并输入ollama -V,检查是否安装成功,若显示对应版本则代表安装成功。

2.模型的选择与下载

在ollama官网左上角选择Models,点击对应模型可以进入下载界面。

(点击查看大图)

在模型及其版本选择上,需要考虑本地硬件支持能力,以DeepSeek为例,其一共提供了不同参数大小和精度的29个模型版本,参数规模从1.5b至671b,1b是指10亿个参数,所以参数大小也意味模型本身的大小和对硬件的要求,模型运行主要看显卡显存大小,可以简单根据本地电脑的显存大小,选择低于本地显存大小的模型进行下载。

但模型参数越高或精度越高(在此也可以简单对应为模型的存储大小),其综合性能和表达能力越好,同等硬件条件下运行速度也越快。

如我们选择32b模型,那显存最好高于32b所对应的20GB,否则运行速度较慢,选择后复制对应下载命令,直接将对应命令输入命令提示符进行下载。下载完成后直接可以在命令提示符窗口进行对话。

(点击查看大图)

淋过的雨和撑起的伞:若因为网络问题等出现无法下载的情况,可以尝试关闭防火墙、切换网络方式或通过连接热点进行下载,若还无法下载,可以尝试网络搜索修改DNS地址和hosts配置进行尝试,兜底方案是直接下载GUFF格式的模型资源进行本地加载,具体资源可以在线搜索通过诸如魔搭等社区下载。

至此,本地部署已经完成,可以完全脱离网络运行,其实并不复杂。

关于模型选择,我尝试对比了7b模型和32b模型,同样的逻辑题7b模型给出的答案就出现了错误**(但32b花了50秒解答,7b模型4秒就给出了答案,抛开对错不谈你就说快不快吧)**,我详细看了推理过程,发现模型可能忽略了同一个人不可能同时出现在对战的两个队伍中的自然规则,所以我在提示词中加入这个条件后,7b模型就给出了正确答案。

关于硬件选择,32b参数规模的模型是目前综合效果比较不错的选择,并且阿里也刚推出了千问32b推理模型(号称性能比肩deepseek-671b),32b模型文件大小基本在20GB左右,所以显存最好高于20GB,可以考虑选择英伟达3090涡轮版,显存24GB,价格在7000左右,并且后续还可以进行多张显卡互联扩展硬件性能。

(点击查看大图)

(二)知识库搭建——AnythingLLM与RAGflow

知识库搭建工具目前有很多,比如CherryStudio、AnythingLLM和RAGflow等等。我通过综合查询和尝试下来,最推荐的还是RAGflow和AnythingLLM。

简单梳理了二者的特征对比:

1、AnythingLLM的下载与部署

①下载AnythingLLM

登录https://anythingllm.com/官网下载工具,如果因为科学上网等限制无法访问,可以直接输入如下下载链接:https://cdn.anythingllm.com/latest/AnythingLLMDesktop.exe;

②安装运行后进行本地模型配置:

点击窗口左下角扳手标志,先将语言调整为中文:

(点击查看大图)

然后在“人工只能提供商”中的LLM首选项中,选择LLM提供商,因为我们使用Ollama进行的模型部署,所以选择Ollama,然后选择对应已下载的模型。

③新建工作区,选择对应模型后上传知识库文档

选择上传图标,然后可以通过拖拽或路径选择等方式上传知识库文件。然后点击Move to Workspace,移动到右侧后,保存并使用嵌入模型进行解析。等待解析完毕后,屏幕下方会显示成功消息,知识已经录入知识库。然后就可以回到对话界面进行对话检测了。

淋过的雨和撑起的伞:如果这里发现解析失败,优先确认文件格式是否正确,word文件需为docx格式。如果模型对于知识库的调用或对话情况不理想,可以在工作区的设置界面确认对话的模型是否正确,其次考虑在系统设置界面确认嵌入模型(Embedder模型)的选择,可以考虑通过Ollama加载其他嵌入模型进行文件解析,注意需选择带zh字样的中文嵌入模型。

(点击查看大图)

2.RAGflow的简单介绍

因RAGflow的本地部署比较复杂,也涉及到修改对应配置文件和创建虚拟环境,由于篇幅限制所以在此就不再赘述,建议可以在B站搜索“DeepSeek + RAGFlow 构建个人知识库”观看具体视频教程,推荐UP主“堂吉诃德拉曼查的英豪”的视频。

淋过的雨和撑起的伞:部署RAGflow需要注意镜像设置问题,可以注册阿里云账号使用免费的专属镜像加速地址。如果RAGflow包文件的下载无法登录GitHub可以在线搜索zip资源文件。如果Docker无法拉取RAGflow资源,可以直接直接下载tar资源包后使用docker加载。最受是注意加载GPU版本的yml文件,使用GPU算力进行文件解析,否则在知识库文件解析时会默认使用CPU算力,速度很慢。

RAG(Retrieval-Augmented Generation)是一种技术,结合了信息检索与文本生成的技术。它的工作原理是先从一个或多个知识库中检索相关信息,然后将这些信息作为上下文提供给生成模型,以帮助生成更加准确和相关的回复。RAG技术这在知识库搭建中具有非常不错的效果。AnythingLLM自身已经包含了RAG技术。

RAGflow则是一个基于这种技术构建的企业级开源产品,它提供了更深度的功能和文档解析方式,不仅可以个人使用,并且后续可以拓展至团队或者企业使用。

如何系统的学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新,更多的大模型学习和面试资料已经上传带到CSDN的官方了,有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

在这里插入图片描述

01.大模型风口已至:月薪30K+的AI岗正在批量诞生

在这里插入图片描述

2025年大模型应用呈现爆发式增长,根据工信部最新数据:

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K(数据来源:BOSS直聘报告)

70%企业存在"能用模型不会调优"的痛点

真实案例:某二本机械专业学员,通过4个月系统学习,成功拿到某AI医疗公司大模型优化岗offer,薪资直接翻3倍!

02.大模型 AI 学习和面试资料

1️⃣ 提示词工程:把ChatGPT从玩具变成生产工具
2️⃣ RAG系统:让大模型精准输出行业知识
3️⃣ 智能体开发:用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你:
✔️ 大厂内部LLM落地手册(含58个真实案例)
✔️ 提示词设计模板库(覆盖12大应用场景)
✔️ 私藏学习路径图(0基础到项目实战仅需90天)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐