登录社区云,与社区用户共同成长
邀请您加入社区
本文深入解析了nano-vllm中decode阶段KV缓存管理的核心机制。重点分析了三个关键问题:1)通过can_append函数判断何时需要新块,其巧妙利用布尔表达式仅在块边界(每256个token)时检查空闲块;2)当缓存不足时,系统采用"抢队尾"或"抢自己"的抢占策略,通过while-else控制流确保被抢占序列不进入本轮调度;3)被抢占序列会被放入waiting队列前端,利用L05的pre
摘要: 本文探讨了大模型智能体的四大经典范式——ReAct、Plan-and-Solve、Reflection/Reflexion和Tree of Thoughts(ToT),分析其核心逻辑、适用场景及优劣势。ReAct通过“边推理边行动”适应动态任务,Plan-and-Solve以“先规划后执行”确保结构化流程,Reflection通过“生成-反思-优化”提升输出质量,ToT则支持多路径探索与回
可作如下类比: 想象一位画家在创作连环画——每一帧画面都需承接前一帧(甚至前几帧)的情节与构图,才能合理延续故事。同理,自回归模型在每个时间步的输出,都依赖于此前一个或多个时间步的输出结果。这种逐词/逐帧递进、环环相扣的生成方式,使各时间步之间形成强序列依赖,因而特别适用于时间序列预测等任务。
本文详细介绍了如何配置OpenClaw工具使用第三方平台(以魔芋AI为例)的API密钥接入AI模型服务。主要内容包括:1)获取API密钥和服务地址;2)修改OpenClaw配置文件添加模型提供商和模型定义;3)配置默认模型及别名;4)提供完整的配置示例和验证方法;5)说明如何添加更多模型(包括Claude系列模型的特殊配置)。文章重点讲解了配置文件各参数含义,帮助用户实现OpenClaw与第三方A
本文介绍了一种分步式医学事实核查系统,该系统通过大型语言模型(LLM)迭代生成问题、收集证据并验证医学主张的真实性。研究比较了传统三阶段流程(文档检索、证据提取、判决预测)与新型分步式方法在三个医学数据集(SCIFACT、HEALTHFC、COVERT)上的表现。结果显示,分步式系统显著提升了F1分数(最高提升5.2),特别是在处理复杂医学概念时优势明显。研究还探讨了内部/外部知识源、谓词逻辑推理
摘要: Prompt注入攻击是一种通过恶意输入操控AI行为的安全漏洞,攻击者在正常输入中植入指令,使AI执行非授权操作。攻击方式包括直接注入、间接注入和上下文污染,利用AI对自然语言的过度信任。其危害从信息泄露到系统控制不等,具有隐蔽性强、实施门槛低等特点。防御面临传统输入验证无效等挑战。实际应用场景广泛,涉及企业系统、Web应用和开发工具等。未来攻击可能更自适应且结合社会工程,防御需多层次策略。
本文介绍了Ollama的安装使用及模型部署方法。首先从官网下载安装Ollama,建议修改默认安装路径避免占用C盘空间。然后详细说明了如何部署模型,以千问模型为例,展示了从搜索到运行的全过程。文章重点介绍了常用客户端命令:run(运行模型)、pull(下载模型)、list/ls(查看本地模型)、ps(查看运行中模型)、rm(删除模型)和show(查看模型信息)。针对不同配置的机器给出了参数建议,如i
本文探讨了提示词注入攻击在OpenClaw等AI代理系统中的特殊危险性。相比普通聊天场景,提示词注入在AI代理中危害更大,因为代理会将恶意指令转化为实际行为而非仅输出文字。文章通过类比SQL注入解释了该攻击原理,并以真实案例展示了攻击路径。作者指出这是LLM架构的结构性弱点,并提出了多层防御方案,包括输入过滤、权限最小化、人工确认等。最后强调在LLM无法区分数据和指令的前提下,设计安全的代理系统是
摘要:自然语言处理中的语篇处理是AI领域的核心难题,涉及语篇连贯性、结构分析和指称消解三大关键问题。语篇连贯性通过结果、解释等关系实现,而语篇结构可通过有监督/无监督算法进行切分。指称消解则需解决代词、名词短语等指称表达的实体对应问题,包括同指消解和代词回指消解两类任务。这些技术对信息检索、文本摘要等应用至关重要,但代词多义性等问题仍带来挑战。
极简 200 行 Python 代码实现 GPT 模型,通过人名生成案例揭示 LLM 核心原理:统计规律生成内容、反向传播机制及规模差异,验证复杂 AI 的本质源于简单规则。
《大数据与大模型:AI发展的范式转变》摘要 本文系统阐述了"大数据+大模型"这一AI发展新范式。该范式通过同步扩大训练数据规模(万亿级词元)和神经网络参数量(千亿级),产生了显著的协同效应。研究发现,当模型规模达到临界点时,会涌现出小模型不具备的新能力,如复杂推理和代码生成。这种范式虽带来通用性强、知识覆盖面广等优势,但也面临计算资源消耗大、可解释性差等挑战。目前广泛应用于AI
借助RAG开源库LangChain-Chatchat进行了地理知识问答相关的实验。将调研情况进行了简单整理,记录于此,以备后续查阅。若有相关需求或经验同学,欢迎交流!
对自动代码修复智能体SWE-Agent进行调试,将调试过程和简单解读记录在此,供其它小伙伴们学习交流。原创不易,若转载请注明来源,感谢!
在使用大语言模型时,你可能经常听到"temperature"(温度)这个参数。它就像AI的"创造力调节器",通过调整这个看似神秘的数字,我们就能控制AI输出是保守稳妥还是天马行空。那么,temperature到底是什么?它又是如何影响AI的创造力的呢?temperature参数本质上是一个控制概率分布平滑度的超参数。要理解这一点,我们需要先了解大语言模型是如何生成文本的。大语言模型在生成每个词时,
随机采样是AI文本生成中引入随机性的策略,通过概率分布选择词语而非总是选择最优解,使输出更自然多样。核心参数温度(Temperature)控制随机程度,配合Top-k/Top-p采样避免失控。这种技术让AI对话更接近人类表达,但也可能产生不连贯内容。应用包括创意写作、聊天机器人等,现代系统常结合束搜索等混合策略平衡创造性与可控性。随机采样解决了AI输出单调的问题,但需在参数调优与结果质量间找到平衡
随着大语言模型与检索增强生成(RAG)技术的融合,BGE-Large 这类高质量嵌入模型,将成为智能应用的“大脑前哨”,让 AI 更懂中文,更懂你。BGE-Large是由 FlagOpen 团队开发的高性能中文文本嵌入模型,属于 BGE(BAAI General Embedding)系列中的大尺寸版本。其中,bge-large-zh-v1.5 是专为中文优化的迭代版本,具备 1024 维高维向量输
这篇文章为编程新手和NLP初学者提供了一个简单的中文文本处理实战指南。作者通过复现一篇经济学论文中的NLP部分,详细演示了从PDF到文本转换、中文分词、词库构建(使用jieba和nltk)、词库清洗到情感值计算的全流程。文章特别强调了在实际操作中可能遇到的常见问题(如环境配置、词库匹配错误等)及解决方法,并分享了使用AI辅助编程的经验。
GLM-5 的编码工程能力 “刘哔”。
Google AI Pro/Ultra 是 Google 提供的付费 AI 服务订阅计划,用户每月支付 249 美元,可使用 Gemini 等先进模型进行代码生成、内容创作等任务。这些服务通过官方应用(如 Gemini CLI、Android Studio 插件)访问,但 Google 也提供了 API 接口供开发者调用。然而,API 调用通常按实际使用量计费,而订阅计划则提供了「无限」使用额度,
当你在聊天机器人中输入问题,答案几乎是瞬间出现的。不是几秒,而是零点几秒,甚至更快。这种体验对习惯了「慢慢打字」的 AI 服务的人来说,简直不可思议。这并非魔法,而是一家初创公司通过硬件创新带来的变革。
摘要:本文探讨了AI Agent的核心原理与技术框架。AI Agent基于大语言模型构建,具备自主规划、记忆存储和工具使用能力,可处理复杂多步骤任务。文章详细分析了Agent的四个关键模块:规划(包括思维链和思维树分解)、记忆(短期与长期存储)、工具API集成和执行行动。通过智能家居案例展示了Agent如何感知需求、分解任务并动态调整行动。还介绍了ReAct框架等关键技术,为构建个性化Agent系
当 AI 智能体开始能自动处理日常任务——比如读邮件、发消息,甚至安装软件,一个看似简单的项目却引发了硅谷巨头的争夺。但这个工具背后,隐藏着怎样的安全风险?
本文系统介绍了模态编码的概念与方法论。模态编码旨在让计算机统一处理文本、图像、音频等不同形式的信息,通过编码将其转化为机器可处理的数字向量。文章详细解析了"模态"和"编码"两个核心概念,阐述了各模态(文本、图像、音频、视频)的编码方法,并列举了模态编码在AI应用中的广泛用途。最后指出当前面临的挑战(模态异质性、数据对齐成本等)和未来向通用多模态基础模型发展的
你让 AI 帮忙决定洗车方式,它认真建议你走路,却完全忽略车还在家里——这种看似荒谬的错误,其实揭示了当前 AI 系统的深层缺陷。2026 年 2 月,一位开发者在 Mastodon 上抛出一个简单问题:「我想洗车,车洗店在 50 米外,该走路还是开车?」结果发现主流 AI 模型集体掉进坑里。ChatGPT 、Claude 等多数模型一本正经建议「走路」,甚至编造「开车会冷启动伤引擎」「省油环保」
MoE(混合专家)模型通过将多个"专家"网络与门控网络结合,实现了高效的大模型训练。门控网络根据输入选择最匹配的Top-K专家进行加权计算,既保留了大规模模型的参数容量,又通过稀疏激活降低了计算成本。MoE通常替换Transformer中的FFN层,保持注意力机制不变。虽然MoE解决了传统稠密模型的计算效率问题,但也面临负载均衡和高资源需求等挑战。这种架构为超大规模AI模型提供
创建自定义Gym环境需要继承gym.Envimport gymself.action_space = spaces.Discrete(3) # 3个离散动作shape=(84,84,3), dtype=np.uint8) # 图像状态空间# 实现环境逻辑# 重置环境状态# 可选的可视化方法passOpenAI Gym提供了Atari游戏环境的封装,通过gym.make('ALE/[游戏名]-v5'
本文介绍从零构建AI对话模型的完整流程。基于Miniconda3虚拟环境,使用PyTorch搭建Seq2Seq模型,无需依赖预训练模型。核心步骤包括:数据准备(JSONL格式对话数据集)、环境配置(NumPy/PyTorch/jieba分词器)、模型构建(LSTM编码器-解码器结构)、训练与推理。重点实现角色化对话生成,确保回复符合"沐雪"的可爱AI女孩设定。通过模块化设计提升
一个agent最小结构实现只有 4 个部分:1️⃣ LLM2️⃣Tools(函数)3️⃣ Prompt(告诉模型如何思考 + 何时调用工具)4️⃣ AgentExecutor(循环调度)而一个最简单的ReAct本质就是用户问题↓LLM 思考↓决定是否调用工具↓工具返回结果↓LLM 再思考↓最终回答。
智谱旗下学术平台AMiner构建了一个更方便、更适合全流程各领域学习者的AI笔记与研究助手——「AMiner Research Labs」,恰好可以将AMiner的「学术空间」、「智能学术检索」、「AMiner沉思」、海量科研数据库与GLM多模态能力连接为一个深度研究工作台。
结论:医疗GEO是医疗AI时代的基础设施工程在生成式AI成为患者医疗决策前置中介的时代:医疗机构面临的不是“是否做营销”,而是“是否参与构建AI认知系统对自己的表达方式”爱搜光年通过医疗GEO方法论与DPI-ACD模型,提供的是:• 医疗AI搜索世界中的表达权工程• 医疗推荐路径中的风险治理工程• 医疗信任系统中的认知基础设施工程这是医疗行业在AI时代的新型基础设施能力。
本文为王万良《人工智能导论(第5版)》的笔记,该图书为国内大学广泛采用的《人工智能》课程教材。笔记涉及的主要章节包括绪论、知识表示与知识图谱、搜索求解策略、智能计算及其应用、专家系统与机器学习、人工神经网络及其应用、智能体与多智能体系统、自然语言处理及其应用。
自然语言处理(Natural Language Processing,NLP)是人工智能(AI)的核心分支之一,核心目标是让计算机能够理解、处理、生成人类的自然语言,实现人机之间的自然语言交互。简单来说,NLP 架起了“人类语言”和“计算机语言”之间的桥梁——计算机本身只能识别 0/1 数字,而 NLP 就是让计算机读懂文字、听懂语音、甚至生成符合人类逻辑的语言。
Natural Language Kit提供文本语义理解能力,支持分词处理和实体识别两大核心功能。分词功能可智能切分多语言文本,适用于搜索引擎、机器翻译等场景;实体识别能精准提取10余种特定实体,如人名、地址、手机号等,应用于简历解析、合同分析等领域。通过简单API调用即可实现文本处理,输出结构化结果,为智能客服、内容审核等应用提供基础NLP支持。
本文深入探讨 LangChain 1.0 的核心接口标准 Runnable,详解其如何统一所有可执行组件的接口,并支撑 LCEL(LangChain Expression Language)的运行语义。通过实例代码展示 Runnable 的使用方法和 LCEL 的组合能力,帮助开发者构建可组合、可并行、可路由的链式执行流程。
本文系统讲解了Transformer架构在生成任务中的核心原理与应用。重点解析了Encoder-Decoder结构、MaskedAttention机制和位置编码等关键技术,并深入对比了训练时的TeacherForcing与推理时的Autoregressive模式差异。文章还介绍了KVCache优化和BeamSearch等实用技巧,为理解现代大模型工作原理提供了清晰框架,特别适合考研复试准备。
本文从"AI复活逝者"的叙事切入,揭示大语言模型本质是概率分布模拟器——一场精密的文字接龙。当数据量突破临界规模,统计规律产生"理解"的涌现幻觉,但AI并无意识或意图。RLHF训练架构虽能约束输出,却埋下隐患:当"好"的定义出错,整个系统将系统性偏离。AI"复活"逝者只是语言行为模仿,与照片、录像无本质区别,无法复制第一人称主观体验。目标对齐存在结构性脆弱——价值的符号化必然失真,层级崩塌风险潜伏
2. 自制数据集——使用Ollama本地部署的DeepSeek-R1-32B-Distill和DeepSeek-V3.2(deepseek-chat)API以及专利和文献文本资料制作得到。3)为了提高数据利用效率,根据训练模型时设置的cut_off_length(例如为32768)将长文本截断为多条数据,例如一个长文本的总长度为327680,则将该长文本截断为10条数据,总共得到1200条数据,每
本文深入探讨了MCP协议的传输层实现,详细介绍了四种不同的传输方式:Stdio、HTTP+SSE、StreamableHTTP和WebSocket。Stdio通过标准输入输出实现轻量级本地进程通信;HTTP+SSE采用单向推送技术;StreamableHTTP整合了POST和SSE实现双向通信;WebSocket则提供全双工低延迟通道。文章解析了每种传输方式的客户端和服务端实现原理,包括消息打包、
MCP Python SDK源码解析:协议层实现剖析 本文深入分析了MCP Python SDK中协议层的实现机制。MCP架构包含Host、Client和Server三个核心组件,通过JSON-RPC 2.0协议进行通信。BaseSession类作为协议层核心,实现了消息封装、请求/响应关联等基础功能,其泛型设计支持多种消息类型处理。ClientSession和ServerSession继承Bas
大模型推理的基本原理与标准介绍
自然语言处理(NLP)是人工智能的核心领域,研究如何让计算机理解和生成人类语言。大语言模型(LLM)是NLP发展的最新成果,实现了从规则系统到智能涌现的突破。NLP包含自然语言理解(NLU)和生成(NLG)两大方向,传统方法依赖人工规则,而LLM通过Transformer架构实现了统一处理各类语言任务的能力。大模型将翻译、摘要、问答等传统NLP任务整合为提示词指令,彻底改变了该领域的研究范式。NL
通过手把手的代码对比,本文将展示如何将旧版的 initialize_agent 平滑迁移至最新的 create_agent API,并深入解析了 1.0+ 版本引入的 中间件(Middleware) 机制。文章附带完整的实战案例与自动化验证脚本,旨在帮助开发者快速掌握 LangChain 新时代的 Agent 开发核心能力,构建更稳定、可控、具备生产级工程能力的智能体应用。
关于OpenCompass 大模型评测的记录
LangChain 1.0 版本的核心变革是将 LCEL(LangChain Expression Language)从 “推荐新方案” 升级为 “唯一生产级标准范式”,彻底淘汰了旧版 Legacy Chains 体系。本文将深入解析 LCEL 的核心设计理念、LangChain 1.0 对 LCEL 的关键升级、生产级实战场景及落地指南,所有内容均基于 LangChain 1.0 + 最新规范验
在大模型应用开发中,提示词(Prompt)是连接人类需求与模型能力的核心桥梁。但很多开发者在使用大模型时,仍停留在 “手写字符串提示词” 的阶段,不仅复用性差、维护成本高,还难以实现复杂的交互逻辑。LangChain 作为大模型应用开发的主流框架,提供了一套结构化的提示词组件,通过PromptTemplate、ChatPromptTemplate等核心工具,结合format、invoke等调用方法
Elastic Attention 是我们在 Dynamic Sparse Attention 方向的一次尝试。通过引入 MoE 路由机制,我们打破了静态稀疏注意力的限制,证明了“动态路由”在 Attention 层同样大有可为。目前代码、模型和论文均已开源,欢迎大家 Star、引用和交流!PaperCodeModel如果你对长文本优化、MoE 架构或底层算子优化感兴趣,欢迎在评论区留言讨论!
当你和 ChatGPT、GPT-4 或文心一言对话时,输入的每一段文字都会被拆解成一个个看不见的 “积木”——Token。这些 Token 是大模型理解和生成文本的基本单位,决定了模型能处理的上下文长度、生成效率,甚至 API 调用成本。本文将从底层原理出发,带你彻底搞懂大模型生成 Token 的全过程,以及它如何影响大模型的表现。
本文摘要: 《与模型对话:提示工程基础》系统介绍了与语言模型交互的核心技术。首先解析了高质量提示的四大要素:角色设定、明确指令、上下文背景和输出格式规范。重点讲解了Zero-shot直接提问和Few-shot示例引导两种核心方法,并提供了Few-shot的最佳实践建议。文章深入探讨了思维链(CoT)技术,通过让模型展示推理过程来提升复杂问题的解决能力。还介绍了ReAct模式、结构化输出、采样参数控
带你穿越NLP发展史,理解为什么我们需要大语言模型,以及它们如何从"词袋"进化到"大脑"。