mRAG: Elucidating the Design Space of Multi-modal Retrieval-Augmented Generation

推理引擎系列（五）《大模型服务系统》

本文系统阐述了大模型推理服务的架构设计与优化方法。首先介绍了基础功能模块，包括用户交互和会话管理，重点分析了KV Cache的内存管理策略。针对单用户多会话场景，对比了简单实现、KV Cache池和PagedAttention三种方案，其中vLLM的PagedAttention通过内存分页技术显著提升了并发能力。在多用户服务方面，详细解析了OpenAI风格API接口、服务层架构和核心调度策略，包括

AI Agent 选型迷局：为何 Java、Rust、Go 众星捧月，TypeScript 却坐稳江山？

这是一篇深度对比 Java、Python、Go、Rust 和 TypeScript 的技术博客。它将带你洞察为什么在 AI Agent 这个新兴战场上，TypeScript 最终“黄袍加身”。