作为一名正在摸索入行 AI 应用工程师的新人，整理了近期搜集的资料，聚焦这个岗位的核心能力要求，系统拆解从大模型应用开发、模型调优到工程化部署的全链路技术栈，一方面是为了给自己锚定清晰的学习方向，避免在繁杂的知识点里迷路；另一方面也希望这份整理能给和我一样的入门同路人提供一点参考，共勉前行。

一、 核心应用技术

1. 提示工程（Prompt Engineering）

• 核心能力：精通通用提示词设计技巧，包括角色设定、思维链（CoT）、少样本/零样本学习、格式约束、反幻觉指令；掌握不同模型（GPT-4o、LLaMA 3、Qwen、Claude）的提示词适配策略，能针对任务类型（问答、摘要、翻译、代码生成）优化输出。
• 实战要求：能封装可复用的提示词模板库，实现“参数化调用+效果评估”，解决大模型输出不稳定、语义偏差、格式混乱等问题。

2. 检索增强生成（RAG）技术

具备端到端RAG系统搭建能力，熟练掌控全流程技术细节，是解决大模型“幻觉”、落地知识密集型场景的核心技能。

• 核心链路：
  • 文档处理：支持多格式加载（PDF/Word/TXT/网页）、文本切分（固定长度/语义切分/段落切分），适配不同数据源特性；
  • 向量工程：嵌入模型选型（Sentence-BERT、text-embedding-ada-002）、向量生成与优化，平衡效果与效率；
  • 检索优化：向量检索（FAISS/Milvus）、混合检索（向量+关键词/ES）、结果重排序（CrossBERT、Rerankers），提升召回率与精准度；
  • 生成适配：上下文压缩、查询改写、提示词融合，让模型高效利用检索结果生成内容。
• 进阶能力：了解Modular RAG（模块化拆分）、GraphRAG（图结构知识库）、增量更新知识库等前沿方向，能结合场景评估技术适用性。

3. LLM Agent开发

• 核心能力：基于LangChain/llamaIndex搭建Agent系统，掌握“任务拆解→工具调用→结果整合→记忆管理”全流程；能自定义工具（API调用、数据库查询、计算器、翻译工具等），设计工具调用逻辑与失败重试机制。
• 实战要求：实现多工具协同、上下文记忆（短期对话记忆/长期用户偏好记忆），能处理复杂任务（如“数据分析+报告生成”“多步骤知识问答”）。

二、 模型调优与后训练技术

掌握大模型后训练技术，能针对通用场景优化模型效果，兼顾性能与成本。

1. 监督微调（SFT）

• 核心能力：熟练设计SFT全流程方案，包括数据集构建（清洗、标注、格式转换）、模型选型（开源模型如LLaMA 3、Qwen-7B）、微调参数调优（学习率、批次大小、epoch数、权重衰减）。
• 轻量化方案：精通LoRA（低秩适配）、QLoRA技术，基于PEFT库实现轻量化微调，能在普通GPU/Colab环境中完成训练，降低显存消耗与训练成本。
• 实战要求：能针对特定任务（文本分类、对话生成、意图识别）完成SFT落地，对比微调前后模型效果，输出评估报告。

2. 强化学习与后训练优化

• 核心技术：了解RLHF（基于人类反馈的强化学习）、DPO（直接偏好优化）核心逻辑，能使用开源工具（如TRL库）实现简单强化学习流程，优化模型输出偏好与准确性。
• 应用价值：解决大模型输出“幻觉”“偏离业务规则”问题，让模型生成内容更贴合实际需求。

3. 模型压缩与推理优化

• 模型压缩：掌握模型量化（INT8/INT4）、知识蒸馏、剪枝技术，能使用BitsAndBytes、GPTQ等工具实现量化，在保证效果损失可控（＜5%）的前提下，减小模型体积、降低推理成本。
• 推理部署：具备本地推理、边缘部署（LLM on Edge）经验，能将量化后的模型转换为ONNX/TensorRT格式，提升推理速度，适配低延迟场景。

三、 工具与框架体系

熟练运用AI开发全链路工具，覆盖模型训练、应用搭建、服务部署

1. 编程语言与深度学习框架

• 编程语言：精通Python，熟练使用Pandas、Numpy进行数据处理，能高效编写模型训练、API封装、脚本工具代码。
• 深度学习框架：熟练使用PyTorch、TensorFlow，掌握模型搭建、训练、推理全流程；熟悉Hugging Face Transformers、Datasets、PEFT库，能快速调用预训练模型、处理数据集、实现微调。

2. 大模型开发工具链

• 开发框架：LangChain、llamaIndex（用于搭建RAG、Agent系统，实现大模型与工具、知识库的联动）；
• 模型平台：精通Hugging Face生态（Model Hub上传/下载模型、Spaces部署演示应用），能使用开源模型完成二次开发。

3. 服务与API框架

• 熟练使用FastAPI、Flask搭建大模型推理接口，实现接口限流、异常处理、日志监控，支撑生产级高并发场景；
• 掌握主流大模型API（OpenAI、智谱AI、阿里云通义千问）的集成与封装，能应对API调用超时、密钥安全、费用管控等问题。

四、 数据存储与检索技术

具备全栈数据存储能力，能根据场景选择合适的存储方案，支撑RAG、Agent等核心功能的稳定运行。

1. 传统数据存储

• 关系型数据库（MySQL/PostgreSQL）：掌握表结构设计、高效SQL编写，用于存储用户数据、业务配置、模型参数、操作日志等结构化数据；
• 缓存数据库（Redis）：熟练使用Redis实现热点数据缓存、大模型生成结果缓存、会话管理，减少重复调用成本，提升接口响应速度。

2. 搜索引擎与向量数据库

• 搜索引擎（Elasticsearch）：熟悉ES部署与使用，能实现文本关键词检索、模糊匹配，支撑RAG混合检索场景；
• 向量数据库（FAISS/Milvus）：具备实战经验，能搭建向量知识库，优化向量检索性能，解决大规模知识库检索延迟问题，支撑RAG系统高效召回。

五、 工程化部署与监控

• 容器化部署：熟练使用Docker封装应用，编写Dockerfile、docker-compose.yml，实现多组件协同部署；了解Kubernetes（可选），支撑大规模集群部署。
• 监控与运维：搭建日志系统（ELK）、监控系统（Prometheus+Grafana），实时监控接口响应时间、模型推理速度、服务器资源占用，设置告警阈值，快速定位问题。
• 安全与合规：了解大模型应用安全规范，实现API密钥加密存储、用户权限管控、数据脱敏，符合企业数据安全要求。

六、 前沿技术与开源生态认知

• 开源模型与工具：跟踪LLaMA 3、Qwen、Mistral等主流开源模型迭代，了解LangChain、llamaIndex等工具的最新功能，能快速落地到项目中。
• 前沿技术方向：关注多模态大模型应用、Agent自动进化、Modular RAG、大模型与知识图谱融合等方向，能结合业务场景分析技术适用性。
• 行业动态：了解AI在企业服务、智能制造、智能客服等领域的落地案例，能将技术与业务需求结合，提出合理解决方案。