本文详细介绍了LLM工程师与普通机器学习工程师的区别，强调LLM工程师主要工作是整合和应用现有的大模型如GPT、Claude、Llama等。文章为初学者规划了五步学习路线：掌握基础知识、设计提示词与工具调用、搭建检索系统、进行模型微调与对齐、以及部署与服务。每个步骤都配有实际代码练习，帮助读者从理论到实践全面了解LLM工程师所需的技能。通过系统学习，即使是小白程序员也能逐步成长为一名合格的LLM工程师。

这两年 AI 火得一塌糊涂，随便打开哪个招聘网站，都能看到 “LLM 工程师” 这个岗位。但很多人搞不清一件事：LLM 工程师和普通的机器学习工程师，到底有啥区别？

简单来说，传统机器学习工程师花几个月从零训练一个神经网络是常有的事。LLM 工程师干的事不太一样——你不需要从零造轮子，而是把那些已经训练好的大模型（比如 GPT、Claude、Llama）接进真实产品里，让它老老实实干活。

2026 年，这个岗位的需求涨得很猛。2023 年、2024 年还在内部做着玩的功能，现在已经上线成了真正的产品。公司发现光有模型不行，还得有人能把模型用起来。而这需要的技能很具体，和你想的可能不太一样。

这篇路线图把 LLM 工程师要掌握的技能分成五个模块，按顺序来。每个模块后面都配了一个可以直接上手的项目。到最后，你至少知道自己该学什么、从哪里开始。

1、基础知识一览

如果你已经在用 Python，对机器学习也有个基本概念，那这一步过得很快。不用从数学第一性原理重新推导注意力机制，重点是对 LLM 在 token 层面的行为有个直觉。

你要搞懂四个东西：

  • Token：模型实际处理的最小单元。一句话被切成一个个 token，模型就是一个 token 一个 token 地"读"和"写"。

  • 嵌入（Embedding）：token 在高维空间里被表示成向量。两个向量距离近，意思就相近。

  • 注意力（Attention）：模型怎么决定该关注句子里的哪些词。

  • Transformer 块：构成模型的基本结构单元，一层叠一层。

你不需要从零实现它们。但你需要理解它们，这样当模型"抽风"的时候，你大概知道原因。

PyTorch 和 Hugging Face（特别是 Transformers 和 Datasets 那两个库）是这个岗位的默认工作环境。就像木匠的锯子和锤子，你得会用。

图片

代码练习：用 Transformers 库加载一个小模型，从提示词生成文本。代码就这几行：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "HuggingFaceTB/SmolLM2-135M-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

inputs = tokenizer("解释一下什么是Transformer：", return_tensors="pt")
outputs = model.generate(inputs, max_new_tokens=80)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

跑完这段代码，你就亲眼看到了"分词 → 前向传播 → 解码"这个循环是怎么转的。

2、设计提示词，搭工具调用

很多人以为提示词就是随便写几句话，这就错了。提示词不是玄学，它是 LLM 工程师最直接的杠杆。

想把提示词写好，你得有系统思维：结构化系统消息、故意放几个示例、用 JSON 输出格式把模型的回答框住。

这些做好了，模型基本就在你掌控范围之内了。

但天花板很快就来了。当你需要模型不光动嘴，还要动手（比如查个天气、调个库存），光靠提示词就不够了。这时候需要工具调用。

2026 年，工具调用已经是所有主流模型 API 的标配了，不是什么高级技巧。原理很简单：你给模型一组函数签名，模型根据用户的问题决定调用哪个。模型返回结构化调用指令，你的代码执行它，把结果塞回给模型，模型再继续回答。

这个"思考、调用、执行、回应"的循环，其实就是后面要讲的智能系统的雏形。

图片

代码练习：写一个命令行工具，通过工具调用查天气或库存。核心代码长这样：

tools = [
    {
"name": "get_weather",
"description": "查询某个城市的当前天气",
"input_schema": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"]
        }
    }
]

response = client.messages.create(
    model="claude-sonnet-4-20250514",
    max_tokens=512,
    tools=tools,
    messages=[{"role": "user", "content": "曼谷天气怎么样？"}]
)

模型返回的是一个 tool_use 内容块。你的代码负责调度——调用真实的 API，把结果塞回去。

另外，如果你有可优化的测试指标，DSPy 这样的程序化提示优化框架可以把提示词调优变成一个优化问题，而不是靠手调。

3、搭建一个简单的检索系统

RAG（检索增强生成）现在已经是标配了。只要你的 LLM 应用需要回答私有数据或者经常更新的数据，就绕不开它。

先搭一个最简单的版本：把文档切块，每块转成向量，存进向量数据库。用户提问时，检索最相关的块，塞进模型的上下文窗口。

但这样太天真了。真正的工程挑战，从你发现"简单版不好使"的时候才开始。

常见的问题：

  • 块太大，信号被稀释了。

  • 块太小，上下文丢了。

  • 检索不准，模型给出一个听起来很有道理但完全错的答案。

怎么解决？

  • 混合搜索：关键词搜索和向量搜索各自会漏掉不同的内容，把它们结合起来。

  • 重排序器：检索出来后，按和问题的相关性重新排一次序。

  • 语义路由：加个分类器，在检索开始前就把问题送到正确的数据源。

向量数据库的选择也很多：本地的有 FAISS、Chroma，托管的有 Weaviate、Pinecone。编排框架方面，LangChain、LlamaIndex、LangGraph 是主流。

图片

代码练习：做一个文档问答系统，带自我反思功能——如果第一次检索的置信度太低，就重写查询再试一次。

from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings

embedder = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(docs, embedder)
retriever = vectorstore.as_retriever(search_kwargs={"k": 5})
results = retriever.invoke("合同续约条款是什么？")

拿到结果后，算一下置信度。如果低于阈值，让模型重写查询，再检一次——别急着生成回答。

别忘了第二步说的"智能体"概念：检索本身就可以是一个工具，由模型决定"要不要查一下资料"。

如果你的私有数据里实体关系特别绕，知识图谱的方式（有人叫它 GraphRAG）也值得看看。

4、微调与对齐：让模型说"人话"

提示词和检索能解决大部分问题。但有时候，模型就是没法严格按照你想要的格式输出——用了特定术语、保持某种语气、或者每次输出的格式都有点小偏差。这时候就该微调上场了。

微调还有一个用处：把一个大模型的能力"蒸馏"到一个小模型里，能省不少推理成本。

现在主流的方法是参数高效微调，也就是 LoRA 和它的量化版本 QLoRA。原理很简单：原始模型不动，只训练一小套"适配器权重"。效果不错，计算成本只有全量微调的零头。Hugging Face 的 PEFT 和 TRL两个库都支持。

另一个常见技术是 DPO（直接偏好优化）。你给模型一组"好的回答"和"不好的回答"做对比，模型自己学着往好的方向靠。它比传统的 RLHF（人类反馈强化学习）简单得多，现在已经基本取代了老派的 PPO 方法。

但说句实话，微调最花时间的不是训练本身，而是数据集策划。你得花大量时间挑数据、清洗数据、构造对比样本。模型的质量，归根结底取决于你喂进去的数据有多干净。

评估也是个正经的工程活：编程序化评估集、写测试套件检查输出格式和事实准确性、加保护措施防止错误答案漏出去。Ragas 和 Phoenix 是这俩方向上的实用工具。

图片

代码练习：微调一个小模型，让它模仿特定的企业语气。然后写一个自动化评估器，拿微调前和微调后的输出做对比打分。

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

base_model = AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM2-360M")
lora_config = LoraConfig(r=16, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, lora_config)
model.print_trainable_parameters()

跑完你会看到只有 1%-2% 的参数是可训练的——这就是 LoRA 高效的地方。

5、部署和服务：让模型跑在生产环境

让模型在笔记本上跑起来，和让它扛住生产流量，是两个完全不同的工程问题。

开放权重模型需要专门的推理基础设施：

  • 批处理：同时处理多个请求，把 GPU 利用率拉满。

  • 量化：降低数值精度，减少内存占用，提高吞吐量。

工具方面，vLLM 是吞吐量优化服务的首选，Ollama适合本地开发和测试，Bitsandbytes 覆盖了 4 位和 8 位量化。

然后是 LLMOps——运营层面的工作：记录每个请求的 token 用量、输入输出（用于调试和合规）、版本管理提示词和应用代码、跟踪成本和延迟的变化。这些工作，区分了一个"能跑的 demo"和一个"可维护的生产系统"。

实验跟踪用 Weights & Biases，生产环境可观测性用 Phoenix。

图片

代码练习：把第三步的检索系统封装到一个轻量级 API 后面，加一个遥测记录器，跟踪每次调用的 token 数、延迟和估算成本。

from fastapi import FastAPI
import time

app = FastAPI()

@app.post("/query")
asyncdefquery_endpoint(question: str):
    start = time.time()
    response = rag_chain.invoke(question)
    latency_ms = (time.time() - start) * 1000
    log_telemetry(question, response, latency_ms)
return {"answer": response, "latency_ms": latency_ms}

一开始就把遥测加上——有了基线数据，成本突然飙升或者延迟变差的时候，你能第一时间发现。

6、最后总结

这五个步骤是一层叠一层的：

  1. 基础

给你理解模型行为的词汇

  1. 提示词和工具调用

给你操控模型的主要接口

  1. 检索

把模型和外部知识连起来

  1. 微调和对齐

让你按需重塑模型行为

  1. 服务和运营

让这一切在真实负载下可靠运转

如果你已经有机器学习的背景，专心搞三到六个月，就能在这五个领域做出东西来。第一个项目应该更早交付。

这个岗位上，作品集比证书重要得多。公开挂一个能跑的检索系统，或者一份带评估结果的微调报告，比任何课程结业证书都更能说明问题。

哦对了，如果你更感兴趣的是系统设计、团队架构这些东西，而不是写代码——那你也别硬挤 LLM 工程师这条路。AI 架构师是另一条路，基础知识和 LLM 工程师一样，但走几步之后就分叉了。

最后一句：不要试图一口气学完所有东西。从第一步开始，先完整跑通一个简单的，再钻深某个方向。

最后

如果说程序员已经是高薪职业，那么干AI的程序员，就是高薪中的高薪。

图片

现在的市场，已经用数据给程序员指明了方向：学AI大模型，就是冲刺高薪的最优解！

图片

看着身边越来越多的同行转型大模型、拿到高薪offer，很多人心里都动了心，但真正的难题来了：零基础小白不知道从哪入门？有基础的程序员找不到系统学习路径？实战项目练手无门？面试不知道考什么？

别慌！今天就给大家整理了一份【2026年最新版】AI大模型免费学习资源包，覆盖从入门到实战、从理论到面试、从基础到进阶的全流程，所有资料均已整理归档，无冗余、无套路，免费分享给每一位想抓住AI风口的程序员和小白！

👇👇扫码免费领取全部内容👇👇

在这里插入图片描述

1、大模型系统化学习路线

在这里插入图片描述

2、大模型学习书籍&文档

在这里插入图片描述

3、AI大模型最新行业报告

在这里插入图片描述

4、大模型项目实战&配套源码

img

5、大模型大厂面试真题

img

四阶段精细化学习规划（附时间节点，可直接照做）

结合上述资源，给大家整理了一份可直接落地的四阶段学习规划，总时长约2个月，小白可循序渐进，程序员可根据自身基础调整节奏，高效掌握大模型核心能力，快速实现从“入门”到“能落地、能面试”的跨越。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …
第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …
第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …
第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

👇👇扫码免费领取全部内容👇👇

在这里插入图片描述

6、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
在这里插入图片描述
在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

# 人工智能 # 学习
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

Apache Doris Python UDF：让 SQL 直接调用 Python 生态，支撑 Agent 时代复杂业务逻辑

avatar 2048 AI社区

全行业涨幅第一！2026年AI通信开启网络底层重构大周期

在上游，基于华为韬定律的系统级逻辑折叠在芯片层全面落地，光模块领域迎来爆发期，800G及以上速率产品出货占比持续攀升，1.6T光模块将于2026年迈入规模化商用快车道，硅光集成与CPO技术成为核心刚需。在国内市场，华为以ICT基础设施、盘古大模型与昇腾算力底座三位一体，5G专利持有量蝉联全球第一，昇腾已成为国产大模型训练的首选底座，构筑了中国AI通信与算力产业的长城；AI通信的高质量发展依托于全产

avatar 2048 AI社区
cover

AI Agent记忆系统2026：让Agent真正“记住“一切

avatar 2048 AI社区