HF Qwen3 模型转 GGUF 实操笔记（llama.cpp 纯Python转换，无需编译）

无需编译 llama.cpp：本流程是纯Python脚本转换，不需要cmake编译后端，Windows上手门槛低；不需要GPU：torch仅用于加载 safetensors 权重文件，CPU即可跑；流式读写：大模型转换不会一次性把全部权重塞进内存，内存压力小；示例1.2GB模型，转换耗时约6秒；GGUF是自包含单文件：权重、分词器、对话模板、特殊token全部打包在一个.gguf内，拷贝即可在ll

英伟达等提出EvoSafeHarness，为不同AI Agent自动定制安全防线，攻击成功率从45.6%降至10.0%

AI Infra

KV = 2 × layers × heads × head_dim × seq_len × batch × 精度。KV ≈ 2 × layers × hidden × seq_len × batch × 2 字节。vLLM 把 KV Cache 分成固定大小的 block，像操作系统分页一样管理，显存降 4 倍（Adam 有 2 个动量 + 1 个方差 + fp32 主权重）。传统 KV Cac