AI Infra

KV = 2 × layers × heads × head_dim × seq_len × batch × 精度。KV ≈ 2 × layers × hidden × seq_len × batch × 2 字节。vLLM 把 KV Cache 分成固定大小的 block，像操作系统分页一样管理，显存降 4 倍（Adam 有 2 个动量 + 1 个方差 + fp32 主权重）。传统 KV Cac

当 AI 开始写代码、画画、当家教：我们离被取代还有多远？

2020 年，GPT-3 的横空出世确实掀起了大模型热潮，但它高昂的训练成本和落地难题，也让整个行业陷入了漫长的思考期。它正在创造全新的行业和需求，就像 20 年前的互联网和 10 年前的智能手机带来的变革一样。能尽早将 AI 接入生产流程的企业，与传统企业之间将产生生产力的代际差——原先数十人的工作，现在一两个人 + AI 就搞定了，大幅降低成本、提升效率，在商业竞争中形成降维打击；即便如此，我

HF Qwen3 模型转 GGUF 实操笔记（llama.cpp 纯Python转换，无需编译）

无需编译 llama.cpp：本流程是纯Python脚本转换，不需要cmake编译后端，Windows上手门槛低；不需要GPU：torch仅用于加载 safetensors 权重文件，CPU即可跑；流式读写：大模型转换不会一次性把全部权重塞进内存，内存压力小；示例1.2GB模型，转换耗时约6秒；GGUF是自包含单文件：权重、分词器、对话模板、特殊token全部打包在一个.gguf内，拷贝即可在ll