简介

本文分享了一位2年经验程序员的大模型算法面试经验，涵盖基础知识和RAG项目实践。内容包括稀疏语义召回、嵌入模型原理、LoRA微调、注意力机制等核心技术，以及文档分块、多路召回策略、重排序等RAG项目细节。文章详细解答了面试官关注的技术问题，分享了实际项目中的优化方法和经验，为准备大模型相关岗位面试的开发者提供了全面参考。

个人背景：2年经验，之前在某运营商

基础

1、解释一下稀疏语义召回，BGE-M3怎么实现的

2、Qwen3-Embedding的原理，dense向量从哪里来

3、Lora微调的概念，超参数r和alpha的调参经验

4、RMSNorm

5、Flashattention是什么

6、GQA、MQA

7、Python抽象类是什么？生成器？上下文管理器

8、PPO、DPO、GRPO 9、Git fetch、rebase、pull

10、python中的async和await为什么一起使用

11、模型微调能解决什么问题

12、为什么要进行重排序？（我从模型架构上来回答了，召回用的bi-coder，重排序用的cross-encoder）

13、什么是上下文工程

14、MCP是什么

15、大模型的幻觉问题怎么解决？

16、python深拷贝和浅拷贝使用的场景

17、介绍一下大模型的位置编码

18、Transformer中的cross-attention

19、注意力分数计算时，为什么要除以根号dk

项目相关（RAG）

1、如何将原始文档转换为知识块？你用了三个技巧，能展开说明吗？（语义感知切分、父子文档、滑动窗口）

2、检索召回阶段为什么Dense用了Qwen3，sparse用了BGE-m3，不全部用BGE（其实都可以，BGE-M3支持dense和sparse）

3、这个项目的文档分块、清洗规整等等，都是基于每一页的文档。面试官问我，为什么不揉在一起再去做文档处理，这样子分页没法处理跨页信息。

4、为什么用了Sparse语义召回，还要用BM25? 三路召回的优势？

5、召回：问我TOPK怎么考虑的，召回后的文档是全量送到reranker吗？那做RRF不是没什么意义吗？（我是把dense召回和sparse召回先做了一个RRF粗排然后和bm25检索出来的文档做一个merge去重）

6、BM25有做关键词表维护吗（被问了这个问题后，后续的面试我都说有，其实就是用结巴分词的时候，导入一个关键词表）

7、为什么要用父子文档，细节怎么做的，有做关联吗

8、在RAG的文本分块中如果chunk_size和overlap设置的很接近，会出现什么后果和问题（我想设置的很接近，文本不都全部重复了吗，严重浪费资源）

9、几千个文字的文档，重点在开头和结尾，怎么办呢（我想的是可以用大模型来做提取？）

10、每个优化点提升了多少指标？

一直在更新，更多的大厂面试真题+详细答案已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓