面经：

1、淘天【offer】：

部门：未来生活实验室。

介绍：

淘天集团的大模型研究将主要围绕两个场景展开：一是搜广推，二是逛逛的内容化。团队组建工作由淘天集团CEO戴珊、淘天集团CTO若海、阿里妈妈CTO郑波等人共同牵头。

面经：

一面：

• 如何训练ocr任务

• 实验的setting，

• ocr任务影响如何

• 高分辨率训练，再在小分辨率上，会不会崩掉

• 输出bbox有没有好的方式

HR面：

• 基本信息确认：

• 考研进入电子科技大，为什么

• 为什么进入了诺亚

• 代表性的工作

• 如何解决问题的，国内在做语言大模型的多一些。

• 国内在做多模态大模型的

• 如何评测，评估这些大模型的。如何看待刷榜的问题。

• 你们的衡量指标

面试体验：

面试体验很好。HR也没有那么咄咄逼人。阿里味不是特别明显。最终权衡也选择来了淘天，）。

2、字节AML【offer】：

部门：AML火山方舟大模型

介绍：

淘天集团的大模型研究将主要围绕两个场景展开：一是搜广推，二是逛逛的内容化。团队组建工作由淘天集团CEO戴珊、淘天集团CTO若海、阿里妈妈CTO郑波等人共同牵头。

预备面经：

猎头也提供了一些其他候选人的面经， 整理如下：

• 设计一个Hash表

• 蓄水池问题

• 从超大文本文件中随机行采样

• 二叉搜索树-去掉超出[m, n]范围内的节点

• 计算交叉熵

• 计算IOU

一面：

• 多模态你们的流程

• 你们的OCR的结构

• layernorm的区别

二面：

• 什么时间开始做多模态模型

• 目前在文档

• Token长度太大。高分辨率如何解决。

• patch能不能变得

• VQGAN

• GPT4V的结构形式。

• LLM decoder

• MagViT

• LLM的基础知识需要尽快补上

三面：

• 自我介绍

• 多模态大模型用哪个模型

• Transformer比较熟悉

• python实现self attention和Transformer

面试体验：

字节一如既往的注重coding，基本每一面两道题，自己能拿到offer也算是运气吧。一面的面试体验很差，可以说是毫无面试经验的面试官。

3、商汤【offer】：

一面：

• 简单的自我介绍

• 关于高分辨率的解决办法

• OCR是如何去做的，有没有grounding，Referring。

• GPT4V 位置，检测明显的问题。

• 你们是如何解决位置信息的。

• 新的模态，进来。如何去拼接过来。

• 新来一批数据，如何训练。

• tree1是否是tree2的子树。

二面：

• AGI缺不了视觉。

• 工业场景，人的检测，奇怪的零件，机器的检测。检测的结果，需要理解人的行为。理解和context的关系。人和环境的关系。借助多模态来解决。

• 自驾，感知端，到决策端，感知不需要全面的感知，着重额感知需要。

• 假新闻，图是真的。caption场景。

• OCR，街景的OCR，文档，网页截图等是不同的，这些场景混在一起。会有影响吗。

• OCR的方案，一般是先出检测框，再出文本。不规则的文本，如何解决。

• 多模态大模型的OCR。

• Qwen-VL的文本检测形似，是否合理。

• 模型本身的三种能力：

• 自己的能力，认识什么。

• LISA：借助decoder来做，用新的prompt来实现分割。

• 外挂RAG等。

• 判断左右括号（），等组成的字符串是否是合法的。

二面结束，问题不大。

三面：

• Leader面，聊了一些有的没的

面试体验：

面试过程很专业，毕竟是商汤，算法技术是国内领先的，奈何没产品，而且薪资包也没有诚意。

4、蚂蚁风控大模型【offer】：

一面：

• 自我介绍

• 介绍Focus-DETR，有没有在业务中应用。

二面：

• 介绍

• 目前在做的事情

• 下游的任务，文档场景，再做一个什么任务。

• ocr数据是如何生成的。

• 效果如何。

• 如何解决幻觉的问题。

HR面。

• 具体的工作内容，印象

• 安全内容，tob的内容审核。竞对。

• 个人介绍。

• 上海海思，为什么跳槽

• 算法支撑

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

5、MiniMax：【挂】

一面：

• 空间感知能力是如何解决的

• 不同token长度是否有做balance的方式

• 很多有价值的问题。

• python实现标题 MLP Regressor 题目描述 题目描述与要求:实现一个MLP regressor 的完整训练过程，包括:forward , backward , SGD更新参数;验证backward梯度正确性;构建数据，验证端到端正确性 (收敛&泛化);(optional) 参考你过往的实验经验，尽可能让功能更完善;不使用第三方库中已实现好的自动求导方法;

P.S. 实现方法不限，但由于在线IDE运行环境不稳定，推荐使用numpy。

PS：

面试官对算法底层了解比较深入，比较考验代码能力，不是字节那种。

6、零一万物【挂】：

一面：

• 多模态的情况。

• document的难度。

• 手写 self attention

二面：

• 自我介绍

• 传统的OCR模型和多模态大模型的区别

• 带不带OCR，多模态文档智能差多少。

• 未来OCR模型是否会被大模型吃掉。OCR大模型有什么是做不了的。

• 在哪些模型上做过一些预训练。

• 多模态未来怎么做。

• EVA的有趣的现象。没有出现涌现的现象。

• 后面的工作主要集中在哪里。

• 怎么训练比较好，gemini那种形式，llm那种形式。

PS：问了很多开放性的问题，给的回复是业务积累不够，hhhh。

7、美团【offer】：

一面：

1. 文档大模型是一个独立的模型，会整合到一个大模型还是分离式的。

2. 不考虑通用场景的。

3. 目前用的多大的模型。

4. 是一个什么结构。对结构的一些了解。

5. flamingo或者blip2的结构上的对比。

6. 足够资源的情况下，哪个结构是最优的。

7. 分辨率是如何解决的。文档的分辨率比较高。

8. QA对匮乏如何解决的。

9. ocr的性能目前是低于多模态大模型。

10. 如何解决bbox感知能力差的问题。

11. 充足的算力。数据如何获取。如何有效的清洗。

12. fuyu这种结构有什么优化的空间。

二面：

1. OCR文档大模型

2. Instruction tuning的决定性因素，哪些Instruction tuning策略效果更好。如何评估复杂度的性能。

3. 如何保证数据集的多样性和复杂度。

4. 分层的Instruction tuning。

5. 数量的影响。数量和质量。

6. 不同类型数据的影响。对下游任务的影响。自动化的数据配比。自动化的指标去做类似的事情。

7. 专门优化的指标不再是一个好的指标。

8. 使用其他的指标来引导模型的优化，而不是使用下游的指标。LLM使用的loss，作为指标。而不是benchmark的分数。

9. 合理的评估指标是什么。openAI的压缩理论，trainnig loss代表优化目标。

10. AGI的几个阶段，deepmind发表。

三面：

1. 各种问题

四面：

1. 介绍自己。

2. 有一个多模态大模型，具备一些很多baseline的效果，基础的CV能力。可能效果都不是特别好。不如专精的大模型。OCR为例。目标得到一个类似GPT4V的模型，整理提高模型的效果。第二个，全流程，强化ocr能力。已有的多模态大模型。

3. 文档场景。

8、阿里控股【PASS】

一面：

这里没什么面经，整体面试体验很差。不考虑继续往下面。

• 人非常高傲，傲慢，问问题，满脸的嫌弃

• 感觉别人都不行

• 觉得自己很强

• 文生图

• 文生图的畸形，检测的方式。

9、潞晨科技【PASS】

一面：

• 手写self-attention

emmm，但凡面试官是NLP的，面试体验都不太好。如果NLP背景的面试官，面试会比较困难。

10、夸克【offer】

一面：

项目

做题

二面：

• 高分辨率的解决方案

• 重叠文本框。采用什么方案来解决。

• 端到端的OCR是怎么做的。

三面：

• 介绍Focus-DETR。

• 介绍端到端的OCR。

• 介绍多模态大模型。

• 小语种数据集采购是为什么。检测数据多了，识别数据少了。

介绍业务规划，偏传统业务，不是大模型方向。

四面：

大佬面，出了一个概率题。

HR面：

为什么跳槽。

职业规划。

为什么有这个绩效和各种奖项。

11、腾讯-混元大模型【offer】：

一面：

1. 简单描述简历，在做的东西

2. 图像细节提取有什么办法

3. 目前的进展是什么样的，项目进展到什么情况

4. 表格这种数据如何解决，如何对表格这种做有效的信息抽取。

5. 目前有多少的数据量

二面：

• OCR算法

• 项目

• 介绍文本检测的一些问题如何解决

• MAE如何优化，什么鬼问题

三面

纯聊天，没有太多技术问题。

• 多模态大模型，TEG，数据平台事业部。混元大模型。机器学习平台。

12、阿里巴巴国际部【中止】：

一面：

题目，旋转图像 Alpha度，

介绍项目

介绍Focus-Detr。

二面：

简单询问项目，很快结束。

PS：不靠谱，很久没消息。没有后续的任何回复。这种最恶心了，建议大家不要再投。

13、网易实验室【PASS】：

一面：

• 自我介绍

• 剪枝的工作，Focos-DETR是如何剪枝的。

• Transformer相比CNN，相比RNN的优势。

• 训练推理，增加吞吐量。

• 推理加速。预训练模型的部署推理，优化。

做推理加速的不合适。

14、Momenta【PASS】：

一面：

1. 手写NMS

2. 介绍DETR

3. 介绍Focus-DETR

4. 介绍position Embedding

5. 介绍DETR里面query的含义

PS：Momenta属于给钱多，但是比较累的。以后不太想做自动驾驶了，所以pass。不再考虑。

15、蚂蚁【大模型-codefuse】【HR面挂】

一面：

简单聊项目

二面：

• 业务题，如何解决多页文档的问题

• 业务题，现在 ui 多模态大模型，ocr 如何引入，目前 ocr 存在很多问题

• leetcode 题目，字符串转数字

• leetcode 题目，最大子数组和

• 多模态大模型的基础知识

三面：

• 个人介绍

• 部门规模

• 论文的情况

• 换过部门

• 海思做的内容

• OCR成熟度很高

面试体验：

面试官都很专业，问了很多问题，感觉很强。在HR面上吃了亏，很多问题没有回答好，吸取了经验，很多问题调整了回答的方式。也反思了自己在过往工作中存在的问题，面对大公司建议HR面认真准备，看看网上的一些经验，阿里的HR有一票否决权。

HR面注意点：

1、跳槽动机：如果是因为晋升不上去看机会，建议这么说：内部机会少，太稳定，想看更有发展的机会，别直接说晋升不上去才看机会，⚠切勿说和leader处不来或者说目前leader坏话。

2、关于薪资：可以回答看企业安排，或者回答一个区间，保底多少，期望多少，加一句薪资可谈，留足谈判空间，如果企业给的薪资不太满意，⚠别直接拒绝，就说考虑一下，我这边去谈，最后面试结束时，记得感谢下面试官的时间。

3，关于加班：大厂都大差不差，HR问就是试探⚠切勿说接受不了。

之前商界有位名人说过：“站在风口，猪都能吹上天”。这几年，AI大模型领域百家争鸣，百舸争流，明显是这个时代下一个风口！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

如何学习AI大模型？

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓