云计算百科
云计算领域专业知识百科平台

百度、腾讯、阿里大模型面试全攻略:从一面到三面的真实经历分享!

百度

部门与岗位:百度TPG – 文心一言团队- 大模型算法岗

一面
  • 自我介绍和项目介绍

  • 介绍一下了解的大模型有哪些,这些模型在结构上有什么差异

  • 说一下大模型常用的位置编码有哪些,各有什么优缺点

  • 介绍一下大模型的预训练后训练以及推理是怎么做的,并且详细问了 RLHF 的做法,包括 PPO 算法的原理,以及 DPO 和 PPO 的区别

  • 大模型的超长上下文是怎么做的,比如说 KIMI

  • 大模型智能体是怎么工作的,有哪些组件

  • 场景题:如何训练一个大模型,可以做到精确的提取摘要

  • 代码:股票的四个题

  • 买卖股票的最佳时机

    买卖股票的最佳时机 II

    买卖股票的最佳时机 III

    买卖股票的最佳时机 IV

    整体来说一面偏基础,问的问题也主要是一些大模型的八股问题,没有太多发散性的问题,难度不大。但是考察的还是挺全面的,整个面试一个半小时多

    二面
  • 自我介绍

  • 因为之前是做 CV 的,所以面试官问了 CV 和 NLP 的区别和联系,在 Transformer 的大背景下,CV、NLP,包括语音等,能否实现大一统

  • 训练大模型的时候数据怎么清洗,怎么处理,怎么配比,怎样操作能更容易使模型达到更好的性能

  • 什么是大模型的幻觉,如何减轻幻觉问题

  • 大模型的复读问题是怎么产生的,业内一般有什么解决办法

  • 大模型的工具调用怎么实现

  • Agent 有哪几部分构成,了解哪些具体的实现方法

  • 开放题:之前训练大模型的时候遇到过什么困难,你是怎么解决的

  • 代码:实现一个 Tokenizer,只能用 PyTorch 基础语法

  • 二面相比于一面更加看重综合素质,喜欢考察分析问题解决问题的能力,对于一些细节知识点的考察并不多。二面也面试了一个多小时,面试官还是挺专业的。

    三面
  • 首先过项目,但是问的特别细致,尤其是一个 Agent 的项目,从背景,到动机,再到做法,最后的结果,都问的非常细,大概有半个小时的时间

  • 开放题:你觉得当前大模型还存在怎样的问题,有什么解决办法吗

  • 开放题:让你自己设计一个 Agent,会怎么做,为什么这样做

  • 找工作比较在意的点是什么,除了薪资还有什么

  • 对文心一言这个产品了解吗,有哪些优点和值得改进的点

  • 如果给你发 Offer,你到这个团队能做出什么贡献

  • 三面整体来说更加综合,不止有一些技术问题,还有职业规划这些问题,更加考察整体的能力。面试官应该是这个团队的大老板,看问题更加系统和全面,整体面下来还是比较有压力的。

    总结

    整体下来感觉面试官都是非常专业的,面试深度和广度都很可以,三场面试层层递进。面试官人也不错,如果比较满意的话也愿意多花时间来聊,而不是严格的卡一个小时这种完任务式的面试。

    腾讯

    背景:本弱鸡 211 本硕,nlp,无论文有实习(老板没资源且放养),本科有 acm 经历(1 铜),面试 pcg 日常实习。

    一面

    Q1:了解什么机器学习算法,讲一下原理?

    当时只记得实体识别用到了隐马尔可夫模型,讲了讲怎么怎么定义观测状态和隐藏状态、前向传播、解码和应用场景。

    Q2:讲一下 Bert 的结构和怎么训练的,怎么用 bert 做下游任务?

    八股,双向 transformer encoder 结构,预训练任务包括 MLM 和 NSP,详细讲了讲。下游任务做过文本分类、关系提取等,用 cls 做预测;也可以做摘要生成等任务。

    Q3:有没有了解过 LLM,有自己调过吗,了解 RLHF 过程吗?

    自己训练过 llama3 和 glm(8、9B),跑过 sft 和 dpo,有看过一些技术报告。当时用 deepspeed 跑的,然后讲了讲 RLHF 三个过程,最后 PPO 四个模型的作用。

    Q4:有了解强化学习吗?能不能详细说说 PPO 是什么?

    只通过 RLHF 了解过一点,好像跟面试官想要的答案不一致,跳过。

    Q5:怎么扩展大模型的最大输入长度?

    改变 transformer 结构(GQA,MQA,flash attention等),旋转位置编码 RoPE 等(只看过论文,自己用的很少,就想到啥说啥)

    Q6:有了解过模型训练方法吗?

    没用过(感觉要凉)

    Q7:有了解过文生图吗?

    有了解过一些项目,diffusion 和 clip 原理,之前有自己跑过 unet+diffusion+vae 做文生图任务,讲了下为什么这么做。

    Q8:手撕快排

    当天晚上收到了参加二面的邮件,小激动。

    二面

    二面没有手撕代码,问了问项目:

    • 讲一下微调大模型是怎么做的,数据集怎么构建,数据怎么处理

    • 看项目中用了 RAG,讲一下设计流程

    • 其中文本 chunk 怎么做的,为什么这么做

    • 中间有没有遇到什么困难,怎么提高召回,如果文本输入大模型后效果不好怎么办

    • 怎么提高大模型的外推性

    • 有了解过文生图任务吗(怎么又问这个)

    然后草草结束,一天后流程结束(挂了,继续努力)

    阿里

    部门与岗位:淘天集团 – 搜推智能产品事业部 – 多模态大模型

    一面
  • 首先是自我介绍和过项目,面试官还一起探讨项目用到的方法,可行性之类的

  • 介绍一下 CLIP

  • 了解 LoRA 吗,LoRA 微调的原理是什么

  • 了解哪些多模态大模型,简要介绍几个

  • BLIP 的三个损失函数分别是什么,数据是怎样清洗的

  • BLIP2 相对于 BLIP 有哪些改进,BLIP3 又有哪些改进

  • Qwen-VL 的三个训练流程分别是什么,有什么作用

  • 视觉编码器和 LLM 连接时,使用 BLIP2 中 Q-Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好,说说各自的优缺点

  • 代码:实现多头自注意力

  • 一面比较常规,几乎都是八股问题,我觉得只要了解常见的多模态大模型都问题不大,主要还是要理解各个模型设计的动机是什么,这也是面试最喜欢考察的

    二面
  • 自我介绍和过项目,简要问了项目中使用某些方法的动机,以及是否会导致其他的问题

  • 了解 Transformer 吗,编码器和解码器的注意力有什么区别,在计算注意力中时除以 \\sqrt{d_k} 的原因是什么

  • 后来有哪些比较经典的基于 Transformer 的语言模型,Qwen 相比于原始 Transformer 有哪些结构上的改动,Qwen2 又有哪些改进

  • 了解 RLHF 吗,DPO 和 PPO 有什么区别,Loss 是什么样的,各自的优缺点是什么

  • 介绍一下 CLIP,还了解什么其他的对比学习方法

  • 开放题:了解哪些多模态大模型,目前多模态大模型最大的问题是什么

  • 代码:1143. 最长公共子序列

  • 二面其实也偏常规,几乎也都是八股问题,但是也考察了一些对模型的理解以及知识面的广度,整体来说比一面的难度大一些

    三面
  • 自我介绍,然后详细过了一下项目

  • 了解哪些大模型和多模态大模型,然后就聊了大模型这一路是怎么发展过来的,Transformer、BERT、GPT、LLaMA、Qwen 这些,以及当时的 o1 推理模型

  • 平常有尝试过训练过大模型吗,规模小一点的也没关系

  • 聊天,包括职业规划等等

  • 三面比较轻松,面试官说知识点前面两面都考察过了,三面就轻松一些,大概40来分钟吧

    总结

    整体来说面试体验比较好,问的问题都不难,面试官也都不错,遇到一些卡壳的地方也会进行引导讨论,面试氛围很轻松。三面应该是加面的大老板面,从交流可以看出来对整个大模型这块的理解还是很深刻的,收获不小。

    百度

    部门与岗位:百度TPG – 文心一言团队- 大模型算法岗

    一面
  • 自我介绍和项目介绍

  • 介绍一下了解的大模型有哪些,这些模型在结构上有什么差异

  • 说一下大模型常用的位置编码有哪些,各有什么优缺点

  • 介绍一下大模型的预训练后训练以及推理是怎么做的,并且详细问了 RLHF 的做法,包括 PPO 算法的原理,以及 DPO 和 PPO 的区别

  • 大模型的超长上下文是怎么做的,比如说 KIMI

  • 大模型智能体是怎么工作的,有哪些组件

  • 场景题:如何训练一个大模型,可以做到精确的提取摘要

  • 代码:股票的四个题

    • 买卖股票的最佳时机

    • 买卖股票的最佳时机 II

    • 买卖股票的最佳时机 III

    • 买卖股票的最佳时机 IV

    整体来说一面偏基础,问的问题也主要是一些大模型的八股问题,没有太多发散性的问题,难度不大。但是考察的还是挺全面的,整个面试一个半小时多

    二面
  • 自我介绍

  • 因为之前是做 CV 的,所以面试官问了 CV 和 NLP 的区别和联系,在 Transformer 的大背景下,CV、NLP,包括语音等,能否实现大一统

  • 训练大模型的时候数据怎么清洗,怎么处理,怎么配比,怎样操作能更容易使模型达到更好的性能

  • 什么是大模型的幻觉,如何减轻幻觉问题

  • 大模型的复读问题是怎么产生的,业内一般有什么解决办法

  • 大模型的工具调用怎么实现

  • Agent 有哪几部分构成,了解哪些具体的实现方法

  • 开放题:之前训练大模型的时候遇到过什么困难,你是怎么解决的

  • 代码:实现一个 Tokenizer,只能用 PyTorch 基础语法

  • 二面相比于一面更加看重综合素质,喜欢考察分析问题解决问题的能力,对于一些细节知识点的考察并不多。二面也面试了一个多小时,面试官还是挺专业的。

    三面
  • 首先过项目,但是问的特别细致,尤其是一个 Agent 的项目,从背景,到动机,再到做法,最后的结果,都问的非常细,大概有半个小时的时间

  • 开放题:你觉得当前大模型还存在怎样的问题,有什么解决办法吗

  • 开放题:让你自己设计一个 Agent,会怎么做,为什么这样做

  • 找工作比较在意的点是什么,除了薪资还有什么

  • 对文心一言这个产品了解吗,有哪些优点和值得改进的点

  • 如果给你发 Offer,你到这个团队能做出什么贡献

  • 三面整体来说更加综合,不止有一些技术问题,还有职业规划这些问题,更加考察整体的能力。面试官应该是这个团队的大老板,看问题更加系统和全面,整体面下来还是比较有压力的。

    总结

    整体下来感觉面试官都是非常专业的,面试深度和广度都很可以,三场面试层层递进。面试官人也不错,如果比较满意的话也愿意多花时间来聊,而不是严格的卡一个小时这种完任务式的面试。

    一直在更新中,更多大模型学习和面试资料我都上转到CSND官方了,需要的朋友可以扫描下方二维码👇👇

    AI大模型从0到精通全套学习大礼包

    我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

    只要你是真心想学AI大模型,我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!

    如果你也想通过学大模型技术去帮助就业和转行,可以点扫描下方链接👇👇
    大模型重磅福利:入门进阶全套104G学习资源包免费分享!
    在这里插入图片描述

    01.从入门到精通的全套视频教程

    包含提示词工程、RAG、Agent等技术点
    在这里插入图片描述

    02.AI大模型学习路线图(还有视频解说)

    全过程AI大模型学习路线

    在这里插入图片描述

    ​​在这里插入图片描述

    03.学习电子书籍和技术文档

    市面上的大模型书籍确实太多了,这些是我精选出来的

    在这里插入图片描述

    04.大模型面试题目详解

    在这里插入图片描述

    在这里插入图片描述

    05.这些资料真的有用吗?

    这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

    所有的视频由智泊AI老师录制,且资料与智泊AI共享,相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

    资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

    在这里插入图片描述
    在这里插入图片描述

    智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌,通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌,构建起"前沿课程+智能实训+精准就业"的高效培养体系。

    课堂上不光教理论,还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作,把课本知识变成真本事‌!

    在这里插入图片描述
    如果说你是以下人群中的其中一类,都可以来智泊AI学习人工智能,找到高薪工作,一次小小的“投资”换来的是终身受益!

    应届毕业生‌:无工作经验但想要系统学习AI大模型技术,期待通过实战项目掌握核心技术。

    零基础转型‌:非技术背景但关注AI应用场景,计划通过低代码工具实现“AI+行业”跨界‌。

    业务赋能 ‌突破瓶颈:传统开发者(Java/前端等)学习Transformer架构与LangChain框架,向AI全栈工程师转型‌。

    👉获取方式:
    😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
    在这里插入图片描述

    赞(0)
    未经允许不得转载:网硕互联帮助中心 » 百度、腾讯、阿里大模型面试全攻略:从一面到三面的真实经历分享!
    分享到: 更多 (0)

    评论 抢沙发

    评论前必须登录!