【NLP算法面经】字节跳动算法岗附近具体面经（★附面题总结★）

【NLP算法面经】字节跳动算法岗附近具体面经（★附面题总结★）

---

🌟 嗨，你好，我是 青松 ！
🌈 自小刺头深草里，而今渐觉出蓬蒿。

---

NLP Github 项目保举：

• 【AI 藏经阁】：https://gitee.com/fasterai/ai-e-book
  先容：该堆栈告急分享了数百本 AI 范畴电子书
  
• 【AI 算法面经】：fasterai/nlp-interview-handbook#面经
  先容：该堆栈一扫而空互联网大厂NLP算法面经，算法求职必备神器
  
• 【大模子（LLMs）口试条记】：https://gitee.com/fasterai/nlp-interview-handbook
  先容：该堆栈汇总了 NLP 算法工程师高频面题，得当大模子初学者和正在预备口试的小同伴盼望能资助各位同砚收缩口试预备时间，不错过金三银四涨薪窗口，敏捷劳绩心仪的Offer 🎉🎉🎉
  

---

个情面况

上海交通大学研究生，本科结业于中国科学技能大学，现在专业是电子与通讯工程，告急研究方向是文本匹配（NLP）。口试中的自我先容第一句 hhh
一面

7月8日被字节跳动HR的电话捞起来了，直接进入了秋招模式，在接下来的一个月里，根本没有投递提前批，就专注到场了字节跳动的反复口试。

• 前半段告急都是在讲项目，口试官追问了一些项目细节的东西，以及做项目的心路进程。
  
• 然后就问了一道算法题，就是闻名的「小兔的棋盘」，我厥后查了一下，是什么卡特兰数。然而口试的时间我没听说过这一道题，不外照旧磕磕绊绊地用DFS解出来了，口试官说可以了，也没让我继续用DP来解。哎，算法照旧有点菜的。
  

   总结：一面约莫连续40min，感觉一面告急照旧在问项目，算法就问了一道题，发挥一样平常。面完之后一度以为挂了，不外还幸亏第二天就接到了二面的电话，HR说一面口试官评价很好？？？
  二面

7月16日举行了二面，二面感觉比一面严格了许多。

• 一开始我讲了论文的一些东西，然反口试官追问了非常多，有一些大概答得不太好，感觉对本身的项目也好，论文也好，肯定要有本身深入的明确，否则容易被问住。
  
• 二面也是问了一道算法题，是探求迷宫中的最短路径，迷宫中1表现有墙，路不通，0表现可以走。我头脑不知道怎么抽了，直接想用DFS来解，给口试官讲了一下思绪。口试官提示我，DFS和BFS你是怎么思量用哪个的。然后我就明确了，应该用BFS，讲了一下BFS和DFS实用的场景。然后用BFS比力顺遂的写出了步伐。
  

   总结：二面约莫连续40min，感觉告急缺点照旧在于对项目和论文的应用场景以及模子优缺点总结的不是很到位。二面后大概过了三天，等来了三面的电话。这时间照旧挺告急的，究竟走到了末了一面，挂了就太划不来了。
  三面

7月23日举行了三面，三面问的非常多，连续了90min。不外感觉三面口试官很善于引导，以是总体还回复的不错。

• 一开始就问了一道算法题，「LeetCode 76. Minimum Window Substring. Hard」。固然，O(mn)复杂度的算法非常好想，我也是第一时间讲了这个思绪。口试官提示我能不能再优化，我优化到了O(nlog(m))，就不知道怎么再优化了，口试官说可以了。末了查了一下，这道题我做过，不外做的时间也是直接用的O(mn)的算法，O(n)对我来说，照旧不太好想到的。
  
• 概率题：思量五局三胜和三局两胜的情况，哪种更公平之类的。这道题本身比力简朴，直接算概率就可以。不外我扯得挺多的，本身分析了2k-1局k胜的情况，以及无数局是什么情况，联合了一下中心极限定理之类的。不外末了整个框架讲的不是太好，没有完备的圆返来。总体感觉这道题答得还可以。
  
• 联合具体场景的标题：A文件有m个专闻名词，B文件有n个query，统计每个专闻名词出现的次数。回复这个题目，告急着实就是思量复杂度和分布式的知识，以及怎样在query中查找专闻名词（本身比力简朴，思量复杂度就不简朴了）。不外我对分布式相识的不多，就只是本技艺动分布式了一下。
  
• 联合实际题目问：怎样判定用户查询Query的意图是否是视频，以及怎样搭建整套模子。Emmmm，这里告急涉及到呆板学习模子的构建，重点在于怎样构造练习数据，使用点击率照旧提示了一下才想到的。对具体场景照旧不太熟悉。尚有思量怎样排序召回之类的事变，告急就是正确性和时效性的权衡。
  
• CNN，RNN，Tansformer分别怎样编码文本，答得中规中矩吧。
  
• python的动态数组是怎样实现的，说实话我不太清晰。就扯了一下字典是怎么实现的，然后鉴戒字典的实现方式，本身臆想了一下动态数组是怎么实现的，好像还大要是对的。编程语言根本这一块比力弱了。
  
• 这一面问的挺多的，剩下有些题目我都忘了。
  

   总结：总体这一面重点感觉在于怎样在具体场景中选用符合的呆板学习模子，怎样构造练习数据。跟具体场景联合的本领照旧挺告急的。末了问了一下口试官我的表现怎样，口试官说非常满足。感觉稳了，然而没想到。。。看第附近。
  附近

原来三面竣事后，在焦急的等候结果，没想到忽然北京的HR关照附近，跟我说各人一样平常都是三面大概附近。

• 讲了项目，告急深入问了项目中怎样构造例的情况，以及几种差别的构造方式构造出来的要区别对待吗？这个本身之前确实没有认真想过，不外对项目比力熟悉，根本照旧顺畅的聊下去了。
  
• 讲了一下论文，也是深入问了一个细节，这里就不睁开了。
  
• 实际题目：在用户搜刮场景中，怎样在用户搜刮的时间根据用户输入的字保举要搜刮的query，以及怎样把错别字也精确保举。告急是思量输入与候选聚集的匹配，用户画像的构建，思量用户的汗青搜刮信息。联合具体业务的题目感觉告急观察头脑发散，回复的感觉还可以，联合了StarSpace等Embedding的方式。
  
• 算法题：一个正整数数组，探求一连区间使得和即是target，简朴的用两个指针做出来了，不外让我证实一下解法的精确性，纠结了一会儿也算是证实出来了。然后假如内里有负数怎么做，很顺遂的讲出来了。
  

   总结：附近大抵连续了40min，感觉三面和附近告急照旧和具体业务场景联合的比力深入。
  

---

大模子（LLMs）高频面题全面整理

   先容：本项目全面总结了【大模子口试】的高频面题和答案剖析，答案只管包管普通易懂且有肯定深度。
  得当大模子初学者和正在预备口试的小同伴。盼望能资助你快速完成口试预备，先人一步顺遂拿到高薪 Offer 🎉🎉🎉
  一、大模子进阶面

💯 DeepSeek篇

【大模子进阶面 之 DeepSeek篇】 你必须要会的高频面题 查察答案

• 一、概念篇
  
  
  
  • Deepseek-V3的告急特点有哪些？
    
  • DeepSeek-V3在推理速率方面表现出色的缘故因由有哪些？
    
  
  
• 二、模子布局篇
  
  
  
  • MLA
    
    
    
    • 什么是多头埋伏注意力（MLA）？
      
    • MLA的盘算流程是什么样的？
      
    • 练习时MLA必要设置哪些超参？
      
    • MLA相对于MHA有哪些改进？
      
    
    
  • MoE
    
    
    
    • 什么是MoE？
      
    • DeepSeekMoE包罗哪两种专家范例？
      
    • Share 专家和Router 专家的作用是什么？
      
    • 讲一下DeepSeekMoE的盘算流程？
      
    • DeepSeekMoE是怎样实现负载平衡的？
      
    
    
  • MTP
    
    
    
    • 什么是Multi-Token Prediction（MTP）？
      
    • Multi-Token Prediction（MTP）有何作用？
      
    • 讲一下Multi-Token Prediction（MTP）的猜测流程？
      
    
    
  
  
• 三、预练习篇
  
  
  
  • Prefix-Suffix-Middle (PSM)数据格式是什么样的？
    
  • DeepSeek预练习数据为何使用Prefix-Suffix-Middle (PSM)格式？
    
  • 先容一下Byte-level BPE？
    
  • DeepSeek是怎样举行长上下文扩展的？
    
  • DeepSeek的使用YaRN举行长上下文扩展有哪两个阶段？
    
  • DeepSeek预练习寻求极致的练习服从的做法有哪些？
    
  • 批量级负载平衡（Batch-Wise Load Balance）温次序级负载平衡（Sequence-Wise Load Balance）有何区别？
    
  • 使用MTP为安在进步盘算服从的同时还能提拔结果？
    
  
  
• **四、有监督微调篇
  
  
  
  • DeepSeek的SFT有哪几种数据？
    
  • DeepSeek是怎样构造Reasoning Data数据的？
    
  • DeepSeek两种差别范例的SFT数据，区别是什么？
    
  • DeepSeek在SFT练习时是怎样加速练习过程的？
    
  
  
• 五、强化学习篇
  
  
  
  • DeepSeek有哪两种夸奖模子？
    
  • Rule-Based RM和Model-Based RM的区别是什么？
    
  • Rule-Based RM用在什么地方？有何作用？
    
  • Model-Based RM用在什么地方？有何作用？
    
  • DeepSeek是怎样低落夸奖敲诈风险的？
    
  • DeepSeek为何使用Group Relative Policy Optimization（GRPO）？
    
  • DeepSeek为何放弃Critic模子来估计状态的代价？
    
  • DeepSeek是怎样举行Self-Rewarding的？
    
  • DeepSeek-V3从DeepSeek-R1中蒸馏知识有哪些影响？
    
  
  

   点击查察答案
  💯 大模子编辑篇

【大模子进阶面 之 模子魔改篇】 你必须要会的高频面题 查察答案

• 模子编辑（Model Editing）核心目的是什么？
  
• 对比重新预练习和微调，模子编辑的上风和实用场景是什么？
  
• 怎样用模子编辑修正大语言模子中的知识错误？
  
• 怎样量化评估模子编辑的五大性子？
  
• 模子编辑局部性怎样克制“牵一发而动浑身”的题目？
  
• 知识缓存法（如SERAC）的工作原理是什么？
  
• 附加参数法（如T-Patcher）怎样在不改变原始模子架构的情况下实现编辑？
  
• 知识缓存法和附加参数法的优缺点有何优缺点？
  
• ROME方法怎样通过因果跟踪实行定位知识存储位置？
  
• 元学习法（如MEND）怎样实现“学习怎样编辑”？
  
• 元学习法的双层优化框架怎样计划？
  
• More …
  

   点击查察答案
  💯 大模子压缩篇

【大模子进阶面 之 模子压缩篇】 你必须要会的高频面题 查察答案

• 💯 为什么必要对大模子举行压缩和加速？
  
• 💯 什么是低秩分解？
  
• 💯 什么是奇异值分解（SVD）？
  
• 💯 权值共享为什么有效？
  
• 💯 什么是模子量化？
  
• 💯 什么是混淆精度分解？
  
• 💯 什么是基于反馈的知识蒸馏？
  
• 💯 什么是基于特性的知识蒸馏？
  
• 💯 模子蒸馏的丧失函数是什么？
  
• 💯 形貌一下剪枝的根本步调？
  
• More …
  

   点击查察答案
  💯 分布式练习篇

【大模子进阶面 之 分布式练习篇】 你必须要会的高频面题 查察答案

• PS架构和Ring-AllReduce架构有何差别？
  
• 什么是张量并行，怎样使用集群盘算超大矩阵？
  
• 讲一讲谷歌的GPipe算法？
  
• 讲一讲微软的PipeDream算法？
  
• ZeRO1、ZeRO2、ZeRO3分别做了哪些优化？
  
• 用DeepSpeed举行练习时告急设置哪些参数？
  
• More …
  

   点击查察答案
  二、大模子微调面

💯 有监督微调（SFT）篇

【大模子微调面 之 SFT篇】 你必须要会的高频面题 查察答案

• 💯 从零练习一个大模子有哪几个核心步调？
  
• 💯 为什么要对LLM做有监督微调（SFT）？
  
• 💯 怎样将一个根本模子练习成一个行业模子？
  
• 💯 怎样预备SFT阶段的练习数据？
  
• 💯 怎样主动天生指令构建SFT的练习数据？
  
• 💯 LM做有监督微调（SFT）变傻了怎么办？
  
• 💯 有监督微调（SFT）和人工偏好对齐（RLHF）有何区别？
  
• More …
  

   点击查察答案
  💯 高效微调篇

【大模子微调面 之 PEFT篇】 你必须要会的高频面题 查察答案

• 💯 全量微调与参数高效微调的区别是什么？
  
• 💯 什么是轻度微调？轻度微调有哪些常用方法？
  
• 💯 什么是BitFit微调？
  
• 💯 分层微调怎样设置学习率？
  
• 💯 什么是适配器微调？适配器微调有哪些上风？
  
• 💯 讲一讲IA3微调？
  
• 💯 提示学习（Prompting） 代表方法有哪些？
  
• 💯 指令微调（Instruct-tuning） 和 提示学习（Prompting）的区别是什么？
  
• 💯 具体分析LoRA的工作原理及其上风？
  
• 💯 LoRA存在低秩瓶颈题目，ReLoRA和AdaLoRA分别通过哪些方法改进？
  
• 💯 动态秩分配（如AdaLoRA）怎样根据层的告急性调解秩？
  
• More …
  

   点击查察答案
  💯 提示学习篇

【大模子微调面 之 提示学习篇】 你必须要会的高频面题 查察答案

• 💯 提示学习（Prompting） 代表方法有哪些？
  
• 💯 前缀微调（Prefix-tining）的焦颔首脑？
  
• 💯 提示微调（Prompt-tuning）的焦颔首脑？
  
• 💯 P-tuning 的动机是什么？
  
• 💯 P-tuning v2 举行了哪些改进？
  
• 💯 提示微调（Prompt-tuning）与 Prefix-tuning 区别是什么？
  
• 💯 提示微调（Prompt-tuning）与 fine-tuning 区别是什么？
  
• More …
  

   点击查察答案
  💯 人类对齐练习（RLHF）篇

【大模子微调面 之 RLHF篇】 你必须要会的高频面题 查察答案

• 💯 RLHF有哪几个核心流程？
  
• 💯 RLHF与SFT的本质区别是什么？为什么不能只用SFT？
  
• 💯 什么是人类偏好对齐中的"对齐税"(Alignment Tax)？怎样缓解？
  
• 💯 在强化学习中，基于值函数的和基于计谋的的优化方法有何区别？
  
• 💯 什么是近端计谋优化（PPO）？
  
• 💯 RLHF中的PPO告急分哪些步调？
  
• 💯 PPO中的告急性采样(Importance Sampling)怎样修正计谋差别？
  
• 💯 DPO怎样通过隐式夸奖建模规避强化学习阶段？
  
• 💯 DPO vs PPO：练习服从与性能上限的对比分析？
  
• 💯 RLHF练习数据的格式是什么样的？
  
• 💯 怎样选择人类偏好对齐练习算法？
  
• More …
  

   点击查察答案
  💯 Prompt 工程篇

【大模子微调面 之 提示工程篇】 你必须要会的高频面题 查察答案

• 💯 Prompt工程与传统微调的区别是什么？
  
• 💯 怎样规范编写Prompt？
  
• 💯 上下文学习三种情势（零样本、单样本、少样本）的区别？
  
• 💯 怎样通过预练习数据分布和模子规模优化上下文学习结果？
  
• 💯 头脑链（CoT）的焦颔首脑是什么？
  
• 💯 按部就班（如 Zero-Shot CoT、Auto-CoT）、三思后行（如 ToT、GoT）、群策群力（如 Self-Consistency）三种 CoT 模式有何异同？
  
• More …
  

   点击查察答案
  三、大模子（LLMs）根本面

💯 大模子（LLMs）架构篇

【大模子根本面 之 LLM架构篇】 你必须要会的高频面题 查察答案

• 💯 LLM架构对Transformer都有哪些优化？
  
• 💯 什么是正弦（Sinusoidal）位置编码？
  
• 💯 什么是旋转位置编码（RoPE）？
  
• 💯 RoPE相对正弦位置编码有哪些上风？
  
• 💯 RoPE怎样举行外推？
  
• 💯 怎样举行位置线性内插（Position Interpolation）？
  
• 💯 NTK-Aware Scaled RoPE 和位置线性内插的区别是什么？
  
• 💯 PreNorm和PostNorm有何差别？
  
• 💯 为什么PreNorm通常能提拔练习稳固性？
  
• 💯 为何使用 RMSNorm 取代 LayerNorm？
  
• 💯 LLM使用SwiGLU相对于ReLU有什么利益？
  
• 💯 SwiGLU的参数量是否会显着增长？怎样优化？
  
• More …
  

   点击查察答案
  💯 注意力机制（Attention）篇

【大模子根本面 之 注意力机制篇】 你必须要会的高频面题 查察答案

• 💯 为什么要引入 Attention 机制？
  
• 💯 Soft Attention 是什么？
  
• 💯 Hard Attention 是什么？
  
• 💯 Self-Attention 是什么？
  
• 💯 多查询注意力（Multi-Query Attention）是什么？
  
• 💯 分组查询注意力（Grouped Query Attention）是什么？
  
• 💯 分页注意力（Paged Attention）是什么？
  
• 💯 闪存注意力（Flash Attention）是什么？
  
• More …
  

   点击查察答案
  💯 Transformer 理论篇

【大模子根本面 之 提示工程Transformer篇】 你必须要会的高频面题 查察答案

• 💯 Transformer 团体布局是怎么样的？
  
• 💯 Transformer的输入中为什么要添加位置编码？
  
• 💯 Transformer的位置编码是怎样盘算的？
  
• 💯 Position encoding为什么选择相加而不是拼接呢？
  
• 💯 多头注意力相对于单头注意力有什么上风？
  
• 💯 Transformer中自注意力模块的盘算过程？
  
• 💯 什么是缩放点积注意力，为什么要除以根号d_k？
  
• 💯 批归一化和层归一化的区别？
  
• 💯 Layer Normalization 有哪几个可练习参数？
  
• 💯 Transformer 中有几种 Mask？
  
• More …
  

   点击查察答案
  四、NLP 使命实战面

💯 文天职类篇

【NLP 使命实战面 之 文天职类篇】 你必须要会的高频面题 查察答案

• 怎样用检索的方式做文天职类？
  
• 怎样用Prompt的方式做文天职类？
  
• 使用LLM做文天职类使命为何必要做标签词映射（Verbalizer）？
  
• 文天职类使掷中有哪些难点？
  
• 怎样办理样本不平衡的题目？
  
• 假如种别会厘革怎样计划文天职类架构？
  
• More …
  

   点击查察答案
  💯 定名实体辨认（NER）篇

【NLP 使命实战面 之 实体辨认篇】 你必须要会的高频面题 查察答案

• 实体辨认中有哪些难点？
  
• CRF为什么比Softmax更得当NER？
  
• 怎样使用指针标注方式做NER使命？
  
• 怎样使用多头标注方式做NER使命？
  
• 怎样使用片断分列方式做NER使命？
  
• 实体辨认有哪些常用的解码方式？
  
• 怎样办理实体嵌套题目？
  
• 实体辨认的数据是怎样举行标注的？
  
• 怎样办理超长实体辨认题目？
  
• More …
  

   点击查察答案
  💯 关系抽取篇

【NLP 使命实战面 之 关系抽取篇】 你必须要会的高频面题 查察答案

• 常见关系抽取流程的步调是怎样的？
  
• 怎样抽取重叠关系和复杂关系？
  
• 先容下基于共享参数的连合抽取方法？
  
• 先容下基于连合解码的连合抽取方法？
  
• 关系抽取的端到端方法和流水线方法各有什么优缺点？
  
• 在举行跨句子以致跨段落的关系抽取时，会碰到哪些特有的寻衅？
  

   点击查察答案
  💯 检索加强天生（RAG）篇

【NLP 使命实战面 之 RAG篇】 你必须要会的高频面题 查察答案

• 用户题目总是召回禁绝确，在用户明确阶段可以做哪些优化？
  
• 文档问答中，怎样构建索引，提拔对用户题目的泛化本领？
  
• 怎样归并多路检索的结果，对它们做排序？
  
• BM25检索器总是召回无关的知识，最大概的缘故因由是什么？
  
• 怎样构建重排序模子的微调数据？
  
• More …
  

   点击查察答案
  五、NLP 根本面

💯 分词（Tokenizer）篇

【NLP 根本面 之 分词篇】 你必须要会的高频面题 查察答案

• 💯 如那里理超出词表的单词（OVV）？
  
• 💯 BPE 分词器是怎样练习的？
  
• 💯 WordPiece 分词器是怎样练习的？
  
• 💯 Unigram 分词器是怎样练习的？
  
• More …
  

   点击查察答案
  💯 词嵌入（Word2Vec）篇

【NLP 根本面 之 词嵌入篇】 你必须要会的高频面题 查察答案

• 基于计数的表现方法存在哪些题目？
  
• CBOW 和 Skip-gram 哪个模子的词嵌入更好？
  
• Word2Vec的词向量存在哪些题目？
  
• 为什么说Word2vec的词向量是静态的？
  
• Word2Vec怎样优化从中心层到输出层的盘算？
  
• 负采样方法的关键头脑的关键头脑是什么？
  
• More …
  

   点击查察答案
  💯 卷积神经网络（CNN）篇

【NLP 根本面 之 CNN篇】 你必须要会的高频面题 查察答案

• 卷积核是否越大越好？
  
• 1×1 卷积的作用？
  
• 为何较大的batch size 可以大概进步 CNN 的泛化本领？
  
• 怎样淘汰卷积层参数量？
  
• SAME 与 VALID 的区别？
  
• More …
  

   点击查察答案
  💯 循环神经网络（RNN）篇

【NLP 根本面 之 RNN篇】 你必须要会的高频面题 查察答案

• RNN的输入输出分别是什么？
  
• RNN是怎样举行参数学习（反向传播）的？
  
• 用RNN练习语言模子时怎样盘算丧失？
  
• RNN不能很好学习恒久依靠的缘故因由是什么？
  
• 怎么办理RNN的梯度爆炸题目？
  
• More …
  

   点击查察答案
  💯 是非期影象网络（LSTM）篇

【NLP 根本面 之 LSTM篇】 你必须要会的高频面题 查察答案

• LSTM 怎样缓解 RNN 梯度消散的题目?
  
• LSTM中影象单位的作用是什么？
  
• LSTM有几个门，分别起什么作用？
  
• LSTM的前向盘算怎样举行加速？
  
• LSTM中的tanh和sigmoid分别用在什么地方？为什么？
  
• More …
  

   点击查察答案
  💯 BERT 模子篇

【NLP 根本面 之 BERT模子篇】 你必须要会的高频面题 查察答案

• 为什么说BERT是双向的编码语言模子？
  
• BERT 是怎样区分一词多义的？
  
• BERT的输入包罗哪几种嵌入？
  
• BERT的三个Embedding直接相加会对语义有影响吗？
  
• BERT模子输入长度凌驾512怎样办理？
  
• 什么是 80-10-10 规则,它办理了什么题目？
  
• BERT 嵌入与 Word2Vec 嵌入有何差别？
  
• More …
  

   点击查察答案
  💯 BERT 变体篇

【NLP 根本面 之 BERT变体篇】 你必须要会的高频面题 查察答案

• ALBERT 使用的参数缩减技能是什么？
  
• RoBERTa 与 BERT 有什么差别？
  
• 在 ELECTRA 中，什么是更换标记检测使命？
  
• 怎样在 SpanBERT 中粉饰标记？
  
• Transformer-XL 是怎么实现对长文本建模的？
  
• More …
  

   点击查察答案
  💯 BERT 实战篇

【NLP 根本面 之 BERT实战篇】 你必须要会的高频面题 查察答案

• BERT为什么不实用于自然语言天生使命（NLG）？
  
• 在问答使掷中，怎样盘算答案的起始索引和竣事索引？
  
• 怎样将 BERT 应用于定名实体辨认使命？
  
• 怎样举行继续预练习？
  
• Bert 未登录词如那里理？
  
• BERT在输入层怎样引入额外特性？
  
• More …
  

   点击查察答案
  六、深度学习面

💯 激活函数篇

【深度学习面 之 激活函数篇】 你必须要会的高频面题 查察答案

• 💯 为什么激活函数必要非线性函数？
  
• 💯 sigmoid 函数有什么缺点？
  
• 💯 tanh 函数作为激活函数有什么缺点？
  
• 💯 为什么选 relu 函数作为激活函数？
  
• 💯 为什么tanh收敛速率比sigmoid快？
  
• 💯 LLM使用SwiGLU相对于ReLU有什么利益？
  
• 💯 SwiGLU的参数量是否会显着增长？怎样优化？
  
• More …
  

   点击查察答案
  💯 优化器篇

【深度学习面 之 优化器篇】 你必须要会的高频面题 查察答案

• 💯 SGD是怎样实现的？
  
• 💯 Momentum 是什么？
  
• 💯 Adagrad 是什么?
  
• 💯 RMSProp是什么？
  
• 💯 Adam 是什么?
  
• 💯 批量梯度降落（BGD）、随机梯度降落（SGD）与小批量随机梯度降落（Mini-Batch GD）的区别？
  
• More …
  

   点击查察答案
  💯 正则化篇

【深度学习面 之 正则化篇】 你必须要会的高频面题 查察答案

• 💯 权重衰减的目的？
  
• 💯 L1 与 L2 的异同？
  
• 💯 为什么 L1 正则化 可以产生希罕值，而 L2 不会？
  
• 💯 为什么Dropout可以办理过拟合题目？
  
• 💯 Dropout 在练习和测试阶段的区别是什么？
  
• 💯 怎样选择符合的 Dropout 率？
  
• 💯 Dropout 和其他正则化方法（如 L1、L2 正则化）有何差别？
  
• More …
  

   点击查察答案
  💯 归一化篇

【深度学习面 之 归一化篇】 你必须要会的高频面题 查察答案

• 💯 为什么归一化能进步求最优解速率？
  
• 💯 Batch Normalization 是什么？
  
• 💯 Layer Normalization 是什么？
  
• 💯 批归一化和组归一化的比力？
  
• 💯 批归一化和权重归一化的比力？
  
• 💯 批归一化和层归一化的比力？
  
• More …
  

   点击查察答案
  💯 参数初始化篇

【深度学习面 之 参数初始化篇】 你必须要会的高频面题 查察答案

• 💯 什么是内部协变量偏移？
  
• 💯 神经网络参数初始化的目的？
  
• 💯 为什么不能将全部神经网络参数初始化为0？
  
• 💯 什么是Xavier初始化？
  
• 💯 什么是He初始化？
  
• More …
  

   点击查察答案
  💯 过拟合篇

【深度学习面 之 过拟合篇】 你必须要会的高频面题 查察答案

• 💯 过拟合与欠拟合的区别是什么?
  
• 💯 办理欠拟合的方法有哪些？
  
• 💯 防止过拟合的方法告急有哪些？
  
• 💯 什么是Dropout？
  
• 💯 为什么Dropout可以办理过拟合题目？
  
• More …
  

   点击查察答案
  💯 集成学习篇

【深度学习面 之 集成学习篇】 你必须要会的高频面题 查察答案

• 集成学习与传统单一模子相比有哪些本质区别？
  
• GBDT与 XGBoost 的核心差别是什么？
  
• 为什么XGBoost要引入二阶泰勒睁开？对模子性能有何影响？
  
• Bagging的并行练习机制怎样提拔模子稳固性？
  
• 对比Bagging与Dropout在神经网络中的异同？
  
• Stacking中为什么要用K折猜测天生元特性？
  
• 怎样克制Stacking中信息走漏题目？
  
• 对比Boosting/Bagging/Stacking三大范式的核心差别（目的、练习方式、基学习器关系）？
  
• More …
  

   点击查察答案
  💯 模子评估篇

【深度学习面 之 模子评估篇】 你必须要会的高频面题 查察答案

• 💯 肴杂矩阵有何作用？
  
• 💯 什么是 F1-Score？
  
• 💯 什么是 Macro F1？
  
• 💯 什么是 Micro F1？
  
• 💯 什么是 Weight F1？
  
• 💯 Macro 和 Micro 有什么区别？
  
• 💯 ROC 曲线告急有什么作用？
  
• 💯 P-R 曲线有何作用？
  
• More …
  

   点击查察答案