大模型算法题(9)

发表于 2024-08-06 分类于 CS ， NLP ， LLM 本文字数： 1.9k 阅读时长 ≈ 3 分钟

【本文已在同名微信公众号 / 知乎 / 个人博客linsight.cn 上线】

本系列将持续整理一些LLM中关键的、细节的、值得关注的内容，持续更新~

如有错漏，欢迎指正~

1.大模型训练过程中有什么可以缓解显存不足的办法？

（1）模型结构：使用LoRA、adaptor等训练

（2）注意力计算底层优化：flash attention、paged attention、ring attention等

（3）训练框架：使用混合精度训练，使用ZeRO、recomputation、cpu-offload等

（4）训练策略：梯度累积

2.为什么MoE模型的训练相比dense模型，更容易受到精度不足的影响？

模型训练中经常使用的float32/float16/bfloat16等，都存在舍入误差，并且表达的数值越大，舍入误差越大。而MoE模型中，gating function大量使用了exponential计算，而exponential会把输入数据中的误差放大很多倍，从而使得输出结果大大偏离。因此有些工作会限制在gating function使用更高精度的表达，并通过一些前置手段压缩数值的大小，从而缓解误差在多个MoE层累计的情况。

3.模型蒸馏中，为什么要使用温度T？

经典的模型蒸馏过程中，student model会学习teacher model的softmax输出，在teacher model的输出进入softmax前，会除以一个温度T>1。

经过较好训练的teacher model一般会以较高的置信度给出最终结果，而我们使用蒸馏而不从groud truth（即one-hot label）直接学习的原因，是因为除了置信度最高的结果之外，其他类别的分值也能够提供有价值的信息。比如在水果图片三分类任务，共有三个类别 [菠萝，榴莲，甘蔗]，teacher model 对一张图片给出 [0.7, 0.2, 0.1] 的结果，除了正确答案0.7以外，0.2和0.1这两个分支提供了一个信息：榴莲和菠萝的相似程度大于甘蔗和菠萝，这是one-hot label提供不了的。

而除以温度T，能够让teacher model给出的label变得更加soft，信息熵更大，从而可以让student model更好地学习。

4.大模型有什么加速推理的方法？

1.针对训练好的模型：模型蒸馏、模型量化、模型剪枝等

2.模型结构设计：MoE

3.训练策略：early-exit

4.解码策略：投机解码

5.为什么LLAMA1/2的intermiedia size/hidden size相比Bert的减小了，从4下降到8/3？

LLAMA使用SwiGLU FFN，相比Bert的FFN，多了一个线性变化矩阵。为了保持模型的参数量不变，因此把intermediate size从4倍hidden size降为8/3倍。

博客：http://www.linsight.cn/
知乎：Linsight
微信公众号：Linsight