Qwen2技术报告
【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】
不久前Qwen2发布了4个dense模型和1个MoE模型，模型规模从0.5B到57B，实用效果都还不错。现在技术报告终于来了，来看下技术报告里披露了那些有用的信息。
MoE的top-p routing
【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】
北大、快手和AGIBang共同提出MoE模型的dynamic routing机制，把gating的top-k routing改成top-p routing，在减少平均激活参数量的同时效果还略有提升。
bilibili的index-1.9B
【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】
bilibili发布的Index-1.9B包含：
- Index-1.9B base：在2.8T语料训练的基模型
- Index-1.9B pure：部分数据和base不同，其他相同
- Index-1.9B chat：基于base进行SFT和DPO后的模型
- Index-1.9B
character：在chat的基础上用RAG+fewshots提供角色扮演的能力
苹果的OpenELM
【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】
苹果开源的OpenELM系列大模型包括整套规模（0.27B、0.45B、1.08B、3.04B）的最终模型、一些模型的中间checkpoint，training log以及训练框架和具体配置等，这些资源都在https://github.com/apple/corenet可以找到，训练信息算是给得比较全面的了。
GLM4报告的一些技术点
【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】
智谱的GLM系列模型在中文领域一直是比较受关注的，特别是最新的GLM-4，个人在使用体验上，感觉已经可以满足大部分日常需求。
成本10w刀的JetMoE
MiniCPM
【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】
MiniCPM是面壁智能和清华开源的模型，MiniCPM开源系列包括非embedding参数为1.2B和2.4B两个规模的模型，以及对应的MiniCPM-DPO，MiniCPM-MoE和MiniCPM-128K模型。
从loss视角理解大模型涌现能力
【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】
智谱在《Understanding Emergent Abilities of Language Models from the Loss Perspective》中提出一个观察大模型涌现能力的视角 -- 预训练loss，主要内容是通过一系列实验结果来解释一些关于涌现能力的观察。可以作为一个理解大模型的参考角度，也可以用于指导预训练模型的开发和优化。
大模型算法题(7)
【往期文章】
MoE模型的前世今生
昆仑万维-SkyworkMoE
LLM长上下文的问题
解锁大模型长上下文能力
大模型推理窗口-从有限到无限大
理解Attention:从起源到MHA,MQA和GQA
大模型推理加速-投机解码
大模型偏好对齐-DPO
大模型偏好对齐-ODPO
大模型偏好对齐-simPO
大模型偏好对齐-IPO
Yi技术报告-划重点看细节
transformer中normalization的二三事
从代码实现看normalization-到底做了什么
稀疏注意力计算:sliding
window attention
理解LLM位置编码:RoPE
大模型算法题(1)
大模型算法题(2)
大模型算法题(3)
大模型算法题(4)
大模型算法题(5)
大模型算法题(6)
大模型偏好对齐-IPO
【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】
前面我们对DPO、ODPO、simPO的思路做了整理：大模型偏好对齐-DPO，大模型偏好对齐-ODPO，大模型偏好对齐-simPO。