Linsight

聊聊AI技术，也聊聊其他的

发表于 分类于 ， ， 本文字数： 2.1k 阅读时长 ≈ 4 分钟

【往期文章】

MoE模型的前世今生
昆仑万维-SkyworkMoE
LLM长上下文的问题
解锁大模型长上下文能力
大模型推理窗口-从有限到无限大
理解Attention:从起源到MHA,MQA和GQA
大模型推理加速-投机解码
大模型偏好对齐-DPO
大模型偏好对齐-ODPO
大模型偏好对齐-simPO
大模型偏好对齐-IPO
Yi技术报告-划重点看细节
transformer中normalization的二三事
从代码实现看normalization-到底做了什么
稀疏注意力计算:sliding window attention
理解LLM位置编码:RoPE
大模型算法题(1)
大模型算法题(2)
大模型算法题(3)
大模型算法题(4)
大模型算法题(5)
大模型算法题(6)

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 13k 阅读时长 ≈ 24 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

要对齐大模型偏好并不容易，从预训练的数据内容、模型的结构到SFT数据配比甚至数据格式等都会影响最终结果。

阅读全文 »

发表于 分类于 ， ， 本文字数： 2.8k 阅读时长 ≈ 5 分钟

【往期文章】

MoE模型的前世今生
LLM长上下文的问题
解锁大模型长上下文能力
大模型推理窗口-从有限到无限大
理解Attention:从起源到MHA,MQA和GQA
Yi技术报告-划重点看细节
transformer中normalization的二三事
从代码实现看normalization-到底做了什么
稀疏注意力计算:sliding window attention
理解LLM位置编码:RoPE
大模型算法题(1)
大模型算法题(2)
大模型算法题(3)
大模型算法题(4)
大模型算法题(5)

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 10k 阅读时长 ≈ 18 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

大语言模型虽然效果很好，但是推理时，朴素的自回归解码策略需要逐个串行解码，耗时较长，这给用户的耐心带来了很大挑战。如今各家大模型提供商基本都有对外提供大模型的体验平台，而模型的推理效率自然也成了一个重要的竞争点。

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 14k 阅读时长 ≈ 26 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

步入2024年Q2，大模型在RAG、文档对话、大模型Agent能力等方向的发展持续升温。在平时的日常生活和工作中，大模型工具提供的文档总结、文本润色、代码生成等能力已经是提高效率的必备帮手，甚至在一些复杂或者不熟悉的场景上，大模型也已经能提供一些比较专业的帮助。

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 8.1k 阅读时长 ≈ 15 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

步入2024年Q2，大模型在RAG、文档对话、大模型Agent能力等方向的发展持续升温。在平时的日常生活和工作中，大模型工具提供的文档总结、文本润色、代码生成等能力已经是提高效率的必备帮手，甚至在一些复杂或者不熟悉的场景上，大模型也已经能提供一些比较专业的帮助。

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 9k 阅读时长 ≈ 16 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

01.AI（零一万物），是李开复带队孵化的AI公司。2023年11月初，01.AI发布并开源了Yi-6B、Yi-34B base模型，同一周内，又开源了Yi-6B-200K和Yi-34B-200K base模型。Yi号称是从零预训练的双语模型。接下来的几个月，01.AI陆续推出了chat模型、多模态能力，Yi-9B、长上下文的记忆和检索能力等优化。

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 12k 阅读时长 ≈ 22 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

Normalization在模型中，相对于attention这种经常被魔改的结构，受到的关注度似乎没那么高，但它对模型能否顺利训练，却有很关键的作用。

在此简单梳理下normalization相关的背景和内容，也分析一下在transformer发展上的相关内容。

阅读全文 »
0%