Linsight

聊聊AI技术，也聊聊其他的

发表于 分类于 ， ， 本文字数： 7.7k 阅读时长 ≈ 14 分钟

MetaGPT

MetaGPT的开发团队就是搞OpenManus的团队。

MetaGPT项目做得很早，23年就开始搞multi-agent了。MetaGPT主要是想通过多智能体的协作提升代码能力。做法上，大致上来说就是把一个软件团队所需的角色，比如产品经理、项目经理、架构师、开发工程师、测试工程师等都用LLM给角色扮演出来。不同的LLM角色和人类团队一样相互合作，共同开发项目：

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 14k 阅读时长 ≈ 25 分钟

上次在《DeepResearch的报告生成方法》(https://mp.weixin.qq.com/s/tVmAPk6-ZTQCY0_aMmWT-g)中讲了生成长篇图文report的方法，这里梳理一下目前从RAG到DeepSearch的一些经验。

RAG价值

ChatGPT发布后不久，我们就在实际使用中发现了纯LLM模型的局限性和RAG的重要性，并开始做了一些尝试。那时对我们来说，RAG的价值主要有两个：

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 5.4k 阅读时长 ≈ 10 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

从一个搞数据和训练策略的LLM算法工程师角度，把LLM训练框架中的常用并行策略(的资料)大致理一下。

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 7.7k 阅读时长 ≈ 14 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

现在长思考模型助力agent，能够循环进行复杂任务的拆解和执行。为了告诉模型任务和能够调用的工具/当前观察到的信息等，输入prompt也是越来越长，10k甚至更长的输入已经是普遍的状况。虽然推理框架也越来越强，不过本着能省一点是一点想法，prompt压缩也是个值得考虑的方向，特别是在偏垂域的场景。

阅读全文 »

发表于 分类于 ， 本文字数： 8.4k 阅读时长 ≈ 15 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

看DeepSeek-VL2细节之前，先简单介绍下DeepSeek-VL2提到的recaption方案和visual prompt数据。

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 14k 阅读时长 ≈ 25 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

在看Qwen2.5-1M的方案之前，先把Qwen2.5-1M中用到的技术，DCA，MInference 1.0和chunked prefill学习一下。

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 15k 阅读时长 ≈ 28 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

DeepSeek-R1以一己之力正面刚OpenAI和Anthropic。DeepSeek-R1能有这么强力的表现和DeepSeek-V3这个基模型的强大是分不开的。

阅读全文 »

发表于 更新于 分类于 ， ， 本文字数： 7.4k 阅读时长 ≈ 13 分钟

【本文已在同名 微信公众号 / 知乎 / 个人博客linsight.cn 上线】

过年前这段时间好几个重磅工作相继发布，有深度求索的DeepSeek-V3、DeepSeek-R1、月之暗面的Kimi-K1.5，还有MiniMax的MiniMax-01、面壁智能的MiniCPM-o 2.6和智谱的GLM-Realtime，以及阶跃的Step-1o等，2025年才过了不到一个月，真·卷起来了。百花齐放的场景让人对AI充满期待，同时作为开发者也感到压力山大。

阅读全文 »
0%