标签：论文标题

稀疏注意力减少了主注意力的计算量，但负责筛选 token 的索引器仍可能成为长上下文推理的瓶颈。小红书 Dots 团队自研的 DoSA 利用分数上下界，在保持原始 Top...

近年来，Loop Transformer 逐渐从简单的模块复用走向更复杂的分层循环计算，探索如何通过共享参数持续更新模型状态。一个自然的问题是：当模型开始看图，这套...

当我们谈论智能眼镜时，许多人的第一反应仍是：它能不能拍照、放歌、导航，或者它就像一个戴在头上的语音助手？ 但随第一人称（Egocentric）视觉、多模态大...

过去几年，“基础模型” 已经彻底改变了自然语言处理和计算机视觉。一个很自然的问题随之出现： 物理世界是否也能拥有类似的基础模型？ 天气变化、空气流动、...

大语言模型的生成过程天然具有自回归特性，即模型基于已有上下文逐 token 预测并生成后续内容。随着模型规模不断增大，单步前向计算的开销也随之增加，使得自...

大模型做 In-Context Learning（ICL，上下文学习）时，通常会先从示例库里检索若干 demonstration，再把这些示例和当前问题一起放进 prompt。 但检索得到的 ...

过去几年，大模型推理系统优化的核心目标一直围绕一个问题展开：如何让 GPU 更高效地计算权重、激活、KV Cache 等高维张量？从并行策略、请求调度、显存管理...

今年 5 月， Yann LeCun 与 David Klindt、Randall Balestriero 的论文《When Does LeJEPA Learn a World Model?》一经发布便获得广泛关注。论文从隐变量可辨...

当ChatGPT在几分钟内为你生成了论点清晰、文笔流畅的2000字学术报告草稿时，你是否曾因其中随意或缺失的文献引用而被导师退回？当Midjourney辅助创作的内容在...

在信息爆炸的时代，面对浩如烟海的知识海洋，如何精准找到*真正高效*且符合你需求的学习资源，而非被无效信息淹没？AI提示词，正是那把为你打开精准资源宝库...