标签：Transformer

大模型狂飙的这半年，宏观叙事越来越走向极端：一边是创始人动辄颠覆一切的狂言，一边是耸人听闻的末日威胁。而当变革的重锤砸向AI开发的一线，那些用代码推...

Token词元替代了Byte字节，但不意味着大模型都得是Token。 字节模型，特别是蒸馏后，有点儿新说法。 最近，来自Meta FAIR和华盛顿大学的论文《突破Token天...

OpenAI 新旗舰模型 GPT-6 Astra 发布前后，一场围绕其底层架构的争议迅速升温。据 The Information 在模型上线前约两天援引内部消息报道，Astra 采用了一种名...

面壁智能（OpenBMB）于 2025 年发布 MiniCPM5 系列第二款模型 MiniCPM5-2B，这是一款稠密 2B 参数的 Transformer 模型，专为端侧、本地部署及资源受限场景设...

在大模型的发展中，提升能力的主要手段一直是 '做大'—— 更多参数、更多数据、更多算力。如今，另一条思路开始受到关注：与其不断堆叠新的层，不如让已有的层...

先学会画，再学会听话。 LLaDA-Image 在预训练和中期训练阶段直接从图片学习视觉先验，超过 90% 的累计生成训练样本采用 image-only 监督；图文对则集中用于...

智谱AI（Z.ai）于Hugging Face发布GLM-5系列首个原生多模态模型GLM-5.3-Flash。该模型总参数达320B，但激活参数仅18B，在多项基准测试和真实工作负载中超越前...

“五毛钱生成10秒视频，视频生成的成本从“烧不起”变成了“用得起”。” 2026年8月5日，Sand.ai发布并开源了MAGI Preview这个全球首个千亿级开源MoE视频生成模型。...

李飞飞创立的World Labs于9月发布新一代世界模型Atlas，号称“全球首个多模态世界模型”。该模型仅需一张图片即可生成具有像素级相机控制的视频，最高支持1440p...

谷歌研究院于近日在 Hugging Face 平台发布了 TimesFM 3.0 时序预测基础模型的官方 PyTorch 权重与配置文件，版本号为 0.3B，更新于 8 分钟前。TimesFM（Time...