标签:预训练

早于LeCun相似研究一年!千诀科技联合清华团队让神经网络「简单性」可测可优化

今年 5 月, Yann LeCun 与 David Klindt、Randall Balestriero 的论文《When Does LeJEPA Learn a World Model?》一经发布便获得广泛关注。论文从隐变量可辨...

GPT-4.5 以来训练的最大模型,曝 OpenAI 最快下周推出 Astra AI 模型

8 月 7 日消息,消息源 @synthwavedd 昨日(8 月 6 日)在 X 平台发布推文,爆料称 OpenAI 目标下周发布 Astra 模型,内部代号为 mewfour。 消息源称该模型...

Ilya的第一个模型,被曝本月上线

Ilya Sutskever传出让人振奋的消息! 他创立的Safe Superintelligence(SSI)被曝将于本月发布首个模型。 传出这一消息的是Gavin Baker——作为掌控数十亿美...

字节跳动讨论训练超5万亿参数模型,力争行业领先

据《晚点 LatePost》独家消息,字节跳动正在讨论训练一个参数规模超过 5 万亿 的模型,这一规模将超过阿里 Qwen 3.8-Max(2.4 万亿参数)和月之暗面 K3(2.8 ...

国内已知最大规模!消息称字节跳动正讨论训练超 5 万亿参数模型

8 月 6 日消息,晚点 LatePost 今天(6 日)晚间爆料称,字节跳动正在讨论训练一个参数规模超 5 万亿的模型,超过阿里的 Qwen 3.8-Max(2.4 万亿参数)和月之...

清华校友出手!视频界首个千亿MoE开源,6B激活挤进全球第6

上个月,中国AI,让全球失眠。 先是Kimi K3雷霆出击,正面硬刚Claude Fable 5与GPT-5.6 Sol,成本却断崖式下降约40%。一夜之间,美股蒸发一万亿! 紧接着,De...

谷歌AI核心团队出走创办Discovery Loop,专注自动化科研

8月5日,谷歌宣布AI部门重大调整:Google DeepMind CEO Demis Hassabis转任董事长,并出任Alphabet首席科学家;效力谷歌近27年的首席科学家Jeff Dean则与Sanj...

微软发布 Mage-VL:从零训练的流式多模态模型,视频理解提速 3.5 倍

微软近日在 Hugging Face 平台发布了 Mage-VL,一款面向图像与视频理解的流式多模态基础模型。该模型的核心创新在于其视觉编码器 Mage-ViT 完全从零训练,规...

全球首个千亿级MoE视频模型开源!Sand.ai给视频生成Scaling找了条新路

8月的第一周,国内视频生成赛道格外热闹。 7月31日,MiniMax发布首款开源多模态生成模型H3;同一天,字节跳动推出Seedance 2.5,将单次生成时长从15秒拉长至...

离开OpenAI和Google后,两位大模型核心负责人决定卷下一代架构

曾经最相信强化学习的人之一,如今却认为:强化学习没有把我们带到 AGI。 Jerry Tworek 曾是 OpenAI 内部坚定的「强化学习最大主义者」。在 GPT-3、GPT-4 之...
1…89101112…99