标签:预训练

清华校友出手!视频界首个千亿MoE开源,6B激活挤进全球第6

上个月,中国AI,让全球失眠。 先是Kimi K3雷霆出击,正面硬刚Claude Fable 5与GPT-5.6 Sol,成本却断崖式下降约40%。一夜之间,美股蒸发一万亿! 紧接着,De...

谷歌AI核心团队出走创办Discovery Loop,专注自动化科研

8月5日,谷歌宣布AI部门重大调整:Google DeepMind CEO Demis Hassabis转任董事长,并出任Alphabet首席科学家;效力谷歌近27年的首席科学家Jeff Dean则与Sanj...

微软发布 Mage-VL:从零训练的流式多模态模型,视频理解提速 3.5 倍

微软近日在 Hugging Face 平台发布了 Mage-VL,一款面向图像与视频理解的流式多模态基础模型。该模型的核心创新在于其视觉编码器 Mage-ViT 完全从零训练,规...

全球首个千亿级MoE视频模型开源!Sand.ai给视频生成Scaling找了条新路

8月的第一周,国内视频生成赛道格外热闹。 7月31日,MiniMax发布首款开源多模态生成模型H3;同一天,字节跳动推出Seedance 2.5,将单次生成时长从15秒拉长至...

离开OpenAI和Google后,两位大模型核心负责人决定卷下一代架构

曾经最相信强化学习的人之一,如今却认为:强化学习没有把我们带到 AGI。 Jerry Tworek 曾是 OpenAI 内部坚定的「强化学习最大主义者」。在 GPT-3、GPT-4 之...

清华唐杰团队揭示大模型记忆全景

近年来,大语言模型(LLMs)的突破很大程度上归功于Scaling Laws(参数、数据、算力)。 然而,在模型演进的过程中,一个同等重要的维度正变得愈发关键——记...

书生发布Intern-S2-Mobius:35B模型实现近4倍推理加速

书生团队(InternLM)在 Hugging Face 上发布了 Intern-S2-Mobius,一个基于 Mobius-v0 架构的 35B 参数多模态基础模型(支持图像-文本到文本任务)。该模型...

IDC全球基础模型评估:阿里云成唯一入选领导者象限中国厂商

国际数据公司(IDC)近日发布《IDC MarketScape:全球基础模型软件厂商评估》报告,在入选的11家全球厂商中,阿里云凭借千问(Qwen)模型家族与千问AI平台跻...

清华北理工联合开源HOST,29秒视频即可教会机器人新技能

自变量机器人与北京理工大学、清华大学联合发布并开源了HOST框架(Human-to-robot One-Shot Skill AcquisiTion,人类到机器人单样本技能获取)。这一框架让机...

小米具身基座模型 Xiaomi-Robotics-1 正式开源

8 月 5 日消息,小米技术官方微博刚刚宣布,小米具身基座模型 Xiaomi-Robotics-1 正式开源。 Xiaomi-Robotics-1 基于超过 10 万小时 UMI 数据进行预训练,...
15678995