DreaMoving – 阿里开源的基于扩散模型的人类视频生成框架

一、DreaMoving工具是什么

DreaMoving是一个基于扩散模型的可控视频生成框架。它是由阿里巴巴智能计算研究院开发的一款创新型工具，专门用于生成高质量的定制人类舞蹈视频 。例如，用户如果想要制作一个特定人物在特定场景下跳舞的视频，DreaMoving就能满足这个需求。其核心是借助人工智能技术，特别是扩散模型的能力，从噪声开始逐步构建出与用户输入相符合的视频内容。DreaMoving提供了便捷的访问方式，包括官网体验入口和免费app下载地址，让用户可以轻松体验其丰富的功能 。

二、DreaMoving工具的功能特点

1. 身份控制
   • DreaMoving在身份控制方面表现出色。它允许用户通过给定一张脸部照片，生成与照片中的人物相似的视频。无论是明星、亲友还是用户自己的照片，都可以作为输入。在生成的视频中会保持人物的面部特征和表情。例如，用户想要看到自己像在某个著名景点跳舞的样子，只需要提供自己的脸部照片，DreaMoving就能生成相应的视频，这为个性化创作提供了极大的可能 。
2. 动作控制
   • 对于动作控制，用户可以提供一系列的姿势（这些姿势可以来自自己录制的视频，也可以是从网络上下载的视频），DreaMoving能够生成与这些姿势相匹配的视频。而且能够保持人物的动作和节奏。这意味着用户如果想要制作一段特定舞蹈风格（比如华尔兹、街舞或者芭蕾）的视频，只需提供相应的动作序列，就可以让视频中的人物按照自己的意愿跳舞 。
3. 外观控制
   • 外观控制功能通过用户输入一段描述性文本实现。用户可以任意输入如具体的地点（如海边、公园）、抽象的概念、场景、服装甚至是情绪氛围等内容，DreaMoving会生成与文本相符的视频，保证视频中的人物处于用户想象的环境中跳舞。例如输入“在充满樱花的街道上，穿着和服的女孩轻松地跳舞”，DreaMoving就能生成相应场景下的视频 。
4. 基于扩散模型
   • 基于扩散模型是DreaMoving的一大技术特色。扩散模型通过从噪声中开始，逐渐添加细节来生成图像或视频。这种技术能够使生成的视频具有高度的逼真度。DreaMoving利用扩散模型的优势，可以生成高保真度的定制人类视频，在视频质量方面有很好的保障 。
5. 运动控制和内容导引器
   • DreaMoving提供了运动控制和内容导引器。其内部的VideoControlNet组件是一个图像ControlNet，通过在每个U – Net块后注入运动块，处理控制序列（姿势或深度）以产生额外的时间残差，从而有效实现对运动的控制。ContentGuider组件则负责将输入文本提示和外观表达（如人脸、衣物等可选元素）转换为内容嵌入，实现跨注意力的传递。这两个组件协同工作确保视频中的动作流畅自然，同时保留角色的身份信息 。

三、DreaMoving工具的使用场景

1. 影视制作方面
   • 在影视制作中的角色替换应用广泛。如果在拍摄过程中有演员未能到场，DreaMoving就可以发挥作用。通过使用该演员的面部参考和预设的姿势序列生成视频，使得在不需要演员实际到场的情况下完成拍摄任务，这大大节省了时间和成本。例如，在一些大型电视剧或电影中，可能会出现个别演员因为档期问题无法拍摄某些场景，DreaMoving就可以为解决这类问题提供有效的方案 。
2. 时尚领域
   • 时尚设计师可以利用DreaMoving来进行虚拟时尚展示。只需输入模特的参考图像和一系列动作姿势，就能够创建一个虚拟模特在不同环境中展示服装的视频。这对于线上时尚展或虚拟试衣非常有用。例如在疫情期间，线下时装秀难以开展，DreaMoving就可以为设计师创造虚拟的时装展示场景，让观众更好地观看服装设计效果和动态展示 。
3. 个人创作与娱乐方面
   • 对于内容创作者，如旅游博主来说，可以创建一个系列视频，展示自己在世界各地的不同地标前跳舞或进行其他活动，即使他们实际上没有访问所有这些地方。而且普通用户也可以用于个人娱乐，比如制作有趣的家庭聚会视频或者模仿秀之类的创意视频。例如，一个音乐爱好者可以制作一个自己喜欢的明星在特定场景下跳舞的视频，并配上自己喜欢的音乐，作为一种独特的创意作品 。
4. 教育和培训领域
   • 在教育和培训方面，教师或讲师可以使用DreaMoving创建教学视频。其中教师或讲师的动作和表情可以根据需要进行调整，以更好地传达信息或展示特定的教学内容。例如在体育教学中，可以用DreaMoving制作运动员的正确动作示范视频；在舞蹈教学中，可以展示不同风格舞蹈的标准动作等 。
5. 虚拟现实和游戏领域
   • 在虚拟现实和游戏开发中，DreaMoving可以用来生成角色的动作和互动，提供更加逼真和个性化的用户体验。开发者可以根据游戏的情节和环境需求，快速生成各种角色动作。比如在一款角色扮演游戏中，为不同的角色生成符合其人物设定和情节的动作视频，增强游戏的沉浸感 。

四、DreaMoving工具的优点

1. 优点
   • 高度的定制性
     • DreaMoving的最大优势之一就是它的高度定制性。它可以对视频的人物、动作和外观进行精细的控制。例如，用户可以精准地指定人物的身份（通过提供脸部照片）、动作（通过动作序列）以及外观（通过文本描述），这能够极大程度地满足用户不同的个性化需求。无论是制作个人特定风格的娱乐视频，还是用于商业的定制化广告视频，这种高度定制性都非常有用。像广告公司为了突出产品特色，可以让特定形象的模特在特定的场景下进行展示，这些定制需求都可以通过DreaMoving来实现 。
   • 基于扩散模型，视频质量较好
     • 由于DreaMoving基于扩散模型，该模型在处理图像生成时表现出卓越的能力，尤其是在细节恢复和噪声抑制方面。所以生成的视频具有高度的清晰度和逼真度，几乎难以分辨真假。例如在生成复杂场景下的舞蹈视频时，场景中的环境、人物的服饰和表情等细节都能够呈现得很清晰，就像真实拍摄的一样 。
   • 多种输入方式灵活创作
     • 用户可以通过多种输入方式来指导视频的生成，如文本提示、图像提示或二者结合的方式。这种灵活性为创作提供了很多可能。例如，用户可以先提供一张人物照片作为基础，再通过一段描述性文本来确定场景和服装等元素，从而创作出丰富多样的视频内容，适应了不同用户的创作习惯和需求 。
   • 功能多样化
     • DreaMoving的功能覆盖了人物控制、动作控制和外观控制等多个方面。在人物控制方面能保证相似的人脸图像生成视频时保持面部特征和表情；动作控制中可以精确匹配提供的动作序列；外观控制下各种场景和服装等效果都能实现。这样多功能的组合使得它适用于多种行业和用途，如影视、时尚、教育等领域，能够满足不同行业的特殊需求 。

五、DreaMoving工具与同类工具对比

1. 与Finalframe对比（基于AI的视频剪辑工具）
   • 功能差异
     • DreaMoving专注于可控视频的生成，能够根据用户提供的人物身份、动作序列和外观描述生成视频，功能侧重于创作全新的视频内容。而Finalframe主要是一款基于AI的视频剪辑工具，重点在于对已有视频素材进行剪辑和编辑，将文本转化为视频效果等。例如，DreaMoving可以根据用户关于一个女孩在巴黎街头跳舞的描述生成一个新的视频，而Finalframe可能更多地是对已经存在的包含女孩在巴黎街头跳舞片段的视频进行剪辑拼接和特效添加等操作。
   • 输入方式差异
     • DreaMoving接受多种输入方式，包括人脸图像、动作序列以及文本描述等多种组合方式，以生成定制的视频内容。Finalframe的输入主要更侧重于与视频剪辑相关的操作指令，比如裁剪起点、终点，添加什么样的转场效果，如何调整视频速度等文字操作指令或者是对已有视频素材的引用等。
   • 应用场景差异
     • DreaMoving适用于多个领域如影视拍摄中的角色替代、时尚展示、个人创作等场景，这些场景更多地需要从无到有地生成视频内容。Finalframe则更适合于视频后期制作，例如广告公司对已经拍摄好的广告视频素材进行最后的剪辑合成，电影工作室对拍摄完成的影片进行剪辑调整，让视频内容更加流畅、观众体验更好等。
2. 与Pika（视频制作平台）对比
   • 创作可控性差异
     • DreaMoving在创作的可控性上有着独特的优势，它可以对视频人物的身份、动作和外观进行精细控制，可以创造出高度定制化的视频。而Pika虽然是一个视频制作平台，支持多种创意想法转视频，它的创作更多地侧重于根据用户上传的创意想法生成视频，但在人物身份、动作和外观的精细控制方面可能相对较弱。例如，DreaMoving可以指定一个明星形象，让其按照用户设计的精确动作序列在特定场景下跳舞，而Pika更多是根据创意想法的主题来生成视频，对于人物的定制化程度可能没有DreaMoving那么高。
   • 视频生成原理差异
     • DreaMoving基于扩散模型的原理进行视频生成，从噪声中逐渐构建出细节丰富、逼真的视频内容。Pika则是通过其他的技术手段，它主要是根据用户上传的创意想法来匹配相应的视频生成逻辑。这种不同的生成原理也导致了在功能和视频效果上的差异。例如，基于扩散模型的DreaMoving在生成一些复杂场景下的人物视频时，能够更好地恢复细节和保持逼真度，而Pika的优势可能更多地体现在能够快速将创意想法转化为主题性的视频内容。
   • 适用用户差异
     • DreaMoving由于其高度定制性，适合那些有明确创作需求，想要制作出具有特定人物和场景的视频创作者，如影视制作中的特殊镜头制作、时尚领域的虚拟展示等专业人士和有较高创意要求的个人用户。Pika则更适用于那些有创意想法但可能不太注重人物等细节高定制化的普通视频创作者，他们只是想快速将自己的创意想法转化为视频，如一些短视频创作者想要将自己的某个创意故事快速变成视频的情况。