魔搭社区视觉AI深度解析

11 月 3 日，在2022 云栖大会上，阿里达摩院联手 CCF 开源发展委员会共同推出了 AI 模型社区“魔搭”ModelScope，旨在降低 AI 的应用门槛。

AI 模型较为复杂，尤其是要应用于行业场景，往往需要重新训练，这使得 AI 只掌握在少数算法人员手中，难以走向大众化。而新推出的魔搭社区 ModelScope，践行模型即服务的新理念（Model as a Service），提供众多预训练基础模型，只需针对具体场景再稍作调优，就能快速投入使用。

达摩院率先向魔搭社区贡献 300 多个经过验证的优质 AI 模型，超过 1/3 为中文模型，全面开源开放，并且把模型变为直接可用的服务。社区首批开源模型包括视觉、语音、自然语言处理、多模态等 AI 主要方向，并向 AI for Science 等新领域积极探索，覆盖的主流任务超过 60 个。模型均经过专家筛选和效果验证，包括 150 多个 SOTA（业界领先）模型和 10 多个大模型，全面开源且开放使用。

本文，阿里达摩院开放视觉智能负责人谢宣松，深入解析了魔搭社区里首批开源的101个视觉 AI 模型。

计算机视觉是人工智能的基石，也是应用最广泛的 AI 技术，从日常手机解锁使用的人脸识别，再到火热的产业前沿自动驾驶，视觉 AI 都大显身手。作为一名视觉 AI 研究者，我认为视觉 AI 的潜能远未得到充分发挥，穷尽我们这些研究者的力量，也只能覆盖少数行业和场景，远未能满足全社会的需求。

因此，在 AI 模型社区魔搭 ModelScope 上，我们决定全面开源达摩院研发的视觉 AI 模型，首批达 101 个，其中多数为 SOTA 或经过实践检验。我们希望让更多开发者来使用视觉 AI，更期待 AI 能成为人类社会前进的动力之一。

一、概要：以人为中心的视觉 AI

这些年来，达摩院作为阿里巴巴的基础科研机构和人才高地，在阿里海量业务场景中研发出一批优秀的视觉 AI 能力，分布在各个环节：

这些视觉 AI 技术，几乎覆盖了从理解到生成等各方面。因视觉技术任务众多，我们需要有一个相对合理的分类方法，可以从模态、对象、功能、场景等几个维度来分：

魔搭社区首批开放了主要的视觉任务模型，这些模型即有学术创新的 SOTA 技术，也有久经考验的实战模型，从”功能 / 任务“的维度上，涵盖了常见的感知、理解、生产等大类：

虽然视觉技术有点庞杂，但其实有个核心，那就是研究“对象”，“人”一直以来都是最重要的“对象”。“以人为中心“的视觉 AI 技术，也是研究最早最深、使用最普遍的技术。我们以一个人的照片作为起点。AI 首先需要理解这个照片 / 图像，如识别这个照片是谁，有什么动作，能否抠出像等。然后，我们还需要进一步探索：照片质量如何，能否画质变得更好，其中的人能否变得更漂亮，甚至变成卡通人、数字人等…

如上的 7 个“人”相关的流程，基本涵盖了视觉任务中的“理解”、“增强”、“编辑”等大类，我们以魔搭社区已开放的相关模型为实例，来分享以人为中心的视觉技术的特点、优点、示例以及应用。

二、感知理解类模型

1. 从照片抠出人像

模型名：BSHM 人像抠图

从照片抠出人像，去掉背景，是一个非常普遍的需求，也是“PS”的基本操作之一，但传统人工操作费时费力、且效果不佳。魔搭提供的人像抠图模型，是一个 全自动、端到端的人像抠图模型，能够实现发丝级别的精细分割。

技术上我们也进行了创新，不同于其他模型基于大量精细标注数据训练的方法，我们的模型使用粗标注数据就能实现精细抠图，对数据要求低、精度高。

具体来说，模型框架分为三部分：粗 mask 估计网络（MPN）、质量统一化网络（QUN）、以及精确 alpha matte 估计网络（MRN）。我们首先将复杂问题拆解，先粗分割（MPN）再精细化分割（MRN）。学术界有大量易获取的粗分割数据，但是粗分割数据和精分割数据不一致导致预期 GAP 很大，故而我们又设计了质量统一化网络（QUN）。MPN 的用途是估计粗语义信息（粗 mask），使用粗标注数据和精标注数据一起训练。QUN 是质量统一化网络，用以规范粗 mask 质量，QUN 可以统一 MPN 输出的粗 mask 质量。MRN 网络输入原图和经过 QUN 规范化后的粗 mask，估计精确的 alpha matte，使用精确标注数据训练。

当然，抠图分割相关的需求非常多样化，我们也上线了一系列模型，支持非人像抠图以及视频抠图等。开发者可以直接拿来即用，如进行辅助设计师抠图，一键抠图，大幅提升设计效率，或者自由换背景，可实现会议虚拟背景、证件照、穿越等效果。这些也在阿里自有产品（如钉钉视频会议）及云上客户广泛使用。