快手科技李岩：多模态技术会改变人机交互方式，会使信息分发更高效

第二点需要强调的是，像ImageNET等很多的学术界研究内容理解的任务有非常好的标注数据集，但是这个数据集对于工业界来说还是太小，且多样性不够。我们平台每天有1.3亿多用户以及超过150亿次的视频播放，这个数据是非常大的。如果有150亿的标注数据，做算法就会有很大的帮助，但是现实上是不具备的。

那怎样将研究分析技术与海量数据更好地做到两者的融合呢？我们通过融合行为数据和内容数据，进行综合建模，同样大小的人工标注量，利用海量的用户行为数据，能够获得比纯内容模型更好的性能，对视频有了一个更好的理解，进而在多媒体内容的理解和分析方面的算法研究有了非常大的进展，这就使我们在工业界和传统学术界做这个事情时会更有优势。

未来多模态研究的热点：特征表达与特征对齐

总结一下，多模态内容解决的问题里面涉及一些模态的转化，比如怎样通过2D图像驱动3D，怎样通过语音生成文本或者通过文本生成语音，怎样通过视觉驱动音乐。另外一个应用是我们怎样通过融合更多信息来驱动内容的理解，其实都是一个多模态的问题。在学术界有很多研究还是停留在单模态，但我个人认为未来多模态会成为更有价值的研究方向。

多模态研究会有两个难点或者说热点：

第一是多模态的特征表达，也就是在多模态研究框架下怎样设计单模态的特征，这是一个非常重要的问题。

第二是多模态特征之间如何对齐，也就是有没有更好的算法对视觉、听觉和行为的部分进行统一的建模，这是未来的一个热点。

几个总结

第一，多模态未来会持续带来更新的人机交互方式，比如我们刚才讲的Animoji技术，其实它带来的是一种可以通过人脸控制手机自动生成Avatar（虚拟动画）的体验。原来实现这些效果，需要在好莱坞专门设一个特效室来实现这一点，而现在普通用户都能享受这样的技术，所以人机交互会由原来重的、贵的、笨的方式转变为便宜的、每个人都能参与的而且便捷的方式。

第二，我认为多模态技术会带来新的内容形态，原来接入信息更多是从文本、页面中获得，现在有视频，未来可能还会有AR或者其它的形式。我觉得多模态AR很重要的一点就是强调沉浸感，这种沉浸感其实是通过听觉和视觉综合作用才能产生的。

第三，我认为多模态亟需新的算法和大型的数据，因为这两者可能会是一个某种意义上可以相互折算的问题。以目前的机器学习算法来讲，需要海量的数据才能解决好这个问题，因为现在深度学习、内容理解的成果，某种意义上是监督学习的成果，有足够的样本、算力，所以现在的算法能力基本上还停留在对算力和数据有着非常大要求的阶段。而多模态的大型数据是非常难建的，而且多模态解的空间是更大的。因为一个模态解的空间是n，另外一个是m，它最后是一个乘积、一个指数级的变化，所以数据集要多大才足够是一个很难的这个问题，可能需要新的算法来对这个问题进行建模。

关于快手多媒体内容理解部门

快手多媒体内容理解部门（Multimedia Understanding）简称MMU ，团队由近百名算法工程师、应用工程师构成，聚焦多媒体内容的理解与应用。在内容理解方面，MMU主要通过对人脸、图像、音乐、视频四个维度实现对多媒体内容的感知，并融合感知内容和知识图谱，实现对视频高层语义及情感的理解，从而让机器高效看懂海量内容。目前，多媒体内容理解部的核心技术服务于内容安全、原创保护、视频创作、视频推荐、视频搜索及商业化等方面。

（编辑：网站开发网_安阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!