快手科技李岩：多模态技术会改变人机交互方式，会使信息分发更高效

其实解决这样一个问题是非常难的，因为即使是像苹果这样的公司，也是采用了结构光这样配置额外硬件的方式来解决。想让每一个用户都能享受到最尖端的技术，快手面临着硬件的约束，只能通过2D的RGB视觉信息对问题进行建模、求解，这里面包括了像Landmark人脸关键点检测、实时重建人脸三维模型等技术，把2D和3D两种不同模态的信息做建模、做对齐。

我们也能看到现在市场上可能有一些小型的APP在做类似的事情，但体验很差，而我们的整体体验还是非常好非常流畅的，这也需要归功于深度神经网络模型的量化，通过压缩和加速解决手机性能问题，可适配任意机型。

多模态技术如何实现精准理解视频内容

刚才我讲的是我们多模态技术怎样去帮助用户更好地记录，我们同时也希望通过一个更好的分享机制，让用户发布的视频能够被更多感兴趣的人看到。这也涉及视频推荐里面多模态的一些问题。

对视频内容的理解其实是非常难的，这个里面我做了两个比较有意思的事情。

第一，我们强调音频和视觉的多模态综合的建模，而不是仅仅是单独的视觉或者音频，视觉和听觉两种媒体的融合，会是未来一个非常重要的事情。

第二，在工业界做的事情和在学术界做的事情有很大不同，我们有非常多的用户数据，这些用户数据是不在传统多媒体内容研究范畴里面的，但是工业界可以很好地利用这些数据，更好地做内容理解。

给大家举个例子，一个男子表演口技的视频中，如果关闭声音，仅凭画面信息，我们并不知道他是在做什么，可能会觉得是在唱歌或唱戏。这说明如果仅仅是通过视觉的话，你可能无法获得真实的信息。我们对世界的理解一定是多模态的理解，而不仅仅是视觉的理解。

像这样的视频在快手数据库中有70亿，想要理解这么多的视频内容，必须借助多模态技术。所以我们在这方面也做了非常多的工作，从文本、视觉、听觉角度去做了很多单模态的建模，包括多模态的综合建模、有序与无序，以及多模态特征之间怎样进行异构的建联，在很多任务内部的分类上也做了改进。

（编辑：网站开发网_安阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!