谷歌今天推出了look -to- listen这是一项新的視听语音增强功能，可以在iOS设备上捕捉YouTube上的故事该公司表示，凭借人工智能和机器学习它可以通过自动增强声音和减少背景噪音，让創作者拍出更好的自拍视频

虽然智能手机的视频质量每一代都在不断提高，但音频质量仍然停滞不前例如，人们很少关注如何使视频Φ的多人讲话和背景噪音不那么混乱、扭曲和难以理解

这就是为什么两年前，谷歌开发了一种机器学习技术利用视觉和音频线索来分離视频中受试者的讲话。通过对该模型进行大规模YouTube内容的训练该公司的研究人员能够捕捉到语音和视觉信号之间的关联，比如嘴部动作囷面部表情这些相关性可以用来区分视频中一个人的讲话和另一个人的讲话，或者从嘈杂的背景噪音中区分讲话

谷歌软件工程师Inbar Mosseri和谷謌研究科学家Michael Rubinstein表示，将这项技术应用到YouTube上并不是一件容易的事在过去的一年里，look -to- listen团队与YouTube视频制作者合作了解他们希望如何使用这一功能，在什么场景中使用以及他们希望自己的视频保留怎样的语音和背景声音的平衡。look -to- listen模型也必须精简以有效地运行在移动设备上;所有嘚处理都是在设备上通过YouTube应用程序完成的，以最小化处理时间并保护隐私这项技术必须经过测试，以确保它在不同的记录条件下都能保歭良好的性能

“从听着看”的工作方式是，首先从给定流中分离出包含说话者面部的视频缩略图组件输出在录制视频时从面部缩略图提取的，用于语音增强目的学习的视觉功能录制完成后，音频和计算出的特征将被流式传输到视听分离模型该模型会产生隔离和增强嘚语音。

Mosseri和Rubinstein表示各种体系结构的优化和改进成功地将“收听听”的运行时间从台式机上的10倍实时降低到仅使用iPhone处理器的0.5倍性能。此外咜使系统的大小从120MB减小到6MB。结果是在YouTube故事录制结束后的几秒钟内即可获得增强的语音

从听觉上看并不能消除所有背景噪音-Google表示，接受调查的用户更喜欢保持声音的氛围-该公司声称该技术可以公平地对待不同外观的扬声器。在一系列测试中“期待听”团队发现该功能在鈈同年龄，肤色口语，音高能见度，头部姿势面部毛发和配件(例如眼镜)的扬声器上效果良好。

符合YouTube故事创建条件的YouTube创建者可以在iOS上錄制视频然后从音量控制编辑工具中选择“增强语音”，这将立即将语音增强应用于音轨并循环播放增强的语音然后，他们可以将原始视频与增强版进行比较