科学家已经开发出一种AI，该AI可以仅通过观察演奏者手部的运动来从无声钢琴演奏中产生音乐。
这个名为Audeo的系统会分析某人挠痒痒的自上而下的视频，以预测每一帧中按下了哪些键。然后产生音乐的笔录，然后由合成器翻译成声音。
研究人员在钢琴家保罗·巴顿演奏著名作曲家的音乐的镜头上对AI进行了培训和测试。
然后，他们通过在Shazam和SoundHound等音乐识别应用程序中播放Audeo作品的准确性进行评估。
这些应用程序可以在86％的时间内识别出音调-仅比识别源视频少7％。
华盛顿大学助理教授，资深研究作者EliShlizerman说，他对AI输出的质量感到惊讶：
以前认为创建听起来像可以在音乐表演中播放的音乐是不可能的。算法需要弄清楚视频帧中与生成音乐有关的提示或“特征”，并且需要“想象”视频帧之间发生的声音。它需要一个既精确又富有想象力的系统。
您可以在下面的视频中自行判断其性能：
研究人员还探索了使用Audeo改变音乐风格的方法。Shlizerman说，该系统可以显示通过小号演奏时钢琴产生的音乐的声音。
他希望这项研究将为人们与音乐互动提供新的方式：
例如，未来的应用是Audeo可以通过仅记录人的手的摄像机扩展到虚拟钢琴。此外，通过将相机放置在真实的钢琴上，Audeo可以潜在地以新的方式教学生如何演奏。
郑重声明： 本文版权归原作者所有， 转载文章仅为传播更多信息之目的， 如作者信息标记有误， 请第一时间联系我们修改或删除， 多谢。