千亿企业的真实业务思考,名校大厂高手同台 PK,“马栏山杯”

在刚结束的计算机视觉顶级学术会议 CVPR 2021 上,涌现了多种优秀的计算机视觉 AI 算法解决方案 。
【千亿企业的真实业务思考,名校大厂高手同台 PK,“马栏山杯”】其中最佳论文奖为 GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields 。该论文关注当下流行的深度神经网络的图像合成议题,论文作者提出一个假设:在图像合成模型中,假如引入三维环境,那么生成的过程将变得更可控,图像的合成效果将更好,基本原理是在深度学习模型中加入新生成的神经特征场,来帮助模型更好地理解场景的形成 。
不难发现,如今计算机视觉等技术成为学界的热点,吸引了全球 AI 高手的关注,中国也不例外 。在本次参与 CVPR 2021 的 21036 名作者中,来自中国的选手约占四成,达 8203 人,远超英、美、韩等国家,并在论文数、冠军数上均有不俗的表现 。
作为国内长视频网站头部企业,芒果TV也参与了CVPR2021,并在视频人体时空定位赛事中,与国内外高校、研究所等多支计算机视觉顶级研究团队共同竞技,最终一举拿下亚军!
如今芒果TV 依托行业领先的技术硬实力和品牌影响力,欲汇聚业内顶尖技术人才,深度聚焦人工智能的技术创新与行业应用,共探产业未来,与中国(长沙)马栏山视频文创产业园联合举办第二届“马栏山杯”国际音视频算法大赛 。该赛践行“技术驱动产业智能化”的宗旨,真正关注技术与实际场景的应用与实践,致力解决企业实际的技术与业务的难题,推动产业升级 。
专业赛题来自千亿企业的思考,聚焦行业真实场景
继往开来,面向音视频领域的未来,行业探索的前沿方向有哪些?作为市值千亿的企业,芒果超媒旗下核心平台芒果TV一直以来用实践引领产业升级 。在本次大赛中,根据多年真实的业务场景,锤炼了三大专业音视频技术赛题:
第一个赛题是视频补全,要求参赛者利用 AI 算法对视频的内容进行分析和操作,对缺失区域做相关的补全 。
为何视频补全技术如此受重视?我们先看个例子:6 月 30 日,人民日报发布的#AI 修复让李大钊陈延年们露出微笑#冲上热搜第一,当看到 AI 技术让李大钊、陈延年等革命先驱露出微笑时,令人感动不已 。无独有偶,回首 2020 年频频上热搜的#AI 修复老北京影像#,同样让人为 AI 修复技术点赞 。
除了对老照片、老视频的修复外,在视频后期场景中,如何智能、高效地将不和谐因素、穿帮镜头、广告等抹除掉,也是每个视频平台亟待解决的需求 。因此大赛希望借此视频补全赛题,推动相关技术进步,促进行业发展,给观众呈现蕴含高科技元素的视听盛宴 。
第二个赛题是视频推荐 。随着移动互联网时代的信息井喷,为了匹配海量内容和用户的需求,吸引用户点击,视频推荐技术功不可没 。否则,无论用户如何搜索,也将看到同样的首页内容 。而视频推荐则可根据用户的行为习惯,提供个性化服务,让不同的用户看到不同的首页,提升用户体验,促进转化率 。
本大赛以芒果 TV点播信息流模块的实际推荐业务场景为原型,提供海量用户的真实点击行为数据,希望视频推荐赛题的参与者设计出一套精准有效的推荐模型,生成多元化的推荐展示结果 。

第三个赛题是音乐节拍检测 。节奏和节拍就像音乐的骨骼和脉搏,我们可通过算法自动将音乐节拍等要素检测出来再衍生应用,如此一来,可极大地丰富音乐的沉浸感和可玩性 。目前音乐节拍检测技术在音乐风格迁移、K歌评分、音乐自动配视频、游戏等领域发挥重要作用 。
本赛题提供1100条音乐片段和相对应的节拍、重拍的时间点标注数据集,鼓励参赛者使用动态规划、深度学习等方法,提取音频中的点位,并结合计算机音乐学,一起趣味玩转节拍检测 。