微博|人工智能技术创新,赋能微博内容理解与分发

微博|人工智能技术创新,赋能微博内容理解与分发

11月27日 , 在2022全球人工智能技术大会上 , 由CAAI智能传媒专委会、中国传媒大学媒体融合与传播国家重点实验室、新浪AI媒体研究院联合支持的“融合与发展”新智者·智能媒体专题论坛在线上举行 。 微博机器学习总经理、微博技术委员会委员王健民分享了题为《人工智能的技术创新 赋能微博内容理解与分发》的演讲 , 和与会嘉宾交流人工智能技术发展的趋势 , 以及微博推荐系统面临复杂多样的业务场景中的创新理论和实践成果 , 解读智媒时代的发展现状和未来方向 。

图注:微博王建民-“融合与发展”新智者·智能媒体专题论坛
以下是王建民分享实录 , 内容经编辑略有删减:
大家好 , 我是来自微博的王建民 , 非常高兴和大家一起交流 , 我今天分享的主题是:《人工智能的技术创新 , 赋能微博内容理解与分发》 。
首先 , 我来看一看人工智能的总体发展趋势 。 纵观历史 , 可以看出人工智能的发展 , 有三个明显特征:分别是训练数据的海量化及多样化;算法模型的复杂化及通用化以及算力的高效化及规模化 。
我们知道 , 数据、算法和算力是构成人工智能的三大要素 。 在数据方面 , 训练数据 , 从早期的万级别规模 , 到达了目前的百亿级别规模 , 并且 , 多种数据形态被融入进来 。 而算法方面 , 模型的参数 从早期的万级别参数量发展到目前的万亿级参数规模 , 而且 , 模型结构有大一统的趋势 。 数据和算法的规模和效率 , 都是建立在单机算力越来越强、机器越来越多的分布式计算架构之上的 。
我们在具体实际工作中看到的一些人工智能发展趋势 。 首先 , 我们看到的一个明显趋势 , 就是模型的训练过程 , 逐步从有监督为主 , 转化为自监督和无监督为主 。
我们原来训练一个模型 , 往往是人工先标注一批数据 , 然后训练模型 。 这种方法有很大的局限性 , 那就是人工标注成本很高 , 所以很难获得大量数据 , 数据量不够 , 模型没有得到充分训练 。 参数规模大的优势根本就发挥不出来 。
为了缓解缺乏数据的问题 , “自监督”模式逐渐流行 。 “自监督”机器学习 , 往往通过一些规则 , 自动构建训练数据 , 避免了人工标注成本高、数量少的问题 , 我们就可以低成本地获得海量的训练数据 。
典型的自监督学习代表 , 就是Bert模型 , 它随机扣掉一句话中的部分单词 , 让模型根据剩下的单词来预测被扣掉的单词 , 通过这种方式 , 可以自动获得几乎无限的训练数据 。 在自然语言领域 , Bert是一个里程碑式的进步 。
在人工智能技术发展趋势中 , 这些年图像理解在各行各业应用越来越广泛 。 主要得益于两方面:一方面是5G等通信技术的快速发展 , 另一方面由于手机终端的处理能力越来越强大 , 使得图片、视频类型的内容生产成本越来越低 , 图像内容也就越来越多 。
经过这么多年的发展 , 人工智能在图像理解领域取得的辉煌的成就 , 尤其是在一些细分领域 , 比如人脸检测与人脸识别 。 而在自动驾驶领域 , 虽然已经取得很不错的进展 , 要做到完全放心使用 , 我觉得还是有一定的路要走 。
刚才提到过 , 除了文本内容 , 图片、视频类型内容在网络内容中占比越来越高 , 单从一个模态去理解内容 , 总是有很大的局限性 , 应用也会受到限制 。 所以综合多个模态去理解内容 , 是人工智能发展的一个必然趋势 。
人工智能的另外一个趋势 , 是超大规模图计算 。 这个主要得益于计算机算力越来越强悍 。 相对其他机器学习模型 , 超大规模图计算有个特殊的优势:信息不再是一个一个的孤立点 , 信息在超大网络中的传递 , 促进信息的流动、汇聚与集成 ,