27天备战春晚红包项目,字节跳动背后这朵“云”很关键( 三 )


云原生理念的实践
我刚才讲的字节跳动建设云的实践 , 和云原生概念是非常契合的 。
云原生这个概念 , 也火了很多年了 。 它的本质是什么?我自己感觉 , 云原生就是软件研发体系向前发展的一个过程 。
大家想下 , 计算机刚刚被发明的时候 , 人们写机器代码太麻烦了 , 程序员都怕麻烦 , 于是有了高级编程语言 , 编译器;人们自己定义各种数据存储格式 , 读写存储非常麻烦 , 还容易出错 , 于是有了数据库;人们已经写了软件 , 想用的时候 , 还得买机器 , 租机房 , 部署网络 , 太麻烦了 , 于是有了云计算 。
那么 , 现在还有哪些事情太麻烦?还有很多 , 我上面提到了一些问题 , 其实现在也还有很大的进步空间 。
所以 , 我觉得云原生 , 就是考虑云上的软件开发、维护全流程 , 去改进各个子系统 , 目标就是让开发人员更聚焦在业务本身 , 让云平台去解决其他的“麻烦事儿” 。
基于敏捷开发的理念 , 字节跳动不断改进系统 , 就是希望让开发人员更聚焦在业务上 。 这让我更加相信云原生这个理念 , 因为这个理念是有实践基础的 。
高密度计算、数仓与底层硬件探索
接下来再分享下我们在云实践过程中的三点经验 。
第一点是高密度计算 。 业务系统有很多类型 , 有些系统用非常敏捷的方式是好的 。 另外有些系统比如推荐、搜索、广告、视频理解 , 这些系统的计算密度很高 , 服务粒度要稍微大一点 。 当我们在这些系统上做敏捷的时候 , 可能要选择用插件化的方式去加速它的开发和迭代 , 这是一类高密度计算的问题 。
第二点 , 数仓的问题 。 字节跳动的核心技术理念是数据驱动和敏捷开发 , 我们需要全面的数据平台 。 我在2014年初刚入职的时候 , 发现公司已经有一个小时级可以看到结果的A/B测试平台 , 之后我们也一直都在践行数据驱动理念 , 让新的产品发布、新的功能可以很方便地做A/B测试 。 所以我们在敏捷开发的同时 , 需要保证数据平台有很高的数据准确性、一致性、稳定性 。
这里列一些规模和效率的数据 。 现在我们数据仓库本身 , 不算视频和机器学习的数据 , 总量已经到了9500PB的规模 , 每天新增40PB左右 , 指标数超过27000个 。 在这样的一个体量之下 , 我们依然能够很快地去做新产品的数据支持 。 一个全新的产品线 , 大概需要两周时间就可以完成所有核心数据的分析 , 包括数据报表建设等工作 。
27天备战春晚红包项目,字节跳动背后这朵“云”很关键
文章图片
第三点 , 底层硬件的技术探索 , 这肯定是基础的事情 , 我们也有很多的投入 , 比如自研服务器、DPU、AI芯片、数据中心技术等等 。 这里不展开介绍 , 未来可以和大家做更多展示 。
27天备战春晚红包项目,字节跳动背后这朵“云”很关键
文章图片
以上就是我对字节跳动建设IT基础的一些思考 。 这些技术、这些实践全部都会在火山引擎云产品中开放给我们的客户 , 希望能够帮助更多的企业 , 这样也会产生更大的社会价值和商业价值 。
这就是我今天的分享 , 谢谢大家!
27天备战春晚红包项目,字节跳动背后这朵“云”很关键】编辑宋钰婷校对卢茜