机器学习|元宇宙大规模机器学习竞赛项目tensorflow-gnn!

机器学习|元宇宙大规模机器学习竞赛项目tensorflow-gnn!

文章图片

机器学习|元宇宙大规模机器学习竞赛项目tensorflow-gnn!

【机器学习|元宇宙大规模机器学习竞赛项目tensorflow-gnn!】
元宇宙是谁?元宇宙是阿里天池平台上的一款大规模机器学习竞赛项目 。 一个团队 , 包括15支队伍 , 选用的都是基于tensorflow的开源深度学习框架tensorflow-gnn 。 他们都是业内顶尖的机器学习应用程序 。 项目地址为: , 分为三个阶段:第一阶段 , 用cnn进行图片分类 , 结果为每支队伍分别预测1个物体 。 第二阶段 , 用lstm进行文本长文字的情感分析 , 结果为每支队伍预测“可爱”等一些字眼 。 第三阶段 , 用xnn进行自然语言处理文本情感分析 , 结果是两个自然语言处理模型对相同的句子表现不同 。 看似非常简单的 , 用一个深度学习框架就能拿到不错的成绩 , 难道人人都能学会人工智能?不 , 因为tensorflow和tensorflow-gnn都是基于python语言的 。
对于一个语言 , 不仅要学会用、懂得用 , 其背后还有一个重要的技术要学会使用 。 所以 , 今天我们不是来讨论这个算法的好坏 , 甚至如何提升的 , 而是来讨论如何让自己的工作变得更高效 。 比如在写代码的时候能用好数据结构和算法 , 懂得如何用好框架等等 。 其中要懂得一些python编程语言的基础 , 比如变量和类、循环、列表等等 , 都需要学好 。 我们可以理解为你可以理解为在写你的代码的时候能使用其他的函数进行一下数据运算而不用去了解底层的细节 , 而是去理解其思路 , 所以掌握了如何提炼对象和算法的框架非常重要 。
一、项目是如何被部署的?这个项目被我们自己所部署 , 是用nginx+php , 可以说对于大部分初学者来说这些知识相对来说都非常简单 , 也不需要用到我们原来使用的大众框架redis或者sqlite 。 我们的github地址是: 。 这里我们要说几个点 , 首先为什么用wordbpcodes?因为wordbpcodes可以更加精准的获取文件的内容 , 从而可以作为后续数据的分析使用 。 为什么使用tf-gnn , 因为tfiel只有2个神经元 , 不够精准 。 二、如何构建大规模机器学习框架和模型?目前大家都在做机器学习模型的开发和部署 。二、大家先假设我们要做这么一个机器学习模型:一个cnn输入为8x8的矩阵 , 输出类别数为5;一个lstm输入为5x1输出为2x1的矩阵 , 输出类别数为4;一个xnn输入为2x1输出为2x1的矩阵 , 输出为2x2 。 这个模型的参数由三个组成:数据;模型;io 。 这个时候就需要通过numpy处理三项:数据:通过一些函数处理矩阵 , 然后通过dataframe转tf-gnn 。 模型:这里我们使用了pytorch中的eagertf-gnn模型:eagertf-gnn=eagertf.gather+padding+dataframe+torch.tensor()