深入分析Microsoft Azure 机器学习工作室案例( 二 ) 关注我们（本文阅读时间：1

▍Parquet列式存储格式
Parquet是Hadoop生态圈中主流的列式存储格式，最早是由Twitter和Cloudera合作开发， 2015年5月从Apache孵化器里毕业成为Apache顶级项目。
有这样一句话流传：如果说HDFS是大数据时代文件系统的事实标准， Parquet就是大数据时代存储格式的事实标准。 Parquet列式存储格式的压缩比很高，所以IO操作更小。
Parquet是与语言无关的，而且不与任何一种数据处理框架绑定在一起，适配多种语言和组件，能够与Parquet适配的查询引擎包括Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL等，计算框架包括MapReduce,Spark,Cascading,Crunch,Scalding,Kite等，数据模型包括Avro,Thrift,ProtocolBuffer,POJOs等。所以Parquet就是一个数据存储，提供引擎快速查询数据的格式。
深入分析
这个案例一共九个工作节点，我们逐个分析每一个节点中值得关注的细节和核心信息。
▍AdultCensusIncomeBinaryClassificationdataset节点
这个节点是数据的输入，核心有三个信息
Datastorename：azureml_globaldatasets是一个链接，点击可以跳转到数据存储的位置
Relativepath：描述在Datastore中当前文件的位置，默认是GenericCSV/Adult_Census_Income_Binary_Classification_dataset
点击azureml_globaldatasets将跳转到Datastore浏览器，您可以在这个浏览器下观察到您存储的数据。大致的界面如下

文章图片
在左侧我们最需要关注的文件是_data.parquet ，该文件是Parquet列式存储格式文件。建议您下载，在后续的步骤中，我们将操作和分析这个文件。
▍SelectColumnsinDataset节点
这个节点是对数据列（特征）的选择
关键信息是观察选择的列
列名
含义
类型
数据格式
选择
Age
年龄
离散属性
Int64
是
workclass
工作类型
标称属性
Object
fnlwgt
序号
连续属性
Int64
是
education
学历
标称属性
Object
是
education_num
受教育时间
连续属性
Int64
是
marital_status
婚姻状态
标称属性
Object
是
occupation
职业
标称属性
Object
relationship
关系
标称属性
Object
是
race
种族
标称属性
Object
是
sex
性别
二元属性
Object
是
capital_gain
资本收益
连续属性
Int64
是
capital_loss
资本损失
连续属性
Int64
是
hours_per_week
每周工作小时数
离散属性
Int64
是
native_country
原籍
标称属性
Object
income
收入
二元属性
Object
是
▍ExecutePython节点
这个节点是将Parquet列式存储格式文件转为VW（VowpalWabbit），该节点核心是一段Python代码，我们来详细理解和分析这些代码（在这之前确保您已经下载了_data.parquet和您已经有了Python开发环境）
azureml_main函数是AzureML必须的入口函数。
其余代码的核心就是装载parquet ，设置标签和特征，生成vw格式。
为了更好的帮助您理解这些代码，我重新写了一段脚本，确保您可以在本地加载_data.parquet ，并完整的理解整个过程。
先确保您安装了如下组件python-mpipinstallpandaspython-mpipinstallpyarrow
详细代码和解释importpandasaspdfrompandas.api.typesimportis_numeric_dtype
label_col='income'true_label='>50K'
#读取_data.parquetdataframe=pd.read_parquet('_data.parquet')#输出每一列的数据类型forcolindataframe:print(col)print('----------------------------------')