trans.py - shuiwanghuohuo/scorecard_wiki GitHub Wiki

trans_rdd(data, black_flag="label", data_type="map", update_col=[])

将指标计算代码产出的dataframe转换为可用rdd，为筛选指标做准备

Parameter Description
---------------------
data : spark dataframe
    指标计算代码产出的dataframe

black_flag : string,(default="label")
    标签列列名

data_type : string,(default="map")
    数据格式，默认为"map",表示数据集中有map格式，可接受"flat"，表示数据为宽表格式

update_col : list,(default=[])
    额外需要保留的列,只在data_type为"map"时生效
Return
------
data_rdd : 转换后的rdd