web | Java

数据清洗的具体流程?

千锋教育

1、首先获取对应目标表的数据,然后进行数据加载


2、加载过程中需要考虑业务需求,按照需求就近数据处理


3、考虑缺失数据对总数据的影响,如缺失数据对总体数据来说是无关数据,则可以之间删除,如果是相关选项,则对相关数据进行填补。


对数据值形数据来说,一般填补中位数,对类别形数据来说,一般填补众数。对缺失数据是否进行删除,根据具体情况而定,如果缺失数据只是少部分,可以考虑直接删除这部分数据。


4、 转换一些具有明确特征的数值变量,并增加一些组合特征,通过原来的特征进行组合,构建和目标关系更大的特征


5、最后落地生成数据仓库的ODS层数据