数据清洗的5个基本步骤

拿到一份原始表格，先别急着做透视或图表。原始数据里常见的空值、格式混乱、重复记录，会让后续分析结果不可靠。下面五个步骤，按顺序执行，能覆盖大多数日常场景。

第一步：保留原始文件，另存副本

任何清洗操作都从备份开始。直接修改原始文件，一旦出错很难回退。

• 把原始文件复制一份，命名为 原始数据_日期 ，保留不动。
• 在副本上操作，命名如 清洗中_日期 。
• 如果使用脚本或工具，保留每次清洗后的中间版本，不要一步覆盖到底。

判断标准：任何时候都能回答“这个值是从哪里来的”。如果无法追溯，说明备份环节没做到位。

第二步：统一字段结构和命名

很多表格的问题不在数据本身，而在结构。比如同一列里混着姓名和电话，或者表头有合并单元格。

• 确保第一行是字段名，没有合并单元格，没有空行。
• 字段名统一用简短的中文或英文，避免空格和特殊符号。比如用 订单日期 而不是 订单 日期 (YYYY-MM-DD) 。
• 检查是否有完全重复的列，或含义相近但命名不同的列。
• 把明细数据和汇总数据分开存放，不要放在同一张表里。

判断标准：每一列只表达一个含义，每一行是一条独立记录。如果做不到，先拆列或拆表，再继续。

第三步：处理缺失值

缺失值不能一律删除或一律填充。先判断缺失的性质。

• 统计每列的缺失比例。比例很低（比如低于 5%）且缺失随机，可以考虑删除对应行。
• 比例较高但字段重要，需要先确认缺失原因：是采集遗漏，还是业务上本来就不存在。
• 填充时优先用业务规则，而不是默认值。比如“运费”缺失，如果知道是包邮，可以填 0；不知道就保留为空。
• 文本字段不要用“未知”“其他”随意填充，这会污染后续的分组统计。

判断标准：填充后的数据不能改变字段的业务含义。如果填充只是为了好看，宁可不填。

第四步：统一格式和类型

格式不统一是后续计算错误的主要原因。常见问题包括日期格式混用、数字带单位、文本前后有空格。

• 日期列统一为同一种格式，比如 YYYY-MM-DD 。如果工具支持，转换为日期类型。
• 数字列去掉货币符号、千分位逗号和单位，只保留数值。
• 文本列去掉首尾空格，统一大小写（如果适用）。
• 检查分类字段的取值。比如“北京”和“北京市”应该合并为一个值。

判断标准：同一列的数据可以直接参与排序、计算和分组，不需要额外转换。

第五步：识别异常值和重复记录

异常值不一定要删除，但必须被标记和确认。

• 重复记录：按业务主键（如订单号、身份证号）去重。如果没有主键，按多列组合判断。
• 数值异常：用分位数或业务范围判断。比如年龄出现 200，金额出现负数，需要逐条确认。
• 逻辑异常：比如“结束时间”早于“开始时间”，或者“状态”为已完成但“完成日期”为空。
• 对确认的异常值，新增一列 异常标记 ，不要直接修改原值。

判断标准：异常值要么被修正并有依据，要么被标记并保留。直接删除会丢失信息，直接保留会影响统计。

完成这五步后，把清洗后的数据另存为分析用表，并记录每一步的处理规则。下一次遇到类似数据，可以直接复用这套流程。