拿到一份新数据，先做这 6 项检查

先看字段清单，而不是先看数值

打开一张表，第一件事不是算均值，是读字段名和它的来源说明。字段名往往含糊，比如 status 、 amount 、 dt ，同一个词在不同系统里含义可能完全不同。

做法很简单：

• 把每个字段的含义写成一句话，写不出来就说明还没理解。
• 标出字段的类型：标识类、时间类、分类类、数值类、文本类。
• 标出字段的粒度：它是订单级、用户级还是日志级。

这张字段表建议直接落成一个文档或表结构，后面每做一步检查都往上面补信息。它比任何临时笔记都耐用。

检查行数、主键和重复

先确认一件事：这份数据的一行代表什么。判断标准是能不能找到一个或一组字段唯一确定一行。

• 如果存在单字段主键，直接做一次唯一性校验，看是否有重复值。
• 如果没有单字段主键，用组合字段试探，比如「用户 ID + 日期」。
• 找不到任何唯一组合，说明数据粒度不清晰，需要向上游确认。

重复行的处理也要有判断：完全相同的行，通常是采集或导出环节的重复写入；主键相同但其他字段不同的行，多半是同一对象被多次更新的快照，直接去重会丢信息。

缺失值要看位置，不只看比例

缺失比例是最容易算的指标，但单独看它没有意义。10% 的缺失在一个字段的不同部分，影响可能完全不同。

几个具体的判断：

• 缺失是否集中在某个时间段，比如某天之后突然全部为空。
• 缺失是否集中在某个分类上，比如某个渠道的数据从不回填。
• 缺失字段是否是后续分析的关键字段，若是，需要先决定丢弃行还是补值。

补值之前先问一句：这个字段为什么会缺。默认值填充、均值填充都是手段，但用错场景会系统性地扭曲结果。

数值字段要核对量纲和取值范围

单位不一致是最隐蔽的问题之一。同一列里，一部分是元，一部分是分；或者一个字段名义上是秒，实际混了毫秒。这类问题不会报错，只会让结果偏离。

可以按这个顺序过一遍：

• 看最大值和最小值，是否落在业务上合理的区间内。
• 看关键分位数（比如 1%、50%、99%），判断是否存在极端值堆积。
• 检查是否有负数出现在本不该为负的字段上。
• 对照相邻字段做交叉验证，比如单价乘以数量是否等于总额。

比例类字段还要留意 0 到 1 和 0 到 100 的混用，这在合并多份数据时特别容易出错。

时间字段要确认时区、格式和覆盖范围

时间字段出错，通常不是格式问题，而是口径问题。同一份数据里，创建时间和更新时间可能用不同时区存储。

具体检查：

• 确认时间字段是字符串还是标准时间类型，字符串格式是否统一。
• 确认时区，尤其是跨系统取数时。
• 看时间范围是否连续，是否有整段缺失。
• 看是否存在未来时间或明显早于业务起点的时间。

时间口径确认清楚再往下做，否则所有按周期聚合的结果都要重来。

看完分布再决定怎么处理

最后一步是看分布形态，它决定了后面该用什么方法。偏态明显的数据，用均值描述会误导；存在双峰的数据，可能混了两个不同的群体。

• 画一张直方图，先看形状，别看统计量。
• 分类字段看各类占比，注意长尾类别。
• 数值字段看是否有截断，比如大量值卡在某个上限或下限。

到这里，手上应该有一份完整的检查记录：字段含义、粒度、缺失情况、量纲、时间口径、分布结论。带着这份记录再进入清洗和建模，返工的概率会低很多。