分析目的
拉链采购台账通常来自多个系统:订单来自业务系统,收货来自仓储系统,发票来自财务系统,供应商名称在三个系统里往往写法不同。直接拿这样的数据做汇总,会出现同一家供应商被拆成五条、同一规格被归入两个品类的情况,结论自然失真。本分析的目的,是定义一套可执行的分类与清洗规则,并用量化指标衡量清洗结果是否可信。
东龙拉链在辅导供应商做成本对标时看到,未经清洗的采购明细中,品类归集错误的行数占比常在 10% 以上,足以改变品类排名的先后顺序。
数据准备
- 字段清单:供应商全称与税号、物料编码与描述、规格、单位、数量、单价、金额、币种、税率、下单日期、收货日期。
- 参考表:内部三级品类树、物料与品类映射表、供应商主数据、汇率表。
- 口径说明:明确金额为含税或未税、数量为采购单位或基本单位,并在分析文件中固定下来。
清洗前先做一次数据画像,统计各字段的空值率、唯一值数量与取值分布,确定问题集中在哪些字段。画像结果应形成一份简短的字段体检表,标明哪些字段可直接使用、哪些需要映射、哪些必须人工判断,后续每次更新都按同一份表执行。
分析方法与公式
清洗质量可以用四个指标衡量:映射准确率 = 正确归类行数 ÷ 抽样行数 × 100%;重复供应商率 = 合并后供应商数 ÷ 合并前供应商数;单位缺失率 = 单位为空或无法换算的行数 ÷ 总行数;金额异常率 = 被规则标记的行数 ÷ 总行数。
供应商去重建议分三步:先按税号精确匹配,再按名称去空格与全半角后精确匹配,最后用相似度算法辅助人工复核。相似度可用编辑距离计算:相似度 = 1 − 编辑距离 ÷ 两字符串较长者的长度,阈值取 0.85 以上进入人工确认。
数值异常用四分位距识别:上限 = Q3 + 1.5 ×(Q3 − Q1),下限 = Q1 − 1.5 ×(Q3 − Q1),落在区间外的单价单独复核,避免把大额框架订单误判为错误。
| 问题类型 | 典型表现 | 处理规则 | 影响 |
|---|---|---|---|
| 供应商重名 | 同一厂商三种写法 | 税号加相似度合并 | 集中度被低估 |
| 品类错分 | 拉头归入包装 | 按物料映射表回填 | 品类排名失真 |
| 单位混用 | 米与码并存 | 统一换算为米 | 单价不可比 |
| 币种未换算 | 外币直接相加 | 按交易日汇率折算 | 总额偏差 |
结果解读
假设某次清洗共处理 6.2 万行订单明细,合并重复供应商 37 家,修正品类归属 4100 行,统一单位 1800 行,则映射准确率从抽样的 86% 提升到 98% 以上,重复供应商率从 0.78 提升到 0.97。清洗后各品类支出排名发生变化,原本排在第三的五金件上升到第二,说明此前的品类结论确实被脏数据扭曲。
数据画像还能暴露流程问题。例如某供应商的订单金额长期集中在审批阈值下方,可能说明存在拆单规避审批;某品类的单位换算错误集中在同一录入人员,说明问题出在操作培训而非主数据。把这类模式记录下来,清洗工作就从一次性项目变成持续改进的入口,后续每次月度更新只需处理新增异常。
需要注意的是,清洗规则本身也会引入偏差。例如过度合并会把关联但独立的供应商算成一家,导致集中度虚高,因此每次合并都应保留审计痕迹与原始编码。
行动建议
- 把品类映射表作为主数据管理,新增物料必须指定三级品类,否则不允许下单。
- 建立季度清洗例行任务,固定四类质量指标的阈值,低于阈值时触发整改。
- 保留原始字段与清洗后字段两套数据,任何汇总都能回溯到原始行。
- 对相似度在 0.7 到 0.85 之间的供应商建立待确认清单,由采购与财务共同签字。