这是本页其他一切都在悄悄依赖、却最常被跳过的一项不起眼的工作。
数据管道按计划采集你的数据，修掉那些可以预见的问题 —— 同一个客户三种拼法、四种日期格式、价格存成了文本 —— 再把结果放到一个稳定的地方，供其他一切读取。
它很枯燥，而且通常是清单上价值最高的项目。建立在杂乱数据上的自动化，自动化的是那份杂乱。用它训练的预测模型，学到的是那份杂乱。仪表盘则让那份杂乱看起来很权威 —— 这大概是三者中最糟的结果。
在你的系统看来，「Ali Trading」「Ali Trading Sdn Bhd」和「ali trading s/b」是三个客户。每份报表都要先手工整理半小时，两个部门给同一个月报出不同的营收。
一个客户，一条记录，一个数字。整理这件事不再发生，因为已经没有什么可整理；关于谁的数字才对的争论，也随之停止。
业务数据到底会出什么问题
这些问题都不体面，而且几乎人人都有；把它们一一点名，就能明白为什么这项工作要排在最前面。
同一个客户存在好几次。在你的系统看来，「Ali Trading」「Ali Trading Sdn Bhd」和「ali trading s/b」是三个不同的客户，这意味着他们真实的合计价值是看不见的，而任何模型或报表都会把他们当成三个小账户，而不是一个重要账户。
日期以互不兼容的格式到达。一个系统写 03/04/2026，另一个写 2026-04-03，第三个写「3 Apr」。不做归一化就放在一起排序，它们会毫无意义地交错，每一份按时间维度的报表都在悄悄出错。
数字被存成了文本，于是按字母排序 —— 1、10、100、2 —— 而合计会悄悄漏掉任何带多余空格或货币符号的条目。产品编码也会漂移，换过供应商之后同一件商品挂在三个 SKU 下。
这些都不能怪谁。忙碌的人在十年里一个一个地加系统，结果就是这样。但这里的每一个问题，都会被你接下来建的任何东西继承下去 —— 这就是为什么先清理干净，通常是可选项里回报最高的一个决定。
为什么它多半会成为第一个项目
当我们建议从这里开始时，客户常常失望，因为这不是激动人心的部分。原因很直接：本站其他每一样东西在杂乱输入面前都会失效，而且各有各的失效方式，代价都不低。
建立在不一致数据上的自动化，会把这份不一致自动化 —— 更快，规模更大。用它训练的预测模型，会把这团乱当成信号学下去。建立在它上面的仪表盘，会以十足的视觉权威呈现互相矛盾的数字，这大概是三者中最糟的，因为人们会照着它行动。
复利式的好处在于，这项工作并不专属于某一个项目。一旦订单、库存和客户在一个地方保持一致，聊天机器人、流失模型和仪表盘的开发都会明显更便宜、更快 —— 而且它们终于能互相对得上了。
这件事会在哪里出岔子
如果坏数据的成因是两家分店录单方式不同，那么事后清洗的管道就是一笔永久的税。能修入口就修入口；只清洗那些你确实修不了的。
每一个决定 —— 哪条重复记录胜出、缺失的日期怎么处理 —— 都必须可见且可回退。悄悄清洗，正是人们彻底不再信任这些数字的原因。
我们实际怎么做
-
01
我们先找出真相在哪里
通常在好几个互相矛盾的地方。定哪一个说了算，是业务决定而不是技术决定，而且由你来定。
-
02
我们修掉那些可以预见的问题
去重、标准化、校验。规则都写下来，所以你能清楚看到改了什么、为什么改。
-
03
我们给它排期
对多数中小企业，每晚一次刚好。它运行、它记日志，某个数据源不再送达时，它会通知人。
-
04
我们留下一个供读取的地方
下游的一切 —— 报表、模型、自动化 —— 都指向同一张表。报表之间不再互相打架。
- 同一个客户存了三次，名字还拼得不一样
- 你的数据分在五个地方，没一个对得上
- 每份报表都要先手工整理半小时
- 只是一个人维护的一张小表格。不值得大动干戈
- 乱是流程问题 —— 先修好数据怎么录入，再谈自动化
- 对每个源系统的读取权限
- 有人能在数据源打架时裁定谁说了算
2–4 周，取决于有多少数据源、乱到什么程度。
关于这项，大家都问什么
能不能跳过这步，直接做 AI 那部分？
有时可以。但很多时候，这正是 AI 那部分效果不佳的原因。你属于哪种情况，我们会老实告诉你 —— 卖给你一个注定让人失望的模型，对我们没有好处。
做完之后数据放在哪里？
你想放哪就放哪 —— 你自己的服务器、你现有的数据库，或者一个托管的。无论哪种，它都还是你的。