大家好！在上一篇文章《Palantir如何驱动采购领域的AI自动化变革》中，我们深入探讨了 Palantir 如何利用其强大的AIP平台，在企业采购领域掀起了一场AI自动化变革。许多朋友看完后感叹于AI的巨大潜力，但也有人好奇：为什么听起来如此强大的技术，在国内很多企业里却迟迟无法落地？
答案或许会让你有些意外。实现AI变革的最大瓶颈，通常不是算法不够先进，也不是算力不够强大，而是一项听起来极其枯燥、做起来极其痛苦，却又绕不开的基础工作——数据集成。
一言以蔽之：所有高大上的分析和AI应用，都建立在一个简单却艰难的前提上——你得先把散落在天涯海角的数据，都归拢到一个地方。
等等，都2025年了，他们还没把数据搞定？
你可能会觉得不可思议。在今天这个时代，怎么还会有公司的数据是乱七八糟的？但现实就是如此，尤其是在制造业、航空、能源等传统工业领域。
在这些行业里，大量重要的数据甚至根本就不在电脑里。
有些数据停留在纸上： 工程师的实验记录本、质检员手写的QA报告、车间的纸质工单……这些都是最原始的“数据”，承载着宝贵的信息。
有些数据被“勉强数字化”： 好一点的情况是，公司把上述纸质文件扫描成了PDF。这对于存档备案来说是进步，但对于数据分析而言，这和一堆图片没什么区别。你无法搜索，更无法进行统计分析。（Sarah曾听说，某大型航空制造商所有的飞机质量测试结果，都保存在手写填写的表格的扫描PDF里。想象一下，你想分析一下质量趋势，简直是天方夜谭！）
更多数据则被困在机器里，成为“数据孤岛”： 现代化的工厂里，每台设备都能产生海量数据——传感器读数、执行器运动日志、工艺参数变化等等。但这些数据，通常只存储在那台机器本地的硬盘里。操作A机器的团队，可能根本看不到隔壁B机器的数据。
近一百年来，制造业的工程师们一直在使用“统计过程控制”（SPC）等方法来指导生产。然而，在实践中，绝大多数被机器收集到的数据，最终都沦为了“数据垃圾”——被忽略，甚至被定期删除。只有极少数关键变量被追踪和优化。那些“垃圾”里是否隐藏着提升效率、改进质量的关键信息？也许有，但没人知道，更没有工具去发现。
这就是为什么，当你兴冲冲地向一家制造企业推销你的“AI优化方案”时，往往会碰一鼻子灰。他们会很现实地告诉你：“我们没有你要的那个‘大’数据集。” 你根本无法理所当然地走进一家工厂，然后指望拿到一个“所有机器端到端的完整流程日志”文件。
即便是在一些非常现代化的初创制造公司，他们分析数据的最先进手段，可能也仅仅是“把数据导出成.csv文件，然后用Excel做点基本统计”。
为什么数据集成这么难？
想得到一个干净、标准、可供AI模型训练（甚至只是做基本分析）的数据集，你需要走完这四步：
获取数据
数字化数据（如果数据还在纸上）
标准化/“清洗”数据
搭建存储、查询和服务数据的计算基础设施
这其中，第一步和第三步是真正的难点，它们一个是“人的问题”，一个是“技术活”，但都极其耗费心力。
第一座大山：搞定人，比搞定技术难一百倍
“获取数据”听起来简单，但它本质上是一个与人斗智斗勇的社会学问题。直白点说，就是别人不想把数据给你。
作为一个软件供应商，你会发现，谈成一笔数百万美元的合同，可能都比拿到真正开展工作所需要的数据权限要容易。
为什么？
首先是无处不在的安全焦虑。 每个大公司都有严格的IT政策，规定了什么数据能给外人，什么样的网络权限是禁区。比如在半导体行业，每个人都对“工业间谍”有着理所当然的偏执。他们绝不可能把工厂的核心数据放到“云上”，甚至整个厂区都是与公网物理隔离的。芯片的在制品图片、生产流程的细节参数，都是最高商业机密。你必须满足一系列极其严苛的安全要求，才能让数据离开他们的“安全区”，或者让你的设备进入他们的“安全区”。
Sarah曾有过合作的一家公司，甚至要求潜在供应商在合同敲定前，自掏腰包超过100万美元，建造一个专门的、超级安全的房间来存放他们的数据。安全要求，就是可以这么夸张。
其次是更微妙的“办公室政治”。
恐惧与抵制： 有些人担心你这个“大数据”工具会取代他们的工作，或者让他们的业绩显得很难看，所以他们会想方设法地阻挠你。
部门壁垒： A部门就是不想和B部门共享数据，这是公司内部的“地盘之争”。
纯粹的麻烦： 有些人就是很忙，让他们抽出工作时间来配合一个外部供应商的部署工作，本身就是一种负担。
处理这种“人的问题”，是一项巨大且劳动密集的工作，其工作量与你试图整合的数据源数量成正比。
这恰恰解释了Palantir的成功秘诀。当我们上次讨论Palantir时，很多人可能认为它的核心竞争力是软件。但在Sarah看来，Palantir真正独特的地方在于，它投入了大量的人力，至少三分之一的员工去解决这个“人的问题”。
Palantir的“前线部署工程师”（Forward Deployed Engineer）会深入客户现场，他们的核心工作就是谈判以获取数据访问权限。他们的打法堪称经典，我们在之前的文章里也有所涉及，这里可以总结为一个“三明治”策略：
搞定高层： 只与面临“生存危机”的公司合作，因为此时CEO等高管最关心“活下去”、“多赚钱”这种公司级目标，他们有足够的权威和意愿来推动变革。
赢得一线： 通过提供极其好用的工具，真正帮助一线员工减轻负担、提升效率，和他们泡在一起，建立私人友谊。
上下夹击中层： 利用来自高层的行政命令（“你们必须配合！”）和来自一线的用户呼声（“我们想用这个新工具！”），来“挤压”那些最可能抵制的中间管理者（比如IT部门或内部数据科学团队的负责人，他们不希望外部供应商侵占自己的地盘）。
这套打法几乎无法被自动化，因为它需要大量高薪、思维敏捷、情商高超的“人类”去处理各种企业内部的“糟心事”。每个公司都有外人难以想象的、不合逻辑的“坏东西”存在。你要整合数据，就必须像个“企业侦探”一样，在每个人都表现得“专业且称职”、每个人对问题都有不同说辞的环境里，拼凑出事情的真相。
比如，Sarah曾经服务过的一个客户，他们有一个十人组成的数据科学部门，唯一的任务就是算出一个“风险分值”，然后发给另一个部门。但那个部门的负责人根本不信什么统计学，每次收到这个数字，就直接把它扔进了垃圾桶。这意味着，那十个数据科学家的全部工作产出，对公司来说毫无价值。这种“企业侦探”工作，真的非常非常难。
第二座大山：“垃圾数据”的漫长清洗之路
每个在一线工作过的数据科学家都会告诉你，他们80%的时间都花在了“数据清洗”上，而不是运行高大上的机器学习模型。
“数据清洗”是什么？
是删除数据里的逗号、统一日期格式、对数值进行归一化、用一致的方式填补缺失值……等等。更重要的是，你需要理解这些数据在现实世界里到底代表什么，这样你做出的每一个处理决策才不至于离谱。
数据清洗看起来没什么技术含量，但它出奇地难以自动化。因为数据“脏”的方式有无数种，你永远无法写一个万能程序来处理所有情况。
问题的关键在于，很多时候“合理的”处理方式取决于数据的“物理意义”，而这需要你咨询领域专家。举个例子：数据表里有两列数值完全一样。它们是因为重复记录了同一个传感器的输出（可以安全删除一列），还是因为它们代表两个不同的传感器，只是在这次运行中，恰好导致它们读数相同的某个设备设置被关闭了？
这个问题的答案，无法从数据集本身推断出来。你必须去了解那台物理机器。这种模糊性是软件本身无法解决的。
Sarah曾尝试用最新的大语言模型（LLM）来自动化部分清洗工作，但效果令人失望。她反复调整提示词（Prompt）让它修改文件格式所花的时间，比用正则表达式写个脚本还要长。也许未来会有更成熟的方案，但在当下，数据清洗和数据谈判一样，是一项需要大量工程师投入时间的劳动密集型工作。
这也是为什么像SAP、Salesforce、AWS这些大型企业软件公司，都有庞大的服务团队和第三方“合作伙伴”生态。他们的工作就是帮助客户完成软件的部署，这个过程可能长达一年甚至更久，核心就是在处理数据访问、数据标准化和数据迁移这些脏活累活。
结语：AI的落地，取决于“FDE”们的努力
理解了数据整合的艰难，我们就能得出一个清晰的结论：AI对实体经济的颠覆性影响，不会在一夜之间发生。
在消耗完互联网公开数据这些“低垂的果实”之后，AI要想在商业世界创造更大的价值，就必须深入到企业的核心业务数据中去。这意味着要进入半导体、制药、汽车、航空等研发和制造密集型行业。
这个过程必然是缓慢的。你需要为每一个客户，从零开始重复“数据谈判”和“数据清洗”的苦役；你需要通过一个个试点项目，逐步证明AI的价值，建立信任，最终说服企业赋予AI更大的权限。
这就像几十年前计算机在商业世界的普及过程一样。那场“数字化转型”是真实且伟大的，也创造了无数财富。但它并不是瞬间发生的。它以人类谈判和学习的速度前进——每个公司的管理者都需要独立决策是否采购电脑，每个部门的员工都需要学习如何使用新机器，每个应用场景都需要被单独开发和验证。
AI也是如此。我们无法跳过说服客户、克服内部阻力、为不同场景反复调试工具的艰苦过程。
所以，AI的价值毋庸置疑，但它的普及之路，是一场由无数细节和繁琐工作铺就的马拉松。在这场变革中，真正的英雄，或许不是那些在聚光灯下发布新算法的研究者，而是那些默默无闻、深入企业一线，像“管道工”一样疏通、清理、连接着数据管道的FDE工程师和顾问们。他们正在从事的，正是这场AI革命中最辛苦、也最不可或缺的工作。
