为什么许多 AI 产品在内测时表现良好，一旦交付客户后就会 “翻车” ？
在「DeepTalk」第三个系列话题栏目「AI 落地实战」对话中，崔牛会创始人 & CEO 崔强，与北森联合创始人 & CEO 纪伟国，围绕 “AI 产品上线第一仗：从内测到客户交付的那些坑” 这一主题展开了深度对话。
纪伟国认为：第一，AI 产品在从 0 到 1 阶段，最大的挑战是难以有效匹配客户业务场景，因此 AI 产品经理应当在一线围绕客户业务场景做产品，并根据客户需求快速迭代；
第二，AI 产品成功的关键是以客户为中心理解客户业务，以及将行业 Know-how 融入产品；
第三，AI Agent 最终会走向客户的自定义，未来客户化工作将可能较重；
第四，在 AI 产品的打磨中，耐心非常重要，要确保产品成熟后再进行规模化销售。
以下是经牛透社编辑整理的对话内容：（有删减）
01
AI 上线第一仗
崔强：现在大家看到 AI 在 ToB 领域比较热，但接下来可能会较快进入一个理性的状态，其中一个常见问题是：大家没有找对场景，所以交付后才会出现各种问题。
北森的 AI 产品，已经有相对规模化的收入了。北森在 AI 实践中，包括前段时间发布的 AI Learning，在产品的交付过程中，经历了哪些关键挑战，有哪些经验？
纪伟国：2023 年下半年，北森做过很多 AI 产品，却收不上钱来。因此，我们在 2024 年，做了以下几个假设和转变：
第一，必须做能收费的 AI 产品；
第二，能收费的 AI 产品，应该是一个端到端的场景，能把客户某个问题端到端地解决掉才行。
所以，当时我们在战略上选择了 7 个 Agent：AI 招聘助手、 AI 面试官、AI 员工助手、AI 做课、AI 陪练、AI 领导力教练、AI 测评。
在这个过程中，我们也对北森的 IPD 研发流程做了微调。
这么做的主要原因，是 AI 产品的复杂性远低于软件产品，研发成本也低很多，而且面向的都是非常具象化的场景。所以，首先我们把研发分成几段，并且要求快速迭代，将迭代周期缩短为两到三周。
第二，产品经理到一线围绕客户做产品，把交付分为 “从 0 到 1” 和 “从 1 到 N” 两个阶段。一旦产品内测成功，就进入 “从 0 到 1” 的可用性验证阶段。这个阶段都是产品经理自己销售和交付，紧贴客户业务场景落地，可以让产品经理看到产品在客户侧的真实应用反馈，要确保 “1” 的实现：即产品在客户那里能用起来，并且可以通过评审，进入 “从 1 到 N” 的阶段。
在 “从 1 到 N” 阶段，前线人员可以基于客户画像筛选匹配的客户进行销售，做一定的交付支撑，确保早期客户的应用效果和应用粘性；
大概到了 50家~100家 客户，确认了市场空间、竞品价格、目标客户、目标场景、交付和营销方式等方面，才会进入规模化销售阶段。
在 “从 0 到 1” 阶段，最大的一个挑战是 AI 产品做出来之后，到客户那里仍然会出现很多未知的场景，客户在应用时会发现产品和业务场景匹配不上，产品就会 “翻车”。
而且产品在交付给客户后，还需要快速迭代。北森的 AI 面试官，做到了两周一次迭代。
要应对以上挑战，关键是产品经理要上前线，围绕客户业务场景做产品，并根据客户的需求和反馈快速迭代产品。
崔强：怎样判断客户愿意为一个 AI 应用场景付费？
纪伟国：在产品的设计和定位上，它应该是一个独立收费的 AI 产品，解决了某个独立的、高价值业务场景（如 AI 面试官）问题，而不是一个原来产品功能的延伸或叠加。
因为叠加在原有产品里的功能点、价值点通常都比较小，很难让客户愿意单独付费。
崔强：在 AI 产品内测过程中，一般会遇到哪些问题？
纪伟国：还是以 AI 面试官为例。北森是从校招场景开始的，但切入之后发现，只有做了才能知道客户的业务场景，而且这些业务场景大都和大模型的关联不多，例如：客户要测纹身，色盲，客户会测试对比等等。
北森的 AI 面试官，大概 50% 的研发都和大模型没有太大关系，更多的是围绕客户业务场景，为了解决业务问题而填补客户需求上的空缺。
崔强：这里面其实技术门槛并没有那么高，真正的门槛是从客户的业务场景中理解客户需求。
纪伟国：是的。
第一，理解客户的业务场景是很难的，每个客户都有很多需求，只有客户够多，才能知道哪些是共性需求。所以，第一大挑战，是以客户为中心理解客户业务；
第二，无论什么产品，都要融入行业 Know-how ，对行业 Know-how 的理解是产品成功的另一个关键。在这个过程中，代码技术和大模型反而显得不太关键。
以 AI 面试为例，把 AI 训练得 "懂面试" 这件事的前提是在当下 AI 大模型的通用能力基础上，训练 AI 的人本身就是面试专家，这点很重要。
北森上百名测评顾问都转型做提示词工程师的背后，就是在把不同岗位的能力模型要求是什么、怎么在不同考察维度上让 AI 问出高质量的问题，并基于行为面试法让 AI 实时三层智能追问，并且结合结果-过程和动机科学评分，经过过程中上百次训练过程调整，才得到一个经验丰富、达到专业面试官水平的 AI 面试官。
崔强：前几天和白鸦（有赞创始人）聊，他觉得行业 Know- how 重要，但更重要的是行业 Know- how 可以被数字化，可以被大模型学习或者理解。你怎么看这个问题？
纪伟国：人力资源的终极目标，首先，是明确岗位对人的要求；第二，是怎么评估人的能力；第三，是如何发展人的能力。
所以，人力资源是一个偏人文或者平衡性的领域，并不是非常容易量化的，它更依赖于多年的经验积累，而且这种经验往往是储存于专家头脑中的，以往我们是拿不出来的。
现在，可以将这些经验输入大模型，变成可固化的产品，这和白鸦讲的有些类似：它不是一个比较固化的知识，而是一个行业 Know- how，是一个动态、可理解的东西。
崔强：在 AI 功能里，是不是也有一个可以跑起来的最小版本？这个最小版本怎样才算合格，是可以交付给客户上线使用的？
纪伟国：我不太理解这个最小版本的定义，我理解的是最小场景。
首先，一定要解决一个端到端的具体场景。AI 面试官首先做的是校招场景，去年 11 月份我们才开始做蓝领招聘场景。我认为一定要把一个场景做扎实，端到端地把一个业务链条解决掉，才能进入另外一个场景，否则就没有意义。
整个校招场景中，有没有一个最小版本？
我认为是没有的，因为我们是要把客户的整个问题解决掉的。比如，客户会要求你把校园招聘的第一轮面试全部取代掉，如果取代不了，客户是不会买单的。
所以，我理解没有所谓的最小版本，只能是选一个场景做深做透，再去做下一个。
崔强：在客户交付过程中，你们内部首先要达到什么样的预期之后，产品才能上线接受客户的 “检阅”，这里有没有一定的原则？
纪伟国：原型产品出来以后，我们立刻会让先锋客户使用，这个过程中一定会有客户对产品的反馈，如果发现客户的反馈你根本解决不了，这时就需要果断放弃，比如我们的 AI 测评产品就是这样。
从这个角度看，我们是不太管理客户预期的。而且 AI 类产品，客户肯定是会去体验的。如果不达预期，他们也不会再用。
这里有两种情况：第一，如果大模型技术很难达到客户预期，需要立刻停止，不要再投入了；第二，如果要投入巨大的成本才能达成客户预期，可以先放一放，先做容易做的。
崔强：客户对不确定的东西永远会焦虑。在实践中，客户对于大模型幻觉、泛化的忍受程度是怎样的？
纪伟国：让大模型做一些精确性的东西确实比较难，所以，这类场景我们就不做了。这个过程中，关键还是要利用大模型比较擅长的自然语言能力。
所以，我们选择场景，首先要考虑如何利用大模型的优势，来解决人力资源场景中的问题。
02
回到业务场景
崔强：你怎么看大模型技术的发展对目前企业软件行业的影响？
纪伟国：我做大模型至今快一年半了，前 6 个月并没有太多感觉，但 6 个月以后的每个季度，都在刷新我对这件事情的认知。
我发现大模型有很多地方，比如今年我们推出的 AI 学习助手，的确是可以发挥巨大价值的。同时，我也看到一些前端营销类的 AI Agent，有很多是偏 C 端的，它们做得非常好，并且在拓展海外市场。
作为管理软件，我们去年推出了 7 个 Agent，有一个失败了。今年我们又推出 4 个，加在一起共 10 个，未来我们还会推出新的 Agent。
最初我并没想到人力资源领域会需要这么多的 Agent，虽然我们已经非常克制，但我觉得可以做的东西还有很多。
随着 AI 技术的发展，也可能产生很多新的东西来。所以，现在我是抱着非常开放的心态拥抱 AI 技术，接受它对业务的颠覆。
既然技术变了，我们跟着去变就对了。
崔强：客户需要的并不是炫技，而是要解决问题。目前，我们会看到一些 AI 过于追求炫技的感觉，对此你有什么看法？
纪伟国：以客服场景为例。去年我们试了大半年，想用 AI 客服来解决北森人力资源软件的客服问题，但这很难，主要是因为我们的产品过于复杂。
举个例子，如果你问 “我的工资为啥少了 5 块”，AI 肯定是回答不了的。但是我们也看到很多银行、航空公司都在大量地使用 AI 客服。
虽然用户的体验并不好，但为什么还要用它呢？
这说明对于这类客户而言，它的价值依然很大，可以有效解决客服成本的问题。所以，从商业上看，它就很成功。
未来几年，AI 还可以变得越来越好。
崔强：北森的 AI 产品在上线时，会给客户做大量的按需提示词优化工作吗？
纪伟国：最初，我认为 AI Agent 应该是标品，但今天看来，它最终会走向客户的自定义。
以 AI 面试官为例，客户要招聘什么岗位，自己是最清楚的，客户需要把自己的面试题目、评价标准等资料放进 AI 产品。最终很可能发展成客户把自己的东西放进产品，产品走向自定义。
所以，将来客户化可能是一个比较重的工作，北森现在也做了很多的客户化。
崔强：仅仅为客户提供工具是不够的，还要能被客户 “自定义” 成自己的产品。这意味着产品要有客户的行业属性，行业 Know-how 以及适应相关的业务流程等。
但这样一来，实施成本会不会变得很高？
纪伟国：我们为客户提供两类实施服务：一类是轻量级的，主要包括简单的培训以及岗位交流，帮客户完成配置；另一类是深度定制。这两类实施服务的成本，要比软件的实施服务低很多。
北森有两类实施顾问：一类是软件的实施顾问；另外一类是能力评估和发展技术（People Science）方向的实施顾问，与之对应的是偏心理学方面的学者或者人力资源专家。在北森写提示词的正是这类的专家，它非常依赖于专家们的知识萃取能力。
当然，传统管理软件厂商做不了这个事情，因为它已经脱离软件范畴了。北森是做人力资源测评出身的，我们有自己人力资源方面的专业技术和 Know-how，具备这样的专业能力，也是我们一个非常大的差异化。
崔强：虽然它还是工具，但背后所需人的能力在发生变化，不是软件工程师和软件实施服务商可以解决的问题了。
纪伟国：是的，问题往往不在软件技术上。
举一个场景，比如 AI 陪练产品，要让对话做到非常贴合业务。有的客户让 IT 工程师和销售结对子，来写提示词，做自己公司的 AI 陪练产品，发现效果不好，为什么？
因为这里首先要回答什么是销售能力？是沟通能力、谈判能力、人际能力，还是其它什么能力？这个能力如何训练、发展？
软件工程师和销售两个人搞不定这个事情，这些都需要专业背景的专家来做。一般的人力资源部门是没有这样的专家的，需要专业公司来做。
崔强：软件企业做 AI，是不是在已有系统的基础上修修补补？
纪伟国：北森并不是完全只从软件角度考虑，而是从大模型能力和人力资源的业务角度出发，去思考自己能做什么。
我们做的 AI 陪练、 AI 面试官，是可以脱离我们的软件独立运行的。但是 AI 面试助手、AI 简历筛选，又和软件连在一起。
所以，建议大家不要总想着软件，而是要回到客户业务的角度，回到大模型能力的角度，把这两方面结合起来考虑。
崔强：做 AI 产品是不是要配套使用顾问？刚才你提到要做一些培训工作，这个培训工作会做到什么程度？有一定的标准吗？
纪伟国：我们有两类，第一类是实施顾问，第二类是客户成功经理，类似于你提到的使用顾问。
实施顾问，项目启动时会与客户做一个简单的访谈，将系统内相关的能力配置好，让客户可以使用起来。如果客户需要做客户化，我们还会做更重的服务，收部分实施费。
在上线后，由客户成功经理接手，客户方可能换人或者出现一些新的业务需求，客户成功经理可以及时响应、培训客户。
AI 陪练、AI 领导力教练会有简单的产品培训，很容易上手。
崔强：怎么发现适合 AI 应用的场景，如何界定一个场景是否适应 AI 化？有具体的评定指标吗？
纪伟国：没有。
AI 面试官在美国也非常受欢迎，所以选择 AI 面试官这个方向也是比较清晰的。
AI 陪练是一个传统场景，大模型来了之后，我们将它重做了一遍。
AI 领导力教练这个场景，北森之前做过两代类似产品（和 AI 无关），都失败了，我们对客户的业务场景是有一定的认知深度的，所以用 AI 做这些场景就会比较快。
崔强：卖 SaaS 与 卖 AI 产品的区别是什么？卖 AI 产品，销售要如何转型？
纪伟国：销售转型是要花一定时间的。首先，销售理解 AI 产品，知道如何与客户沟通，需要一定的时间周期，这个过程也需要有人带他们去做。
此外，整理业务场景、销售培训、成功案例积累、卖点梳理和话术设计，如何试测等，这些全都要标准化下来，最后才是销售规模化阶段，以上是需要一个过程的。
卖 SaaS 与 卖 AI 产品的区别，在于软件产品更复杂，客户无法试测，只能通过 POC 来验证。此外，还有复杂的竞标过程。
但 AI 产品的销售链条很短，一般客户试测完了就能决策。
以往客户买软件需要 IT 部门参与，但买 Agent 的话，客户可能并不认为是在买软件，所以很多情况下，可能就不需要经过 IT 部门了。
03
AI 转型路径
崔强：传统 SaaS 公司转型 AI 公司，有哪些具体路径？
纪伟国：这个是有路径的。现在 SaaS 公司不做 AI 已经不行了。
最近我谈了好几个超大金额的单子，客户公司都有这样的规定：如果产品不是 AI 相关的，就不允许购买了，这是一个客户需求端一个非常大的变化。
对于 SaaS 公司来说，首先，公司中要有人能够真正理解大模型可以做什么，它的能力优势和短板，以及 RAG 、向量等相关知识。
其次，要理解公司所处的业务，理解整个业务链。这里要做的是把软件忘掉，要洞察业务链条中哪些是客户比较痛的地方？在这些痛点中，哪些比较适合用大模型解决，成本比较低，客户有付费意愿，而且是一个端到端的场景，找到这样的机会点：
第一步，要做出原型产品，并且立刻找到客户使用，客户反馈将刷新你的认知，指导你快速迭代产品。围绕客户做到一定程度，当 8家～10家 客户已经用起来，就过了产品可用性阶段。
第二步，开始收取客户一定费用（不要太高），继续投入研发，快速跟随客户迭代。直到你判断产品已经领先竞争对手，客户愿意支付费用，同时也搞清楚了如何快速交付，这就过了商业化验证阶段。
然后开始进入第三步：规模化销售阶段，让销售团队快速推进。
做完以上三个阶段，AI 产品可以与软件协同销售，软件的差异化也随之出来了。
崔强：AI 产品如何定价，北森现在的定价逻辑是怎样的？
纪伟国：最近大家总是在提按结果付费，我也认真研究了 Salesforce 、ServiceNow、Workday 的案例，它们主要是按照席位，或者按照对话量收取订阅费。
比如一个客服 Agent，可以省掉一个客服人员，该客服人员的工资是 10 万美金，以此收取 20% 的费用就是 2 万美金。这 2 万美金要如何定价？
可能是一个席位卖 2 万美金，或者一个客户一天回 50 个对话，一个对话收费 2 美金，等等。
北森的 AI 面试官是按面试的人数收费。AI 陪练、AI 领导力教练、AI 学习助理是按席位收取订阅费，这也是北森目前主要的收费模式。
崔强：从内测到真正交付的过程中，你遇到比较大的挑战是什么，有没有这样的案例？
纪伟国：AI 产品交付过程和软件有很大的不同，挑战也不一样，AI 产品交付对交付人员对于专业技能的要求和对于 AI 大模型技术的理解深度都有要求。
一开始我们让软件交付的同学去做交付 AI 面试官和 AI 领导力教练，发现客户不满意，交付不了。后来用测评的同学去交付，就会很成功!
AI 产品的设计到交付，都需要足够的业务专业性和对 AI 的理解，否则产品的效果会打折扣！
崔强：在从内测到客户上线交付的过程中，还有哪些最容易犯的错误，可以供正在进行 AI 转型，或者一些 AI 创业公司所参考的？
纪伟国：第一个典型错误，是做出一个 AI Agent 出来，就认为客户会买了，但实际上做出的这个产品能覆盖 50% 的客户业务场景就不错了。
因为和客户磨产品需要很长时间，我们每个 Agent 从做出来，到过了可用性验证阶段，基本上都需要 6 个月以上的时间。所以：
第一，是要有耐心；
第二，不要把 AI 理解成一个技术创新或者变革，而是应当理解成一个解决某个业务问题的应用。不要把 AI 看得那么神秘，它的研发门槛不高，但是理解业务，做一个能够解决客户业务问题的应用其实挺难的；
第三，产品一定要确保比较成熟时再交给销售，否则很容易就会乱套。我们的 AI 产品到销售、交付环节的节奏都很慢。比如：产品从 0 到 1 做出来需要 3 个月，过可用性验证还需要 6 个月，到规模化销售，可能再需要 6 个月。所以，耐心非常重要。
崔强：未来在不同岗位、不同角色可能会出现许多 Agent，是否按结果付费还无法确定，这一定是需要一个过程的。
虽然，为结果付费可能是未来的一个目标，但现在如果大家都一刀切地追求按结果付费，就可能是一种偏执了。
至少现在绝大多数 SaaS 或者企业软件是不能切换到按结果付费逻辑来的，未来也许有 1% 的企业可能做到，让我们拭目以待。
在这个过程中也希望能看到更多成功的 AI Agent 在我们身边绽放，改变我们的生活，帮助客户解决问题，谢谢大家。
纪伟国：谢谢大家，谢谢崔牛会。
