大语言模型

美国陆军“防御AI”新项目：AI、反AI、反反AI

2024 年 6 月 15 日

）

随着AI技术的不断进步，美军意识到可能要比预期更早地准备对抗自动化机器人军队。近期，美国陆军启动了为期100天的AI风险评估试点项目“防御AI”，旨在确保、强化和改进AI系统，并充分发挥其潜力。

PART.01

焦点：AI的可靠性

虽然美国国防部和军方在AI的使用上非常强调“伦理”以及确保人类在使用致命武力时保持“控制权”，但没人能保证潜在对手也会“守规矩”。这带来了前所未有的潜在风险，国防部对此高度关注，这也是美军着力优化AI、自动化和机器学习在作战行动和武器开发中的应用的原因。

尽管AI的优点已被广泛认可，但还有一个重要悖论不容忽视：AI系统的有效性取决于其数据库，那么当一个先进的AI系统遇到它以前未曾“见过”或处理过的情况时会发生什么？这无疑会带来“误报”或错误分析。为此，人类需要让AI变得更可靠。

在提升AI的可靠性方面，业界已经取得了很大进展。先进的算法现在可以通过分析“上下文”和周围的指标，来识别含义并准确分析看似未知的想法和事物。 例如，算法能够通过评估周围的词语来区分“foot ball”（足球）和“dance ball”（舞会）中意义不同的”ball“，从而准确评估概念框架。AI驱动的“分析”越来越快，下一个目标是开发出一个可以进行接近“实时”分析的系统，并对已知或看似未知的指标做出可靠而准确的判断。

PART.02

美国陆军“防御AI”项目

美国陆军一直在试图解决AI可靠性的问题，并正在推进与之相关的下一步工作——“防御”AI免受攻击。作为首个在其五年预算规划（POM）中规划实际AI项目的军事部门，陆军启动了一个为期100天的AI风险评估试点项目，以强化和改进AI系统，并发挥AI的潜力。

美国陆军副助理部长Young Bang表示，在100天的计划实施之后，还会有一个500天的计划。这个大规模、多层次项目的核心，是激励工业界开发能够整合到陆军和国防部系统中的算法，以支持安全系统和“分层”防御网络。这个项目名为“防御AI”（Defend AI）。

Young Bang解释称，“我们如何帮助工业界更快地采用第三方算法？如果我们开发算法，或者我们要求工业界带着我们的数据集进入我们的安全环境，就需要一个流程。我们意识到，工业界在开发出色的算法方面比陆军或国防部要好得多。我们希望更快地采用这些算法，这样就可以基于风险做出决定，将其放在一个封闭系统中进行自动化处理，以便实际识别我们的已知风险”。

PART.03

路径：AI与人机整合

“防御AI”项目强调整合人类和机器能力的重要性。除了美国国防部关于致命武器的使用要求人类参与的原则外，陆军技术开发人员也认识到，某些高级AI计算无法复制人类意识中的一些关键但更为主观的现象。伦理、直觉、道德、意识、情感，这些只是决策过程中许多独特人类属性中的一部分，对于作战行动和决策而言，它们全都至关重要。数学生成的算法能否复制它们？

上述的变量和问题可能影响了陆军部长克里斯汀·沃莫斯（Christine Wormuth）最近发布的人机界面指令。该指令旨在确定和优化高速机器和人类决策之间的必要平衡。

这种平衡在拯救生命和增强战力的领域中尤其重要。近期，陆军展示了一项突破性技术，使用AI和自动化指令，安全快速地将武器移动到攻击位置，并准备快速射击。陆军武器开发人员称之为“自主多域发射器”（Autonomous Multi-Domain Launcher，简称AML）。陆军方面在一篇关于AML实弹射击的文章中称，这次演习展示了发射器能够从隐藏位置独立移动到发射点、根据指令调整方向并接收来自远程炮手的火控命令的能力。

PART.04

目标：防御AI免受攻击

确保AI系统能够分析、区分、组织和有效传输时间敏感的作战情报至关重要，但陆军也开始考虑如何防御AI免受攻击、欺骗和其他高科技干扰，以避免误报或灾难性的错误。考虑到这一点，陆军的“防御AI”项目会开发可以识别和阻止对AI系统实施攻击或“欺骗”尝试的“反制措施”。通过分析多个变量和指标之间的相互关系可以提高防御的有效性。例如，在识别目标时，除了光电或视觉指示之外，敌方目标可能还存在声音或热特征，这些都是可能影响AI系统免受敌方攻击的因素。总而言之，这一项目关注的不仅是AI，还有“反AI”（counter AI）和“反反AI”（counter to counter AI）。

PART.05

前景：无人干预的AI

美国国防部武器开发人员还在关注另一个重要领域：纯“自主”或“无人干预”AI在纯防御性、非致命目的（如无人机和巡航导弹防御）中的应用前景。其中涉及到很多关键问题，比如：

AI是否应该能够即时确定特定威胁或目标不涉及人类，并可以用非致命武力击败或“拦截”？
在应对来袭导弹、迫击炮、火箭、无人系统或无人机群攻击时，高速处理和AI驱动的防御能否发挥效用？
AI能否准确做出决定？如果出现误报或错误识别怎么办？

未来可能会出现纯粹用于非致命和防御目的的无人干预AI，作为快速应对敌方攻击的一种快速救生方式。正因为上述这些问题悬而未决，美军正在快速推进AI的使用和优化，同时优先考虑伦理规范并防范“意外使用”。尽管AI在军事方面的应用潜力尚未完全展现，但无论何时，优先考虑伦理、原则和安全相关的变量都是“防御AI”的核心理念。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

美国陆军“防御AI”新项目：AI、反AI、反反AI

立即咨询 JOTO

想把这些做法用到你的业务里?

开启企业级 AI 落地

填写需求单