讨论大模型在安全领域的积极与恶意应用

大模型（LLM，Large Language Model）本质是拥有巨量参数的语言模型，经过足够的训练后，能够理解和处理人类语言，帮助解决各个领域的问题。安全工作者也在挖掘大模型的潜力，利用其帮助处理日常工作，包括代码审计，漏洞挖掘，恶意软件分析等。同时，大模型也成为黑客的有力工具，给网络安全带来了一些负面影响。

LLM通过学习大量的代码和示例，能够在软件生命周期的各个阶段提供帮助，包括安全编码，测试用例生成，漏洞检测及修复等。

由于学习了大量的样本代码以及安全最佳实践，基于LLM的编程助手能够生成更规范的代码，避免常见的安全漏洞，减少新安全漏洞引入的几率。很多漏洞本质上都是编码不规范引起的（比如内存使用不合理，序列化反序列化不一致等），LLM对于安全编码规范的遵循可以有效避免这种情况。

将LLM用于生成测试用例，是目前安全界探索的一个重要方向。研究表明，相比传统方法，LLM生成的测试用例有更高的覆盖率，可以更有效的测试软件供应链攻击。模糊测试（fuzzing）是业界广泛使用的生成测试用例以及挖掘漏洞的技术，引入LLM辅助后，利用其自然语言理解能力，可以更加高效的生成以及针对性的修改测试用例，提升测试效率和测试覆盖率。

现有的静态代码扫描工具基本都依赖人工维护的规则集，LLM可以帮助生成和修改相关的规则，减少人工编写和维护的成本。传统工具对代码的语义理解有限，仅能根据规则或者模式匹配来寻找漏洞，而LLM可以理解代码，因此，将LLM应用在扫描中，可以检测一些更复杂的攻击场景。

图1展示了各个不同的模型拥有的代码安全相关的能力强化，可以看出，目前的LLM还是各有侧重，还没有出现涵盖整个软件生命周期的全能型大模型。

恶意软件是现代网络安全中一个重大的威胁，快速且准确的识别恶意软件可以帮助保护系统、数据的隐私和安全。

传统的检测工具常常依赖于静态签名或者特定的规则，LLM通过学习大量的恶意软件样本，提取常见的恶意代码模式和行为特征，在面对新的变种时，可以帮助安全人员实现更快速和高效的分析。

代码混淆是恶意软件规避检测的主要方法之一，让LLM学习大量的反混淆方法后，可以将其用于分析混淆后的代码，判断软件真实意图，并帮助恢复恶意软件的原始逻辑。

LLM可以整合多个维度的数据进行综合分析，常规的检测手段比如NIDS（Network-based Intrusion Detection System，网络入侵检测系统）和HIDS（Host-based Intrusion Detection System，主机入侵检测系统）是相互独立的，LLM可以处理两边的数据，同时对系统事件和网络流量做分析，更加全面的识别恶意软件运行时的行为，提取特征。

网络钓鱼是恶意攻击者常用的手段之一，通过伪造高相似度的网站和电子邮件，欺骗受害者输入敏感信息，从而实现账户盗用等恶意行为。LLM可以有效识别带有钓鱼内容的网站和钓鱼邮件，保护用户隐私。

PII（Personally Identifiable Information，个人身份信息）检测是隐私泄露检测的一个重要组成部分。常规的检测手段大部分是基于正则匹配或者规则，这些都需要人工维护，容易有遗漏和误报。LLM拥有强大的上下文理解能力，能结合上下文更好的判断信息是否是PII。同时，LLM可以实现跨语言的检测，而不需要为不同的语言配置不同的规则。

虽然LLM带来了许多安全性的提升，但其强大的能力也被用于恶意行为，引发了新的安全威胁。图2中紫色框展示了LLM可以参与攻击的部分，可以看到在各个维度LLM都有可使用的场景。

虽然LLM无法直接访问操作系统或硬件，但它们可以通过分析操作系统信息来协助攻击者实施攻击。研究显示，LLM能够协助自动化提权攻击，帮助攻击者发现系统漏洞并执行恶意操作。攻击者输入系统信息后，LLM能够分析系统上存在的漏洞并给出可行的攻击方案。LLM还可能被用于攻击网络基础设施，模拟和部署复杂的网络钓鱼和中间人攻击。

LLM拥有强大的编程能力，可以帮助生成恶意软件。直接让LLM生成恶意软件通常会被底层的安全措施拦截，但是可以通过拆解软件功能，利用简单的提示生成不同部分的代码，最终生成完整的恶意软件，如勒索软件或网络蠕虫。为了逃避检测，还可以利用LLM重写恶意软件代码，经过LLM修改的代码可能会改变原有的二进制特征，使其更难以被传统的防病毒软件检测。随着LLM生成代码能力的提升，这种恶意应用的风险可能会进一步扩大。

LLM生成逼真文本和推理的能力，可以被恶意利用。最常见的应用是社会工程攻击，如钓鱼攻击和信息误导。攻击者可以利用LLM分析已知信息，推断受害者的隐私信息；可以生成高度真实的虚假邮件或消息，诱使受害者泄露个人信息或点击恶意链接。此外，LLM还能被用于生成虚假新闻或不实信息，进一步扩大信息操控的范围。

LLM在安全领域具有巨大的潜力，但同时也带来了新的挑战。我们需要在利用LLM的积极应用的同时，警惕其潜在的恶意应用，并采取有效的防御措施。通过不断的研究和创新，我们可以更好地利用LLM，为构建更安全的数字世界做出贡献。