英国网络安全机构警告AI大语言模型风险_程序开发

创始人

2025-06-30 12:21:02

0次

英国国家网络安全中心（NCSC）概述了为企业集成人工智能驱动的大语言模型（LLM）的风险，并警告开发人员仍未完全掌握系统的弱点和漏洞。

在一篇博文中，该安全机构承认，自2022年OpenAI的ChatGPT发布以来，大语言模型一直吸引着全球的兴趣和好奇心，导致所有行业的组织都在研究将该技术用于他们的业务。

然而，作为一个快速发展的领域，NCSC专家发现，在一个不确定的市场中模型是不断更新的。这可能意味着一家现今提供服务的初创企业可能在两年后就不复存在了。

因此，使用大语言模型构建业务的组织需要考虑这样一个事实，即模型可能会在所使用的API背后发生变化，从而导致集成的关键部分在某个时候停止存在。

该机构进一步指出，大语言模型在嵌入组织的业务流程时可能会带来一定的风险，研究人员发现大语言模型“本质上无法区分指令和为帮助完成指令而提供的数据”。

NCSC举例称，如果输入的提示结构正确，银行使用的AI聊天机器人可能会被骗向攻击者汇款或进行未经授权的交易。

“使用大语言模型构建业务的组织需要小心，就像他们使用处于测试阶段的产品或代码库一样。”NCSC补充道。