OG东方厅MAF直面OWASP LLM Top10威胁全景

颁布功夫 2025-02-21

"让每一句人机对话都安全可信，，，让每一次智能交互都风险可控——这是属于AI时期的安全承诺。。。 —— OG东方厅"


媒介：：：

随着天生式人为智能技术进入规�；；；媒锥�，，，大型说话模型（LLM）的安全防线正面对前所未有的挑战。。。本文将深刻分解当前大模型面对的关键安全风险，，，总结出大模型防护系统的技术挑战和解决蹊径。。。


安全威胁图鉴


OWASP的《大规模说话模型利用 Top 10》项目始于2023年，，，旨在凸起并解决与人为智能利用有关的安全问题。。。2025年更新的版本对现有风险有了更深档次理解，，，并纳入了LLM在现实利用中的最新重要进展。。。如下图：：：


图片1.jpg


一、、训练数据层风险


1.训练数据投毒攻击 (Training Data Poisoning Exploitation)


对训练数据进行恶意滋扰或篡改，，，导致模型学习谬误的模式，，，影响模型的机能和正确性。。。


2.过度依赖 (Excessive Feature Dependency)


模型在某些特点上存在过度依赖，，，导致其对异常输入或攻击阐发出脆弱性。。。


3.向量与嵌入弱点 (Embedding and Vector Representation Vulnerabilities)


模型的嵌入向量或数据表征存在弱点，，，攻击者可能利用这些弱点进行潜在的攻击。。。


4.虚伪信息 (Misinformation Dissemination)


模型天生的信息不正确或虚伪，，，导致误导用户或造成社会和安全问题。。。


5.不安全插件（Insecure Plugins）


集成的外部插件或模�？？榇嬖诜煜�，，，可能为攻击者提供未授权接见或执行恶意操作的蹊径。。。



二、、输入层安全风险


1.提醒注入攻击（Prompt Injection）


攻击者通过机关匹敌性提醒词突破系统预设指令，，，诱导模型扭转其行为或输出。。。


2.模型越狱风险（Model Jailbreaking）


越狱是一种特殊的提醒注入，，，攻击者提供输入，，，导致模型齐全忽视其已有的安全和谈。。。


3.过度代理风险 (Excessive Proxying Risks)


LLM 扩大鄙人游系统上占有超出利用法式预期操作所需的权限，，，例如一个本应只读取数据的扩大使用的账户不仅占有 SELECT 权限，，，还占有 UPDATE、、INSERT 和 DELETE 权限，，，可能衔接到数据库服务器。。。



三、、输出层安全风险


1.敏感信息泄露（Sensitive Information Disclosure）


模型在无意中天生输出，，，泄露敏感或机密数据，，，导致隐衷泄露和信息安全问题。。。


2.系统提醒泄露（System Prompt Leak）


攻击者通过逆向工程或其他伎俩获取模型的内部提醒信息，，，可能导致模型行为的不成控性。。。


3.不当输出处置（Insecure Output Handling）


LLM天生的输出被传递到其他组件和系统导致XSS、、CSRF、、SSRF、、RCE等。。。



四、、治理维度挑战


1.模型偷窃与滥用 (Model Theft and Unauthorized Replication)


通过逆向工程或其他伎俩窃取模型知识，，，造成知识产权损失或被恶意滥用。。。


2.回绝服务攻击 (Denial of Service Attack)


通过高强度要求或恶意输入，，，导致模型服务无法正常响应或出现系统崩溃。。。


3.供给链缝隙 (Supply Chain Integrity Vulnerabilities)


大型说话模型（LLM）的供给链容易受到多种缝隙的影响，，，这些缝隙可能会侵害训练数据、、模型和部署平台的齐全性。。。这些风险可能导致输出误差、、安全缝隙或系统故障。。。在传统软件缝隙中，，，我们通常关注代码缺点和依赖关系，，，但在机械学习（ML）领域，，，风险还扩大到了第三方预训练模型和数据。。。


针对上述风险/威胁图谱，，，风险重要可综合为两类：：：一类是LLM模型自身的固有风险，，，另一类模型与外部环境的交互则是大部门威胁的集中体现，，，会对用户的主题业务运行造成严重影响，，，如下表所示：：：


图片2.png


大模型防护系统的技术挑战及构建蹊径


面对LLM在外部交互环节的高风险性，，，用户亟需一套系统化的整体解决规划，，，以构建端到端的安全防护系统，，，确保业务的安全性和不变性。。。


在OG东方厅的综合安整个系中，，，MAF（Module Application Firewall）重要面向实时推理业务场景，，，通过在线部署&实时拦截模式，，，构建多维度安全防护机制，，，对输入输出内容进行深度安全检测与防护。。。


图片3.png


一、、 输入预处置


输入预处置是大模型防护系统中的重要环节，，，OG东方厅MAF通过预处置提升模型的效能和正确性，，，有效预防恶意输入带来的安全风险。。。


图片4.png


OG东方厅MAF将来自分歧感知通道的数据进行统一处置与融合。。。


? 特点级融合：：：通过提取每种模态的关键特点，，，并将这些特点向量归并为一个高维向量，，，供后续处置。。。


? 决策级融合：：：分歧模态的输出在决策层面进行融合。。。通过将各模态的预测了局进行加权归并，，，来提高模型的最终决策正确性。。。



二、、 输入安全治理系统


图片5.png


? DDos缓解：：：基于令牌机制的BOT检测，，，通过递进式验证确认，，，有效缓解回绝服务攻击。。。


? 外层高速匹配：：：基于SIMD加快技术的显式内容匹配，，，通过过滤拦截确定性敏感内容，，，放行确定性白流量。。。


? 中层语义分析：：：对可疑的对话内容，，，通过语料训练以及参数微调得到基于Transformer的神经网络模型，，，用来理解人类说话，，，进行高低文关联，，，鉴别隐式风险和复杂攻击模式。。。


? 深层精准研判：：：对高风险对话内容，，，基于专用检测大模型进行天然说话匹敌式分析，，，精准鉴别复杂逻辑框架下的提醒词注入等恶意输入。。。



三、、动态输出安全节制系统


OG东方厅MAF阻止敏感信息泄露、、误导性内容传布以及系统提醒词泄漏等问题，，，�；；；な菔涑龅陌踩�，，，提升模型与用户的交互质量，，，预防潜在的恶意信息输出。。。


? 敏感信息过滤与脱敏：：：通过先进的天然说话处置（NLP）技术和深度学习模型，，，OG东方厅MAF实现对敏感信息的精准鉴别与高效脱敏，，，支持对身份证、、手机号、、提醒词工程、、其他关键业务信息等内容的鉴别和代替。。。


? 系统提醒泄漏防护：：：启明MAF内置丰硕的系统语料库，，，并支持基于现实业务需要界说应防护的系统关键信息，，，以此构建大模型安全输出的坚实樊篱。。。


? 不当输出拦截：：：OG东方厅MAF实现对话式防御机制。。。分歧于传统伎俩的被动拦截，，，对话式拦截通过与大模型进行实时交互，，，自动疏导对话走向，，，鉴别并阻断潜在的攻击意图。。。


大模型安全防护需突破传统网络安全思想，，，成立适应天生式AI个性的新型防御范式。。。OG东方厅MAF大模型利用防火墙协助用户构建持续演进的大模型安全治理系统，，，从输入预处置、、输入安全治理到动态输出安全节制的端到端大模型防护战术，，，保险各类大模型利用和智能体业务安全靠得住的交付运行。。。