新研究揭示允许数据窃取和DoS攻击的Text-to-SQL模型漏洞

一组学者展示了利用 Text-to-SQL 模型生成恶意代码的新型攻击，这些恶意代码可能使对手能够收集敏感信息并发起拒绝服务 (DoS) 攻击。

谢菲尔德大学研究员Xutan Peng说：“为了更好地与用户交互，大量的数据库应用程序采用了 AI 技术，可以将人类问题转化为 SQL 查询（即Text-to-SQL）。”

Text-to-SQL是一项将用户用自然语言说出的查询自动翻译成 SQL 的任务。因为我们生活中的绝大多数数据都存储在关系数据库中，解决这个问题非常有价值和意义。事实上，医疗保健、金融服务和销售行业专门使用关系数据库。意味着不能承受丢失事务的行业只能使用关系数据库。（你可能会冒着丢失社交媒体评论的风险，但你不想冒丢失信用卡交易记录的风险。）此外，编写 SQL 查询可能会让非技术用户望而却步。比尔盖茨注意到了这个问题，他自己写下了 105 个问题，希望机器能够回答给定的企业数据库。如果我们能让人们使用自然语言或语音直接与大型企业数据库交互，那将非常有用。

“我们发现，通过询问一些特别设计的问题，破解者可以欺骗 Text-to-SQL 模型来生成恶意代码。由于此类代码会在数据库上自动执行，因此后果可能非常严重（例如，数据泄露和 DoS 攻击） ”

这些发现针对两个商业解决方案BAIDU-UNIT和AI2sql进行了验证，标志着自然语言处理 (NLP) 模型在野外被用作攻击媒介的第一个实证实例。

黑盒攻击类似于SQL 注入错误，其中在输入问题中嵌入流氓负载会被复制到构造的 SQL 查询中，从而导致意外结果。

研究发现，特制的有效负载可以被武器化以运行恶意 SQL 查询，进而允许攻击者修改后端数据库并对服务器进行 DoS 攻击。

此外，第二类攻击探讨了破坏各种预训练语言模型 ( PLM ) 的可能性——这些模型已经使用大型数据集进行训练，同时对它们所应用的用例保持不可知——以触发恶意命令的生成基于某些触发器。

研究人员解释说：“有很多方法可以通过使训练样本中毒来在基于 PLM 的框架中植入后门，例如进行单词替换、设计特殊提示和改变句子样式。”

使用恶意样本中毒的语料库对四种不同的开源模型（BART-BASE、BART-LARGE、T5-BASE和T5-3B）进行的后门攻击达到了 100% 的成功率，并且对性能的影响很小，使得此类问题成为可能在现实世界中很难检测到。

作为缓解措施，研究人员建议合并分类器以检查输入中的可疑字符串，评估现成的模型以防止供应链威胁，并遵守良好的软件工程实践。

>>>等级保护<<<

开启等级保护之路：GB 17859网络安全等级保护上位标准

网络安全等级保护：等级保护测评过程及各方责任

网络安全等级保护：政务计算机终端核心配置规范思维导图