【读论文-002】Generating Natural Language Adversarial Examples through ProbabilityWeightedWord Saliency

发布时间:2021-09-27 18:20:47

论文地址:https://www.aclweb.org/anthology/P19-1103/,发表于第57届计算语言学协会年会论文集(2019年7月28日至8月2日)的第1085-1097页。


目录


论文主要工作


已有的工作


创新性


具体方法


问题


对抗样本示例


单词替换


候选词选择


替换策略


效果


评价



论文主要工作

在产生对抗样本,保持词法,语法的正确性和语义的相似性。提出了一种全新的方法:在同义词替换策略的基础上,引入了一种新的由词显著性和分类概率决定的词替换顺序,从而提出了一种用于文本对抗攻击的名为概率加权词显著性的贪婪算法(PWWS)。并在三个流行的卷积和LSTM模型的数据集上进行实验,结果表明,PWWS在最大程度上降低了分类精度,并保持了很低的词替换率。同时,产生的样本质量较好,可以增强模型的鲁棒性,且攻击方法具有良好的可移植性。


已有的工作

对于对抗攻击,在图像方面已经有了很多的很成熟的研究,但由于文本的离散型,图像方面的攻击方法无法直接转化为NLP攻击。一般的方法是在单词级别或字符级别修改原始样本,以实现对抗性攻击。目前已有一些攻击方法,但是大多相关研究在修改率、攻击成功率、词法和语法正确性以及语义相似度的维护等方面仍有很大的改进空间。在同义词替换策略的基础上,我们提出了一种新的黑盒攻击方法PWWS。


创新性

概率加权法单词显著性(PWWS),既考虑单词显著性,又考虑分类概率。分类概率的变化值用来衡量替代词的攻击效果,而词的显著性则反映了原词对分类的影响程度。以词显著性加权的分类概率的变化值决定了最终的替代词和替换顺序。


具体方法
问题

对于文本分类,有输入空间X,包含了所有可能的输入文本,一个输出空间Y,包含了K个可能的标签。分类器要做的就是学*X到Y的映射。


对抗样本示例

分类器F能够通过最大后验概率将文本x分类为正确的y。



攻击时给x加上一个微小扰动△x,将扰动后的攻击样本记为x*。攻击样本满足下列条件:



对扰动△x也有一定的约束:



公式中的w是样本x的单词或字符。除了上面的公式外,对抗样本还要满足词汇,语法,和语义上的限制,使人类无法察觉样本是否添加了扰动。


单词替换
候选词选择

对样本x中的每一个单词w,使用WordNet来建立一个同义词组。如果w是一个命名实体的话,选择的同义词需要与w同类。从同义词组中选择一个词w’来替换w,得到样本x’,替换前和替换后的分类概率之间的变化来表示w’的攻击效果。找的攻击效果最佳的词,将其记为x*。公式描述如下:




替换策略

对于一个句子中不同单词对最终分类的影响,用单词显著性(word saliency)来评价。单词显著性的含义是如果一个词被设为未知,分类器输出概率的变化程度。公式描述如下:



将所有的单词显著性记录下来,记为显著性向量。


在考虑替换词的优先级是,综合考虑替换后分类概率的变化程度和每个词的显著性两个因素。替换策略如下:



效果

最终的实验结果如下:



评价

PWWS攻击模型属于文本对抗领域的一种比较优秀的攻击模型。单词的替换基于同义词,同时还考虑了替换后分类概率的变化程度和每个词的显著性两个因素,攻击效果比较好。虽然论文中的对抗样本表现比较好,但是,从具体运行结果来看,会有一部分的对抗样本质量比较差。

相关文档

  • 利用网校源码进行在线教育直播系统开发之前必看的几点建议
  • 计算机一级msoffice基础知识
  • 干松茸的功效和作用
  • android bug:HttpURLConnection.getContentLength()返回为-1
  • 都有哪些NBA球员来CBA打球
  • 考试要来了
  • 做学生真苦
  • 三年级下语文花香满园评课稿
  • 人民的名义小说中人物结局
  • 商务英语简历范文3篇
  • 节能与新能源汽车技术路线图2.0_解读《节能汽车与新能源汽车路线图2.0》
  • 西晋灭亡后的朝代西晋灭亡后天下情况
  • 2016年6月英语四级仔细阅读真题及答案第一套
  • 早孕和来月经前兆你分的清楚吗早孕的情况有哪些
  • 一夜快速美白法
  • 高中体育教学计划
  • 显示器色彩调到多少最合适
  • 三文鱼的养殖方法
  • 手表电镀掉色怎么处理
  • 2017年质检员《基础知识》复习巩固习题及答案
  • JRuby 1.7.0
  • 优美的句子开头
  • (转)美国进入智能投顾竞争时代
  • 浅谈vue 项目router (路由)+ views(界面)配置方案
  • 随俗沉浮
  • 小学生弘扬中华美德传承八婺好家风征文精选5篇
  • “斩草行动”
  • 政策性的三大银行
  • 适合做生意的个性签名
  • 苹果手机休眠
  • 猜你喜欢

  • 钟祥市连喜木材加工厂(企业信用报告)- 天眼查
  • 2016中考语文第一轮复*教材夯基固本八上古诗名句(精)
  • idea修改回到上次编辑处快捷键
  • 电子电路仿真和设计软件—Multisim篇
  • 2020年河北工业大学流行病学考研复试核心题库之简答题精编
  • 以清明为话题的作文1000字思念远方
  • 广州市晗朊贸易有限公司(企业信用报告)- 天眼查
  • 2009年河南省公务员考试行测真题(含答案解析)
  • 移动破碎筛分设备将建筑垃圾变废为宝
  • 六年级春节手抄报大全
  • 北京市2020年普通中学学业水平考试等级性考试抽样测试政治试题 含答案 精品
  • Shell变量的初始值赋值
  • 2017六年级数学分数和小数四则混合运算2.doc
  • 6.实际位错组态及观测
  • 2019年党组织组织生活会党员个人自查报告
  • 2016年四川省自贡市中考试题
  • 华东师大版九年级数学下册*题课件:26.3 第1课时用二
  • 九年级英语上册 Module 3 Unit 2 There were few doctors,so he had to work very hard on his own学案(
  • 在×房产开盘典礼仪式上的致辞-节日庆典模板
  • 转://Oracle数据库补丁分析实践
  • 佛山市舟正五金制品有限公司企业信息报告-天眼查
  • 农业副县长20XX年县政府第一次全体会议讲话
  • 成都德静健康咨询管理有限公司企业信用报告-天眼查
  • 西安亚美商务信息咨询有限公司企业信用报告-天眼查
  • 20XX年营业员年度工作总结范文
  • 幼儿园集体教学优质课观摩交流会心得体会
  • 工业工程国内外分析
  • 2017最新韩国的留学庆熙大学专业种类盘点
  • 大学生网络成瘾研究综述
  • 湖南省慈利一中2011-2012学年化学引言
  • 山东省滨州市2019年中考英语语法专项复习语法十三宾语从句八年真题回顾
  • 水箱液位串级控制系统实验报告
  • 车载空气净化器项目投资分析及可行性报告
  • 自我表现的成语解释
  • 如何加强脑力记忆力
  • 写给好朋友的结婚祝福语
  • 小学英语六年级课本重点句子归纳总结(上)
  • 初三数学中考模拟试卷【3月月考】
  • 南京润麦食品有限公司(企业信用报告)- 天眼查
  • 英语:Unit-14-《Revision-Two》课件(1)(北京课改版七年级下)
  • 台式机如何去连接笔记本
  • 表B5危险性较大的分部分项工程专项施工方案报审表
  • 电脑版