人工智能安全.pdf

人工智能安全 现在有很多技术可以欺骗人工智能， 也有很多人工智能技术被用来欺 骗人。在人工智能（AI）时代，安全问题不容忽视。 近几年，人工智能技术在很多领域都取得了初步的成功，无论是图像 分类、视频监控领域的目标跟踪，还是自动驾驶、人脸识别、围棋等 方面， 都取得了非常好的进展。 那么， 人工智能技术到底安全不安全? 事实上，目前的人工智能技术还存在很多问题。 人工智能并不安全 现在有很多技术可以欺骗人工智能，如在图片上加入一些对抗干扰。 所谓对抗干扰，就是针对智能判别式模型的缺陷，设计算法精心构造 与正常样本差异极小、能使模型错误识别的样本。如图 1 所示，本来 是一幅手枪的图片， 如果加入一些对抗干扰， 识别结果就会产生错误， 模型会识别为不是枪。在人的前面挂一块具有特定图案的牌子，就能 使人在视频监控系统中"隐身"(见图 2)。在自动驾驶场景下，如果 对限速标识牌加一些扰动，就可以误导自动驾驶系统识别成 "Stop"(见图 3)，显然这在交通上会引起很大的安全隐患。另一方 面，人工智能的一些技术现在正在被滥用来欺骗人。例如，利用人工 智能生成虚假内容，包括换脸视频、虚假新闻、虚假人脸、虚拟社交 账户等。 图 1 被暴恐检测系统识别成正常图片 图 2 在智能监控下隐身 图 3 误导自动驾驶系统 不只在图片和视频领域，在语音识别领域也存在这样的安全隐患。例 如，在语音中任意加入非常微小的干扰，语音识别系统也可能会把这 段语音识别错。同样，在文本识别领域，只需要改变一个字母就可以 使文本内容被错误分类。 除了对抗攻击这种攻击类型外，还有一种叫后门攻击的攻击类型。后 门攻击是指向智能识别系统的训练数据安插后门， 使其对特定信号敏 感，并诱导其产生攻击者指定的错误行为。例如，我们在对机器进行 训练时，在某一类的某些样本中插入一个后门模式，如给人的图像加 上特定的眼镜作为后门， 用一些训练上的技巧让机器人学习到眼镜与 某个判断结果(如特定的一个名人)的关联。训练结束后，这个模型针 对这样一个人还是能够做出正确的识别， 但如果输入另一个人的图片， 让他戴上特定的眼镜，他就会被识别成前面那个人。训练的时候，模 型里留了一个后门，这同样也是安全隐患。 除了对抗样本、后门外，如果 AI 技术被滥用，还可能会形成一些新 的安全隐患。例如，生成假的内容，但这不全都是人工智能生成的， 也有人为生成的。此前，《深圳特区报》报道了深圳最美女孩给残疾 乞丐喂饭，感动路人，人民网、新华社各大媒体都有报道。后来，人 们深入挖掘，发现这个新闻是人为制造的。现在社交网络上有很多这 样的例子，很多所谓的新闻其实是不真实的。一方面，人工智能可以 发挥重要作用，可以检测新闻的真假;另一方面，人工智能也可以用 来生成虚假内容，用智能算法生成一个根本不存在的人脸。 用人工智能技术生成虚假视频， 尤其是使用视频换脸生成某个特定人 的视频，有可能对社会稳定甚至国家安全造成威胁。例如，模仿领导 人讲话可能就会欺骗社会大众。因此，生成技术是否需要一些鉴别手 段或者相应的管理规范，这也是亟须探讨的。例如，生成虚假人脸， 建立虚假的社交账户，让它与很多真实的人建立关联关系，甚至形成 一些自动对话，看起来好像是一个真实人的账号，实际上完全是虚拟 生成的。这样的情况该如何管理还需要我们进一步探索和研究。 人工智能安全隐患的技术剖析 针对 AI 的安全隐患，要找到防御的方法，首先要了解产生安全隐患 的技术。以对抗样本生成为例，其主要分为 2 类：一类是白盒场景下 对抗样本生成;另一类为黑盒场景下对抗样本生成。白盒场景的模型 参数完全已知，可以访问模型中所有的参数，这个情况下攻击就会变 得相对容易一些，只需要评估信息变化的方向对模型输出的影响，找 到灵敏度最高的方向，相应地做出一些扰动干扰，就可以完成对模型 的攻击。黑盒场景下攻击则相对较难，大部分实际情况下都是黑盒场 景，我们依然可以对模型远程访问，输入样本，拿到检测结果，但无 法获得模型里的参数。 现阶段的黑盒攻击可大致分为 3 类。 第一类是基于迁移性的攻击方法， 攻击者可以利用目标模型的输入信息和输出信息， 训练出一个替换模 型模拟目标模型的决策边界， 并在替换模型中利用白盒攻击方法生成 对抗样本，最后利用对抗样本的迁移性完成对目标模型的攻击。第二 类是基于梯度估计的攻击方法， 攻击者可以利用有限差分以及自然进 化策略等方式来估计梯度信息， 同时结合白盒攻击方法生成对抗样本。 在自然进化策略中， 攻击者可以以多个随机分布的单位向量作为搜索 方向，并在这些搜索方向下最大化对抗目标的期望值。第三类是基于 决策边界的攻击方法，通过启发式搜索策略搜索决策边界，再沿决策 边界不断搜索距离原样本更近的对抗样本。 有攻击就有防御，针对对抗样本的 人工智能安全是当前技术领域的重要议题，因为随着AI技术在各个领域的广泛应用，如图像识别、视频监控、自动驾驶等，随之而来的是安全风险的增加。对抗性攻击是其中的一大挑战，它利用精心设计的干扰来欺骗AI系统，导致模型的误识别。例如，对抗性干扰可以使得原本的手枪图片在AI眼中变成非枪物体，或者使人在视频监控中“消失”，甚至误导自动驾驶汽车误读交通标志。 此外，人工智能技术还能被用来制作虚假内容，如换脸视频、虚假新闻和假人脸，这不仅破坏了信息的真实性和可信度，也可能对社会稳定和国家安全构成威胁。比如，恶意分子可能通过生成领导人的假视频来误导公众，或者创建虚假的社交账户，构建复杂的虚拟社交网络，进行欺诈活动。 在语音识别领域，微小的干扰就可能导致识别错误；文本识别中，只需微调字符，整个文本的意义就可能发生改变。这些都显示了AI技术在安全性方面的脆弱性。 针对AI安全问题，我们可以将其分为两类主要的攻击方式：白盒和黑盒攻击。白盒攻击者拥有模型的全部参数，能够更容易地构造对抗样本；而黑盒攻击者无法获取模型内部信息，但仍能通过各种策略，如迁移学习、梯度估计或决策边界搜索，来生成对抗样本。 为了防御这些攻击，研究者已经提出了多种策略，包括训练二分类器来检测对抗样本、使用对抗训练增强模型的鲁棒性，以及开发更稳健的模型结构。然而，现有的防御手段仍有局限性，需要持续的研究和改进以应对不断演化的攻击手段。 因此，确保人工智能的安全性是一项复杂且紧迫的任务，涉及到算法的改进、数据安全、模型验证和监管等多个方面。未来的研究应该着重于开发更加安全的AI模型，同时制定有效的管理和法规，以防止技术被滥用，保护个人隐私和社会秩序。在这个过程中，跨学科的合作和全球范围内的共同努力将至关重要。