难缠的AI病毒使人（rén）工智能失控

一（yī）辆正（zhèng）常行驶的自动驾驶汽车（chē），突然驶入了逆行车道（dào）；胸前贴一款特（tè）殊贴纸，犹如披（pī）上隐形斗篷，在监控系统中成功（gōng）遁形；戴上一幅特制眼镜，轻松骗过人脸识别（bié）系统后（hòu），用别人的手机也可实现（xiàn）刷（shuā）脸解锁（suǒ）或刷脸支付……

   小心，这可能是遇上了难缠（chán）的AI病毒！

   近日，清华大学人工智能研（yán）究院孵化（huà）企业推出了针对人（rén）工智能算法模型（xíng）本身安全的（de）RealSafe安全平台（tái），据介绍，该平台可快速缓解对抗（kàng）样本（běn）的攻击威胁（xié）。

   人工智能感染的是什么（me）病毒？其安（ān）全问题有哪些特点？人（rén）工（gōng）智能时代，杀毒软件如（rú）何修（xiū）炼才能化作身怀绝技的病毒猎手？

   是敌又是友 对抗（kàng）样（yàng）本戴着双重面具

   RealSafe人（rén）工智能安全平台，是针对AI在极端和对抗环境下的算法安全（quán）性检测与加固的工具平台，包（bāo）括模型安全（quán）测（cè）评、防（fáng）御解决方案两大功能模（mó）块。平（píng）台内置AI对抗攻防算法，提（tí）供从（cóng）安全测评到防御加固整体解决方案。

   北（běi）京理工大学计算机网络及（jí）对抗技术研究所（suǒ）所长（zhǎng）闫怀志接受科技日报记者采访（fǎng）时表示，上述平台（tái）目前侧重于模型和算法（fǎ）安全性检测与加固，可（kě）以说是人（rén）工智（zhì）能算（suàn）法的（de）病（bìng）毒查杀工具。

   闫（yán）怀志说，针对（duì）人工智能系统实施对抗样（yàng）本攻击的（de）这（zhè）类恶（è）意代码，常被称为“AI病毒”。对抗样（yàng）本是指在数据（jù）集中通过故意添加细微的（de）干（gàn）扰所形成的（de）输入（rù）样本，会导致模型以高置信度给出一（yī）个错误（wù）的输（shū）出（chū）。

   “其实在实验室中，使（shǐ）用对抗（kàng）样本可以检（jiǎn）测许多训练学习类人工（gōng）智（zhì）能方法（fǎ）的分类有（yǒu）效性，也可以（yǐ）利用对抗样本来进行（háng）对抗（kàng）训练，以提升人工智能系统（tǒng）的分（fèn）类（lèi）有效（xiào）性。”闫怀志（zhì）告（gào）诉科技日（rì）报记者。也就是说，对抗样本（běn）可以看成是训练人工智能（néng）的一种手段（duàn）。

   “但是在现实世界，攻击者可以利用对抗样本（běn）来实施针对AI系统的攻击和恶意（yì）侵扰，从而演变成令人（rén）头（tóu）疼的‘AI病毒’。”闫怀志（zhì）表示，对（duì）抗样本攻击可逃避检测，例如在（zài）生（shēng）物特征识别应用场景中，对抗样（yàng）本（běn）攻（gōng）击可欺（qī）骗基（jī）于人工智能技术的（de）身份（fèn）鉴（jiàn）别、活体（tǐ）检测（cè）系统（tǒng）。2019年4月，比利时鲁（lǔ）汶大学研（yán）究人员发现，借助一（yī）张设计的打印图案（àn）就可（kě）以避（bì）开人工智能视频监控系统。

   在现（xiàn）实世界中，很多AI系统在对抗（kàng）样本攻击（jī）面前（qián）不堪（kān）一击（jī）。闫怀志（zhì）介绍，一方面，这是由于AI系（xì）统重应用（yòng）、轻安全的现象普遍存在，很多AI系统（tǒng）根本没（méi）有考虑对抗样（yàng）本攻击问题；另一方（fāng）面，虽然有些AI系统经过了对抗（kàng）训练，但由（yóu）于（yú）对抗样本不完备（bèi）、AI算法欠成（chéng）熟等诸多缺陷，在对抗样（yàng）本恶意攻击面（miàn）前，也毫无招架之（zhī）力（lì）。

   对训练数据投毒 与传统网络攻击存在明显不同

   360公司董事长兼（jiān）CEO周鸿祎曾表（biǎo）示，人（rén）工智能是（shì）大数据训（xùn）练出来的（de），训练的数（shù）据可以被（bèi）污染，也（yě）叫“数据投毒（dú）”——通过在训练数据里加（jiā）入伪装数据、恶意样本等破坏（huài）数据的完整性，进而导致训练的算法模型（xíng）决策出（chū）现偏差。

   中国信息通信（xìn）研究（jiū）院安全研究（jiū）所发布的《人工智能数据安全白皮书（2019年）》（以下简称白皮书）也提到了这一（yī）点。白（bái）皮书指出，人工智能自身（shēn）面临的数据（jù）安全风险包（bāo）括：训练（liàn）数据污（wū）染导致人工智能决策（cè）错误；运行阶段的数据异（yì）常导致智能系统运（yùn）行（háng）错误（如（rú）对抗样本攻（gōng）击）；模型窃取攻击（jī）对算（suàn）法模型的数据进行逆向还原（yuán）等。

   值得警惕的是，随着（zhe）人工智能与实体经（jīng）济（jì）深度融合，医疗（liáo）、交通、金融等行业（yè）对于数据集建设的迫切需求，使得（dé）在训练样（yàng）本环节发动网络攻击成为最直接（jiē）有（yǒu）效（xiào）的方法，潜在危（wēi）害（hài）巨大。比如在军事领域，通过信息伪装的方式可诱导自（zì）主性武器启动或攻击（jī），带来毁灭性风（fēng）险。

   白皮书（shū）还提到，人工智能算法模型主要反映的（de）是数据（jù）关联性（xìng）和其特征（zhēng）统计，没有真正获取数据（jù）之（zhī）间的因果（guǒ）关（guān）系。所以（yǐ），针对（duì）算法（fǎ）模型这一（yī）缺陷，对抗样本通过对数（shù）据输入样例，添加难以察觉的（de）扰动，使算法模型输出错（cuò）误（wù）结（jié）果。

   如此一来，发生文章开（kāi）头所谈到的一类事故就不足（zú）为奇（qí）了。

   此外，模型窃取攻击（jī）也值得（dé）注意。由于算法模型在部署应用中（zhōng）需要将公共访问接口（kǒu）发（fā）布给用（yòng）户使用，攻（gōng）击（jī）者就可以通过公共访问接口对算法模型进行黑盒访问，并且在（zài）没（méi）有算法模型任何先（xiān）验（yàn）知识（训（xùn）练数据、模型（xíng）参（cān）数等）的情况下，构造出与（yǔ）目标模型（xíng）相似度非常高的（de）模型，实现对（duì）算法模型的窃取。

   闫怀（huái）志在采访中表示（shì），AI安（ān）全（quán）更突出功能安全问题（safety），这通常（cháng）是指人工智能系统被（bèi）恶意数据（比（bǐ）如对（duì）抗样本数据（jù））所欺骗，从而导致（zhì）AI输出与预期不（bú）符乃（nǎi）至产生危害（hài）性（xìng）的结果。“AI功能安全问（wèn）题与传统的网络安全强调的保密性、完整性、可（kě）用性等信息（xī）安全问题（security），存在本质不同。”

   预防“中（zhōng）毒”困难重重 AI技术也可构筑网络安全利器

   闫怀志表示（shì），目前（qián）种种原因导致了（le）预防人工智能“中毒”困（kùn）难（nán）重（chóng）重，原因具（jù）体表现在三（sān）个（gè）方面。

   一是很多AI研发者（zhě）和用户并没有意识到AI病毒的巨（jù）大风险（xiǎn）和危害（hài），重视并解决AI病（bìng）毒问（wèn）题根（gēn）本（běn）无从谈起；二是由于（yú）AI正处于高速发展阶段，很多AI研发者和生（shēng）产商“萝（luó）卜快了不洗泥”，根本无暇顾及安全问题，导致（zhì）带有先天安（ān）全缺陷的AI系统（tǒng）大量涌入应用市场；三是部分AI研发者和供应商虽然（rán）意识到了AI病（bìng）毒问题，但（dàn）由于技术能力不（bú）足，针对该问题并无（wú）有效的解决办（bàn）法。

   “当然，网络（luò）安全本来就是一个高度对抗、动态发展的领域，这也（yě）给（gěi）杀毒软（ruǎn）件领域开辟了一个蓝海市（shì）场，AI杀毒行业面临着（zhe）重大的（de）发展机遇。”闫怀志强调，杀（shā）毒软件行业首先应该具（jù）有防范AI病毒的意（yì）识，然后在软件技术和算法安（ān）全方面重视信息安全和功能安全问题（tí）。

   “以现实需求为（wéi）牵引，以高新技（jì）术来推动，有可能将AI病毒（dú）查杀这个严峻挑战（zhàn）转变为杀（shā）毒软件行业发展（zhǎn）的（de）重大契机。”闫怀志（zhì）强调，AI技术既会带来网络（luò）安全问题，也可以赋能网络（luò）安全（quán）。

   一方面，人工智能的广泛应用（yòng）带来了许多（duō）安全（quán）风险。由技术性缺陷导致的（de）AI算法安全风险（xiǎn），包括可导致AI系统被攻击者控制的信（xìn）息安全问题；也可（kě）导致AI系（xì）统（tǒng）输出结果被攻击者任意控制（zhì）的（de）功能安全问题。

   但另一方面（miàn），人工智（zhì）能技（jì）术也可以成为构筑网络空间安全的利器，这主要（yào）体（tǐ）现在主动防御、威胁分析、策略生成、态势感知、攻防对（duì）抗等诸（zhū）多方面（miàn）。“包括采用人（rén）工神经网络技术来检测（cè）入侵行为、蠕虫（chóng）病毒等安全风险（xiǎn）源；采用专家系（xì）统技术进行安（ān）全规划、安全运行中心（xīn）管理等；此外，人工智能方法还有助（zhù）于（yú）网络空间安全环境的（de）治理，比如打击网络诈骗。”闫怀志说。

   中国信息（xī）通信（xìn）研究院安全研究所的专家称，为有效管控人工智能安全风（fēng）险并积极促进人工智能技术在安全领域应（yīng）用，可从法规政策、标准规范、技术手（shǒu）段（duàn）、安全评估、人才队伍、可控生（shēng）态（tài）等方面构建人工智（zhì）能安（ān）全（quán）管（guǎn）理体系。