呼吁抵制人工智能武器但真正危险的还是人类

　　业界呼吁抵制人工智能武器，但真正危险的还是人类！硅谷钢铁侠持续在行动，马斯克又一次对人工智能威胁发起了“人类的反击”。这次的新闻，是马斯克联合Deepmind三位联合创始人之一穆斯塔法·苏莱曼，以及116位人工智能专家与企业CEO，共同给联合国写了封公开信。内容是提醒联合国有关部门警惕人工智能武器这个“战争领域的第三次革命”。

　　公开信中认为，智能化、自动化的致命武器科技是一个“潘多拉魔盒”，一旦打开人类将很难将其合上。

　　事实上这不是马斯克第一次发表类似的公开信。两年前，马斯克曾经联合霍金等一千多位科学家，提醒联合国有关部门将人工智能武器加入《特定常规武器公约》的禁用武器名录。

　　虽然马斯克经常被人指责对人工智能过分小心。但获得如此多业界人士的支持，控制人工智能武器的意义绝非空穴来风。

　　相比于“超级智能取代人类”这种遥不可及的命题，人工智能武器化带来的危险，已经货真价实的来到了我们身边。

　　可能是太多的科幻电影，让我们形成了对所谓人工智能武器的常识性偏见。提起人工智能武器我们会觉得非常遥远——但事实远非如此。

　　不会出现“终结者”，真正危险的是人类

　　想要了解人工智能武器，我们必须首先破除对《终结者》等电影的固有认知。包括这次业界联名发表的公开信，国内还是有很多媒体解读为“AI界呼吁警惕机器人杀手”。行文中依旧把人工智能武器等同于“会杀人的超级人工智能”。

　　这是明显的常识谬误。首先有自主情感、思维，又能战斗的人工智能实在远在天边，可能数百年内都没有担忧它的必要。其次即使真的有这样的智能体，是不是会给人类造成威胁也未可知。

　　真正危险的，始终都是人类本身。

　　所谓的人工智能武器，可以理解为将人工智能的识别、感知、自主化技术特征加入武器系统里产生的结果。这是一个非常宽泛的含义。

　　举例来说，使用人工智能技术的无人驾驶车，如果被不法分子修改了系统指令，按照其设计行驶到特定区域，在人群中横冲直撞。那么这辆车就是一件人工智能武器。并且使用代价极低，造成破坏巨大。

　　人工智能运用在武器上，其实跟人工智能运用到工业生产里没有本质区别。真正的改变在于武器的自动化程度会提升到新的级别。

　　目前已知正在研究的人工智能武器包括七大分类：进远程自动射击机器人、智能无人机系统、无人舰船与潜艇、自主射击陆战武器、智能导弹体系、网络攻击与卫星攻击武器。

　　已知参与人工智能等技术军事化的国家政府与企业也十分庞杂。很多无人机、安防机器人的技术已经很难区分军用与民用的界限。加上人工智能武器系统的非标准化生产，给武器流出与破解带来了巨大隐患。

　　凡此种种，是人工智能武器的真正威胁所在。

　　人工智能武器的越界与尴尬

　　1981年签署的联合国《特定常规武器公约》中，对于禁用武器的标准做了两种特征规定：一是武器本身过度不人道，比如激光致盲武器；二是本身具有滥杀滥伤作用，比如战时大量布置地雷，给战后平民带来反复的生存威胁。

　　基于这两点，地雷、饵雷、燃烧武器、激光致盲武器等非大规模杀伤武器被列为了人类禁用武器。在人工智能武器并不能产生巨大杀伤力的今天，它的越界之处在于其本身存在的滥杀滥伤能力可能扩散。甚至操作适当的话，人工智能武器可能引发人道危机。

　　比如说在2015年着名的黑客集会“黑帽子大会”上，就有研究人员现场展示通过无线控制器黑进了智能狙击步枪。这种武器可以智能测算风速、距离、开火时机等等因素，即使没开过枪的人也能轻易打中目标。而一旦黑客掌握了这种武器，那么狙击刺杀可以很轻易在万里之外操控，并且难以追查。

　　想象一下，原本需要训练数十年的狙击手和昂贵的狙击设备，现在一个黑客一部手机就搞定了。如此低的代价，社会安全从何谈起？

　　这也是科学家和企业家所真正担心的：原本用来改善世界的技术，却可以在几个翻转之后成为廉价、易得、难以控制的杀伤力源头，可说是对原本不安全的地球又一次重创。

　　人工智能武器化，或者说武器进行“人工智能+”的进程里，最尴尬的地方在于技术加持军备是个不可逆的过程。现代军事本身追求的就是投入更少的人、达到更高的精准度和效率，如何能放任武器自动化的果实而不摘呢？

　　但相比于技术道路上的尴尬，人工智能武器最让人担忧的地方来源于两个“深层危险”

　　危险1：战争门槛无限降低

　　人工智能介入战争与军事，带来的核心改变就是战争中的人力需求在快速萎缩。但很少的人就能发动战争可能在某些时候并非好事。

　　比如人工智能武器被恐怖主义和极端势力使用。原本需要大量人员来执行的任务如果可以通过一定的技术与很少的人来替代。那么恐怖主义裸露在地表的最后一块痕迹也将消失。

　　试想假如三两个疯狂的技术人员，就可以在远端遥控数十台自动射击的枪械机器人、上百台无人驾驶车辆，并且能把任何角落作为基地。那么恐怖主义将可以在难以琢磨的角落伸出利爪。

　　无人设备可以发动袭击，同时也能成为集权统治工具。比如独裁政府或者极端势力可以在全国反对的情况下，依靠少量人员和自动武器系统控制局面，那显然不是什么美好画面。

　　人工智能的介入，也让武器和战争越来越多元。比如将无人机、无人车、城市系统等智能体转化为武器，危险系数恐怕比传统武器要高很多。再比如人工智能虚拟武器的出现，可能发动直接摧毁民生基础设施的物联网战争。

　　暴力机器能够确保社会稳定，在于它的难以掌握和珍贵性。人工智能武器一旦泛滥，很可能把战争门槛无限降低。那么小到滋生社会暴力和恐怖主义，大到威胁国际军事秩序，都不是难以想象之事。

　　危险2：城市与人群成为核心目标

　　另一个让人汗毛炸立的想象，在于人工智能武器带来的无人化和自动化升级，很有可能改写战争这件事本身的目的。

　　从古代战争到现代战争，军事行为的核心目的都是消灭对方有生力量，占有对方资源。这个逻辑里，平民所在的生活与生产区域应该是占领的而非毁灭的。

　　但如果大量自动化武器成为军备的主轴，那么所谓的“有生力量”概念将被重写。由于军事人员大大减少，那么军事力量的核心将是军备生产能力。而在人工智能时代，工业体系生产将是需要各种技术生产集成化的，换言之军事生产能力将散落各处——于是平民集中区或许史无前例的成为了首要军事目标。

　　除了这个核心逻辑的改变，自动化武器的高效杀伤和无道德判断也可能极大增加战中平民伤亡。即使不考虑战争这种极端情况，人工智能武器作为侦查工具、监控工具，也可能威胁平民的隐私与信息、财产安全。

　　迫在眉睫的任务：制定无人战游戏规则

　　虽然人工智能领域的从业者很多都看见了AI与军事相结合可能带来的失控。但无论何种具体的武器禁用条约，实质上都难以阻挡现代战争无人化的巨浪。

　　人工智能等前沿技术，会极大消弭掉军事训练成本、人员后勤成本，并且在无数领域提高军事效率，这对于任何军事实体都是必须拥抱的未来。

　　毕竟现代战争本质上就是更少的人和更大的杀伤，人工智能只是又一次蜕变的助推剂而已。

　　但是呼吁国际社会提早引起重视，正视人工智能武器可能带来的威胁绝对是有道理的。毕竟最直接的威胁来自于新技术外流和泛滥，甚至成为犯罪的帮凶。

　　目前对于人工智能武器和无人武器，最重要的任务是从头开始制定游戏规则。首要工作来自三方面：

　　1、完整描绘人工智能武器的种类与界限。

　　2、明确人工智能等新型军事技术与已研发武器体系的控制权、监督权，建立合理的看管机制。

　　3、重新认识和理解战争的伦理——这是最困难的一点，但必然是接下来漫长时间里战争学的主旋律之一。

　　人工智能的优势和问题，都在于它实在太底层了，太容易与各种东西结合并产生变化。对待两极化的技术，就有赖于全人类走钢丝的能力。

　　AI仅仅是工具，但我们很难相信它在未来能免于作恶。深渊已开，重点是我们能在深渊里行舟架桥，还是深陷其中，变成深渊本身？