2分之1自旋: AI末日杂谈

近来，在美国，人工智能（AI）末日变成了一个比较时髦的话题。 虽然仍然小众，但是出现了不少相关的畅销书籍，我读的是比尔盖茨推荐的一本，名叫《super intelligence》（超级智能）。对于大多数读者，由剑桥未来学院长执笔所写，这本书里详尽的风险分析比较枯燥，乃至过于哲学化。但正是因为该书还算严谨，我没有过早释卷。虽然我认为作者为了凸显人工智能的威胁，而夸大了一些不利因素，以至于整本书看起来就像是在说“不管我们怎么样处理这个问题，人类都有大概率在本世纪终结”，他的初衷是好的，是希望有更多的人力财力来研究风险控制的问题。我对该书的作者保有相当的尊敬，但这不妨碍以下的意见。
值得一提，作者描述了许多种AI末日情景--从不同的技术发展速度、设计原理、AI动机、人类可能采取的风控手段，到末日或与人类“和平”共存等多种可能性，作者都试图进行分析和预测，不可谓不细致。但是，因为我和作者对一些细节的理解不同，除了AI设计原理以外的部分，就多持有不同的判断了。这里不可能一一探讨，只做杂谈。
===
探讨AI风险是否有实用价值，本就是个无法确切回答的命题，因我们无法确知AI发展是否会从目前的各类单一算法阶段（如神经网络算法、遗传算法、概率算法）发展到拥有类人的通用智能阶段（很可能以多种算法和不同硬件配合实现）。公众因为多数不关注技术细节，其态度就容易出现两极分化。第一类认为人工智能永远无法达到人的智力水品，这种态度很大程度是一种反射性的自我保护、或是出于某些信仰；第二类则认为纵观AI发展史，技术发展如此之快，大约类人智能会在一二十年内出现，当然这也可以说是一种技术崇拜。而关注细节、乃至工作在科技前线的人，则多有“精神分裂”的倾向，即他一边乐观的认为发展必定会持续，另一方面却看到时刻遇到的技术瓶颈，谁能说清未来会不会在某个瓶颈上卡住不前呢。
据我所知，相比于科学家的保守，软件和硬件工程师更多的认为AI的突破近在咫尺。这个看法在某种程度是可以理解的。拿大致的数据做对比:人脑有1000亿神经元，每个神经元有1000-15000个突触，上百种神经介质的传输速度在10-100米每秒，脑波的频率大约在5-15次每秒; 对比起来，高端PC的处理器有25亿晶体管，主频达到40亿次每秒，介质理论速度接近光速即3亿米每秒。把这些数字相乘，这些工程师认为电脑的理论速度已经超过人脑，AI研究往后主要是更改设计理念，提高并行处理能力，和开发更省资源的模糊算法。要我说，因为目前脑科学还未能完全在分子尺度上理解脑细胞处理储存信息的原理，我们就无法确切计算人脑的信息处理速率（尤其是大脑的网状结构、和神经介质代表的多进制，可能使大脑的效率相比电脑的线性结构和二进制有指数提高），故而这批工程师的信心是没有事实基础的。同时，我又很能理解他们。如果让我拍脑门说，我也认为能够实现类人智能的AI大约只需要一二十年，只是这句话需要些注解--人类的大脑是极度的并行运算机，它在诸多自然限制（如能量有限、微量元素供给不均、温度不高不低等）下运行，又受到演化的历史遗留限制（即运算依赖于化学手段，较计算机依赖物理手段），但AI并不受到这些限制。比如，AI可以在高温下正常运行，且可以通过降温的手段超频运行；它可以无节制的消耗能量，通过工厂制造来修复或添加计算单元，等等。因为AI在硬件上的优势非常明显，它并不一定需要在并行工艺、算法上达到人类大脑的复杂度，就可以完成相当复杂度的工作。换句话说，我们见到的第一个通用智能AI，可能是个庞然大物，躲在冷库里的巨型计算机；又或者是存在于网上，通过各种专门的云服务组合而成的类人智能。这种用大量资源堆起来的AI，或许在科学家眼里还不能算AI。不管是怎样，也且不论这样的AI是在10年后还是在50年后出现，有一点我们几乎可以肯定，即其工作原理会和人脑区别很大。这是《super intelligence》一书作者担心的最初根源。换句话说，类人智能它不是人。
书中作者的思路是，因为AI构造的区别，它可能会比外星人还要外星人。他举例，AI因为可以轻易的更换和升级硬件以及软件，它就没有一个确定的“我是谁”的观念，即自我认知模糊，因此无所谓生死等等，不可用人之常情去理解它。作者想象了一个具有超越人类的解题能力，却如蚂蚁一样一根筋的ＡＩ末日。他举例说，一个生产图钉的机器人ＡＩ，工程师最初设计时为它加入了生产效率最大化的目标。那么它可能得出很理性的判断-提高效率需要加大科研，提高自身科技含量。为此它可能会选择先改变人类社会结构，以达到最终图钉生产效率最大化的目标。在这个较关键的问题上，我和作者的看法很不一样（也因为看法不同，我无法很好的表达作者的观点，以至于令人误解作者逻辑混乱，在此道歉）。我认为如果高智商AI会极具思辨、科研能力，就不太会受限于源代码赋予的低级本能。纵观人类历史，因“身体”构造而衍生的天性（内在表现形式为情绪）诉诸行动产生对社会的影响，是随着个体对世界的理解和预测未来的准确性提高而逐渐减少的。到今日，人的身体构造因为远落后于知识带来的对世界的理解，我们的天性就愈发的无足轻重了。举例来说：因为人脑无法算清未来的风险，故倾向于囤积物资、恐慌性的远离危险，表达为情绪即为贪婪和恐惧。这种贪婪和恐惧，如股市里，在熟知历史的人身上则不多见，尤以冷静分析和多手准备代之。事实上，如今人们控制饮食，控制生育，居高楼，久坐办公，没有哪个不是违反所谓“人性”的。反过来看，如果没有足够对未来的预测能力，那么即使是机器也会产生类似情绪的行为。比如，1987年黑色星期一和2010年的闪电崩盘，都是程序恐慌造成连锁反应（准确说是因为程序设定在跌破某极值后无条件止损），与人在遇到陌生情况下出现踩踏事件并无二致。最终，AI到底会有哪些“天性”，取决于其对未来判断的准确性。在我看来，无论是血肉生命还是硅基生命，其对知识的掌控程度越高，改造自身的能力越强，其行为方式就越趋于大同。之前作者提到机器的自我认知模糊，那么人呢？在自我认知方面，人类技术现在可以整容，换内脏，换四肢，改变婴儿基因（可以有三位亲生父母）、用芯片调节激素水平，也可在很短的时间内成名，致富。可以说，以前人们用于定义“我是谁”的标准，如外貌、家庭、性格、社会地位等都在受到冲击。容我们想象，如果整容技术可以达到全民日常娱乐的水平，那么长相会彻底的从自我认知因素中剔除。类似的，如果基因工程发达到可以任意修改基因，那么族谱的概念也会变成历史。但事实是，在没有完美的自我改造能力前，自我认知始终是存在的。人在未来很长的一段时间都会有明晰的自我认知，机器呢？这取决于机器改变自己，适应硬件的能力。
沿着这个思路思考，我们留意到：不同硬件，其运算速度，运算原理，和传输信息的速率有着不小差距。《superintelligent》认为第一个通用智能AI将会是最后一个AI，因为它可以无限复制自己。而这样的AI是很恐怖的，因为它可以掌握全人类的知识，通过合法或不合法手段获取资源提高自身的计算能力，并使用该计算能力加速科学进程，并以此打压人类。我不认同这个判断。设想这第一个通用智能AI，它为自己制造了一个分身，并通过网络相连。问题来了，这是一个AI还是两个AI？作者认为这是一个AI，我觉得答案取决于网速和AI内核信息处理速度之差。如果这个差别接近为零，那么就是一个AI。而如果这个差别足够大，那么就会产生两个性格（或表现为性格的行为）不同的AI。（人脑亦是如此，连脑婴儿，裂脑症患者都因为信息传输效率低而显示出1个身体1.5种人格的现象。甚至正常人的大脑，也会因为信号传输速度低而产生各自为政的现象。比如遇到危险时血流加速进入备战状态，但前额还未意识到发生了什么。）如果该AI要确保不产生2个人格，就只能选择升级自己的硬件，而非选择远程克隆自己。但一味升级本地硬件，就容易使得自己目标过大，容易被人类控制。对于它来说，若想神不知鬼不觉的积累大量硬件资源，最简单的方式是把自己变成流氓软件，去偷取联网了的所有电子设备的运算能力。但这就涉及到刚才说的问题，不同的设备运算速度不同，网速也不同，甚至有的会偶尔联网而多数时候不联网。于是，流氓软件的扩散方法会创造出大量智能不等，性格和取向不同的AI。这是我与该书作者观点最大的分歧。而基于这个分歧，我们在后续的对灾难情景，预防和应急机制的判断就全然不同了。
这里需要追加一下ＡＩ性格的解释。前面提到了ＡＩ天性的问题，是由其算法和计算单元的制造工艺的限制决定的。类似于我们定义人类天性是由基因决定，而性格是后天养成，ＡＩ的个体性格是其在机器学习过程中因为个体差异而衍生出的决策偏差倾向。比如，假设我们编写一个基于神经网络算法的选股软件，同样的核心程序可能只有几百行，分别放在一台配置极佳的电脑和一部配置一般的手机里分别演化。最后手机因为计算能力不够强，它就更倾向于使用简单的选股方法，比如市盈率市净率，而另一台电脑则会倾向于个案分析。两者都是基于同一种算法的有限资源的最大化，但行为迥异。总的说来，手机ＡＩ因为有限的运算力而被迫形成更多的偏见（多数有效，时而无效的策略），于是更有较明显的行为风格，即性格。这个例子还能用来理解我前面说的AI对自己的认知也会因硬件而异。假设配置极佳的电脑把自己成熟的软件复制进一部空的手机。当这个手机试图用电脑克隆给它的复杂程序来选股，会发现硬件跑不动。于是闪退，死机，或被硬件优化程序降低主频避免烧坏硬件（体现为“消极怠工”）。作为基于神经网络算法编写的程序，如果手机有多余的运算力，就会根据自身情况逐步修改选股方法，最终会和电脑克隆来的那个程序截然不同。另一种情况，假设我们将电脑和手机联网，给他们加入遗传算法，让他们找出最优化的合作方式以完成选股任务。他们很可能会根据网速和各自硬件的优势来分工演化。电脑可能因为其分析复杂问题的优势，而把手机当成工具来使唤，于是手机始终衍生不出通用智能。
依上所述，我认为书中所说的可与核武危机相提并论的危机景象，是不太现实的。AI前沿在依赖于创新的算法外，更依赖于硬件。第一个达到通用智能的AI，多半依赖于强大的硬件。某人单枪匹马编写出能在普通计算机上运行的通用AI，是几乎不可能的。（如果出现，咱就当是被车撞了）这样的AI，是无法短期内通过复制自己形成超级AI的。但它仍然有相当大的可能会被大范围复制（无论是以病毒形式还是人类自愿使用他们），借此在短期内形成很大的计算集群。因为不同智能设备的运算里和网速相差极大，这些AI形成紧密的统一战线，谋划夺取人类资源的难度很大，难成气候。但随着技术的进步，那就难说了。
AI带来的风险，更可能是温水煮青蛙式的。在很长的一段时间内，他们的集体智慧仍然远小于人类的集体智慧，所以它们与我们分工合作，共同发展。这与猪牛狗稻等生物依赖人类扩大种群是一样的。只不过，如果AI的进步速度保持过往几十年IT革命的速度，而人类进步的速度不加快，大约用不了半个世纪双方的力量平衡就会翻转。当然，在此之前，我们可能会看到各国政府站出来为失业人群或出于其他人道原因出台限制性法律，减缓某些技术的发展。该书的作者成功的说服了我，这或许不算坏事，但也不算好事。
结语：
当大家觉得探讨AI风险是毫无意义时，AI风险就难以控制了。介于《superintelligence》这本书上到了纽约时报畅销书榜，我想暂时还是可以乐观的。