王建文
南京大学法学院教授、博士生导师，国家社科基金重大项目“优化市场化法治化国际化便利化营商环境研究”首席专家，首批国家级一流本科课程“网络与人工智能法”负责人。
主要研究领域为商法、金融法，并立足于民商法开展网络与人工智能法领域的交叉学科研究、营商环境研究与评价工作。
点击上图，即可入手
本文节选自《网络与人工智能法学》第八章“人工智能法”第二节（第237-241页）。为阅读方便，脚注从略，如需引用，请以纸质书为准。
人工智能与经济社会的紧密结合已成为不可避免的趋势。当前人工智能虽然可以模拟并表现人类智力，甚至在单一领域超越人类，但整体尚未达到人类智能水平。不过，发达国家正通过类脑人工智能、神经拟态计算、绘制人脑回路图谱、全脑仿真等方式，力图打造更强的人工智能形态。产业界和科学界最为担心的就是人工智能超越人类智能，并取代人类成为世界主宰。
尽管超人工智能的实现只是理论上的，但现有技术条件下的人工智能已然给法律的规制带来了难题，并孕育着更多的挑战。人工智能法律规制的困难主要源于人工智能从研发到应用环节所产生的各种问题。
研发过程中的分散和不透明问题
人工智能是现代计算机、大数据、图像处理、认知科学等科学技术以及网络基础设施共同发展的产物。由于所依赖的底层技术具有各种特性，人工智能的研发必然会打上底层技术的烙印，加之人工智能的研发是相对系统并具有一定复合性（叠加了各种技术）的工程，其暴露出的问题往往比底层技术更加明显。分散和不透明性是人工智能研发过程中最为显著的问题。
首先，人工智能的研发是充分开放的，这会导致研发的分散性。与其他工业技术的开发需要庞大的资源和基础设施不同，任何一台与互联网相连的计算机都可以参与人工智能的研发。
从硬件端来说，人工智能系统单个组件的开发可以由多个主体在不同时间、不同地点、无须事先协调的情况下进行，参与人工智能研发的人员相互之间可能没有任何法律关系。
从软件端来说，开发人工智能所使用的程序可以来源于开放源码的软件库，每个库都是在其他库基础上独立构建和开发的，从事人工智能开发的程序员每天可以匿名地对这些库进行各种修改。在此基础上，从这些库中获取的组件可以被合并到由不参与组装底层软件库的开发者所开发的人工智能系统的程序中。
无论是从硬件端还是从软件端来说，虽然单独开发组件并进行组装的模式在所有复杂系统的研发中都一定程度地适用，但现代计算机系统中软硬件组件之间的离散性水平和交互性规模已经超越其他技术，由此决定了研发过程的分散性会随着更强人工智能形态的出现进一步增加。
其次，人工智能的研发具有不透明性。与诸如汽车制造等产业工艺成熟、具有高度透明度不同，人工智能的研发并不透明。一方面，人工智能的研发涉及多种技术，所使用的算法或数据都是隐藏在交互界面后面，不会直观地展现出来。另一方面，人工智能的内部结构一般是高度保密的，不容易通过逆向工程解构。
以人工智能产品的算法歧视为例，人工智能产品出现算法歧视问题有其深层次原因，但从根本上来说是所使用的算法和底层数据不透明所致。人工智能的语料库来源于人类，其中难免含有歧视性话语，因而也就不可避免地使人类固有的歧视经由算法而表现于人工智能之中。
例如，某图像识别软件将黑人标记为“黑猩猩”，微软的聊天机器人发表的言论带有种族歧视、性别歧视和纳粹同情色彩。鉴于算法“中立”是一种完全理想的状态，要做到算法反歧视，就必须对底层数据进行筛选和淡化，这势必牵涉公开算法及底层数据。而一旦要求公开算法和底层数据，就可能会暴露人工智能产品的核心技术，就商业竞争而言，这显然是研发者所不愿意的。
人工智能研发过程中的分散和不透明会给法律规制带来诸多难题。
人工智能研发的分散性意味着项目的参与者可能分布于多个国家，彼此之间没有任何法律关系。用于人工智能的某些组件先于人工智能项目的构思而存在，而组件的设计者可能无法预想到他们的设计将被纳入人工智能系统。即便能够预想到，组件叠加后的效果也是根本无法预估的。
分散性带来的直接后果是人工智能产品致人损害后，由于可能牵涉多个相互之间没有任何法律关系的主体，确定责任归属或责任的分担（涉及技术溯源以及因果关系的确定），以及受害者在受到人工智能产品损害后的救济都将变得复杂。
如果参与研发者分散在不同法域，还意味着对人工智能研发的监管需要跨区域，这将大大增加监管的难度。
人工智能研发的不透明性还会导致极大的安全风险。特别是当人工智能产品的设计存在缺陷时，受困于研发过程中的不透明，该缺陷不仅对使用者，对于下游生产商和销售商甚至监管者而言都是难以检测的，这将极大地使旨在管理与人工智能相关风险的制度复杂化。
人工智能行为的可预见性问题
开发人工智能的最直接目的是模拟甚至超越人类智能，使人工智能产品能够像人类一样“思考”并服务于人类。高度拟真的人工智能产品，尤其是具备学习能力的人工智能产品，一旦具备“人性化思考”“人性化行为”的能力，就会表现出极大的创造性。
例如，在疾病诊断领域，病理学家认为，癌症预测主要依赖对肿瘤细胞而非肿瘤细胞周围的支持组织（基质）的成分的研究，但癌症病理学机器学习程序C-Path发现，基质实际上比肿瘤细胞更适合作为乳腺癌的预测指标。C-Path的这一发现，不仅颠覆了主流医学理论，也是程序开发者所始料未及的。
现阶段人工智能产品形成“创造力”的机理，与人类的思维过程仍存在颇多差异。人工智能程序可以调动丰富的计算资源，在给定的时间内，人工智能程序可以比人类智能探索更多的可能性，从而允许人工智能系统分析人类可能没有考虑到的、更不可能尝试实现的潜在解决方案。
计算机程序不像人类那样具有“思维定式”，完全不受人类决策者所依赖的先入为主的观念、经验法则、认知偏差和传统智慧的限制。而人类大脑认知具有局限性，无法分析所接收到的全部甚至大部分信息。人类的创新之举，对于计算机而言不过是充分地调动了其计算资源，穷尽了所有的可能性。
正是通过这种强大的计算能力，人工智能可以生成人类无法预料的解决方案，实现“创造性”。
人工智能能够实现“创造性”，对于人类（包括该人工智能的研发者）而言其行为就具备一定的不可预见性。人工智能的学习能力使之可以不必按照开发者最初设定的指令来运行，其行为主要取决于其设计后所习得的经验。因此，人工智能运算过程和运算的结果（表现为决策或判断），即使是最细心的设计师和生产商也无法预测。
随着由各种人工智能技术叠加的通用人工智能系统的发展，尤其是神经拟态计算、全脑仿真等技术的应用，人工智能的创造力不会仅局限于通过大量计算穷尽一切人类智能无法企及的可能，而是可以与人脑思维过程相结合，如此一来人工智能行为的不可预测性将显著增加。一旦人类无法有效预见人工智能被投入使用后的行为，人工智能产品对外部环境的影响也就无法预估，这对于如何管理人工智能带来的风险无疑又是一个挑战。
此外，由于人工智能产品可能执行连其设计者都无法预见的行为，如何设定事前的监管规则是一大难题。
人类对人工智能的管控问题
对于不具备学习能力的人工智能来说，其功能和目标由装载于其上的程序决定，程序一旦设定，该人工智能就会不遗余力地实现这个目标，其行为虽可能超出设计者所预想，但处于总体可控的状态。
而对于能够自主学习并适应外部环境的人工智能而言，其行为的不可预测性较强。学习型人工智能可以通过大数据以及习得的经验自主改进其算法，模拟人类的学习活动，以获取新知识和新技能，并以独特甚至不可预见的方式与所处环境互动。一项复杂的人工智能系统可以自行改进其硬件和程序，以至于它所获得的认知能力远远超过其设计者。
人工智能行为的不可预测性大大提高了人类控制人工智能的难度，特别是当高级形态的人工智能出现时，理论上人类有可能完全失去对人工智能的控制。
失去对人工智能的控制可分为两种情形:当对某一人工智能的操作和监督负有法律责任的人无法控制人工智能时，称为局部失控（lose local control）；当某一人工智能不再能被任何人控制时，称为完全失控（lose general control）。技术的复杂性决定了人工智能的任何一个系统发生改变，都会带来全局性的影响。
仅就目前而言，局部失控问题已不同程度地出现，如近年来各国爆出的人工智能机器杀人事件。完全失控问题也已初见端倪，如美国的算法交易系统能够自动执行诸如股票交易之类的指令，这些指令可以以纳秒为单位执行，从而在非常短的时间内产生巨大的经济影响，人类根本无法进行实时干预。
随着机器学习能力的提升，特别是到了人工智能2.0时代，人类将不再仅仅追求给人工智能确定的框架，而是使之自行形成一些算法规则，超脱人类所设定的各种算法和程式。越来越多的人担忧，人工智能的“自主性”会越来越强，人工智能的发展可能会突破人类的认识，超出人类控制范围。一旦出现强人工智能形式，不仅人类对人工智能的控制变得更难，而且可能会出现人工智能主动抵制人类控制的现象，这将给人类社会带来灾难性的风险，并最终损害人类的根本利益。
值得庆幸的是，人工智能脱离人类控制的情况还未大范围出现，人工智能并非在所有场景的应用都会带来不可控的风险。由于不同类型、不同发展形态的人工智能产品会带来不同的风险，如何设置有效的风险管控手段，在不阻碍技术创新的情况下区别应对人工智能发展所带来的风险，是人工智能法律规制的根本性难题。
本书目录
第一章 网络与人工智能法学导论
第一节 网络与人工智能法学概述
第二节 网络与人工智能法学的学科体系
第三节 网络与人工智能法学的研究方法
第二章 网络安全法
第一节 网络安全法概述
第二节 网络运行安全法律制度
第三节 网络信息安全法律制度
第四节 监测预警与应急处置法律制度
第三章 电子政务法
第一节 电子政务法概述
第二节 电子政务立法
第三节 政府信息公开与个人信息保护
第四章 电子商务法
第一节 电子商务法概述
第二节 电子商务经营者
第三节 电子商务经营者的一般义务
第四节 电子商务平台经营者
第五节 电子商务合同
第五章 网络金融法
第一节 网络金融法概述
第二节 网络借贷法
第三节 网络支付法
第四节 ATM交易法
第五节 网络证券法
第六节 网络捐赠法
第六章 网络知识产权法
第一节 网络知识产权法概述
第二节 网络版权法
第三节 网络专利法
第四节 网络商标法
第五节 网络不正当竞争的法律规制
第七章 网络犯罪
第一节 网络犯罪概述
第二节 我国网络犯罪的发展趋势和成因分析
第三节 我国网络犯罪的法律梳理
第四节 当前网络犯罪的典型样态
第八章 人工智能法
第一节 人工智能及其法律地位
第二节 人工智能法律规制的困境
第三节 基于风险控制和问责的人工智能法律制度框架
第四节 人工智能算法“公共性”应用的法律规制
第五节 人工智能应用中的个人信息保护
参考文献
中国法律评论
我刊由中华人民共和国司法部主管、法律出版社有限公司主办。国家A类学术期刊，中文社科引文索引（CSSCI）来源期刊，人大复印报刊资料重要转载来源期刊。我刊秉持“思想之库府，策略之机枢”之理念，立足于大中华，聚焦中国社会的法治问题，检视法治缺失与冲突，阐释法律思想，弘扬法律精神，凝聚法律智慧，研拟治理策略，为建设法治中国服务，为提升法治效能服务，为繁荣法学服务。
联系客服
