一、人工智能进化对伦理的挑战

人工智能进化到今天，只不过是人类社会发展进程中技术进步的一部分，由此引起的伦理问题，是技术进步再次对人类伦理的挑战，值得关注。但为什么要将机器人行为准则中人类伦理的嵌入作为当前智能技术发展中的关切而进行专题讨论呢？今天的技术进步为什么被认为与过去有较大区别呢？

伦理学伴随着人类社会的发展进程，是位列于美德和法律制度之间的规范群体行为的社会基本机能。美德是至圣的行为典范，法律制度惩罚罪恶。伦理学规范常人行为，使之在实践中遵行社会普遍接受的准则。然而，普遍接受或者是先验确认，如人之初，又或者是由成人前教育形成来建设一个社会伦理的共同基准。

这张照片是在一个非常潮湿的傍晚拍摄的，我们从下午就一直在对抗大雨。幸运的是，在日落时分，乌云散去了，山外夕阳的温暖色调与阴沉的天空和湖色形成了鲜明对比。这足以证明，不管天气如何，你都应该出门。你永远不知道会得到什么。

在我国古代诸子百家各种思辨论争中，墨子以“法仪”制订规则建立群体的一致行动。以“父母、学、君三者，莫可以为治法”为由，推崇“法天”，使人“兼爱兼利”从而“兼有兼食”，而以“天、兼爱、百姓”作为施政的根本[1]。如此，墨子伦理学说清晰地表达出建立人人共同行动、守法、平等、兼爱和共享的人类社会机理的期望。

“道之以政，齐之以刑，民免而无耻；道之以德，齐之以礼，有耻且格”；突出表现了孔子伦理观中强调以德规范人性的特点[2]。《中庸》的“天命之谓性，率性之谓道，修道之谓教”[3]。提出以天命率性修道的方式来实现。孟子确认以恻隐、羞恶、辞让和是非[4]为基本内容的仁义礼智教化万民的重要性。到公元前134年董仲舒应答汉武帝贤良问策时提议“推明孔氏，抑黜百家”[5]，中国伦理体系最终建立在儒家三纲五常的君臣父子夫妻和仁义礼智信的基础之上。

人类伦理的形成，并非是他们的造物主所至。西方伦理学奠基人、希腊哲学家苏格拉底以问答形式实现的假设消除方法论探讨人类终极知识。他将好作为伦理学的出发点，被柏拉图解释为标志着人类理性至高无上的起点。然而具有讽刺意味的是，苏格拉底的死刑是通过民主投票决定的，罪名是其以邪教理论污染年轻人的心灵。苏格拉底的自我辩护被指认为是傲慢的，没有任何妥协的余地。苏格拉底在临刑前拒绝了弟子的劫狱，以死践行了自己的道德理想。这位伦理宗师未能留下著作，他的思想是通过弟子流传至今，与孔夫子的“述而不著”有异曲同工之妙。

当前挑战人类伦理的正是这位“婴儿”机器人，虽然我们很难对她的伦理学基础刻画出一个完整的框架，但一国政府、联合国开发计划署等国际组织至少应对她平等相待，这样我们可以有针对性地对达到“墨家”平等博爱的伦理学的机器人进行探讨。是否可以将机器人视为同类，兼爱和与其资源共享。

在以下的内容中，我们将讨论智能在对人类的挑战中，人类伦理嵌入时的计算挑战。讨论重点放在嵌入过程的逻辑可行性和计算挑战。从智能族群形成、共同进化，独立性和共识的角度，探讨可能的机器伦理和人类伦理的共同进化。

可能的人机关系的简略分析还忽略了一个重要因素。事实上，机器人在一个功能一个功能地成长，会有一个广泛的难以用定量和定性区分的人与机器人的差距。特别不可忽略的一点是，与人类相比，机器人具有不同机件的优势。例如，AGV搬运机器人具有自动化程度高、自动充电、外形美观、成本低、安全、易维护、可预测、降低产品损伤、改善物流管理、占用场地小等特点[10]。乐高机器人在儿童教育方面的优点体现在：寓教于乐，充分发挥孩子的个性，提升全面思考、团队精神和动手能力[11]。自动驾驶机器人的驾驶性能安全，可缓解驾驶员疲惫感，剔除恶意行为，并减少交通拥堵，降低污染程度[12]。我们还可以继续列举下去。例如对人类能力予以强化的人机合作的功能。这将使由智能加强的人的能力远远超过普通人。人工智能的创始人图灵曾经预言会有一天世界由机器来掌控[13]。这个机器只需要用三种组件来建立，它们分别实施存储、执行和控制三种功能。图灵测试分析了由有限状态的数字计算机来模仿人类思想的物质基础和实现步骤。如今，我们看到，对于部分场景，图灵测试已经成功，证明了机器能够替代在某些领域有特长的人类。针对神学的反对意见“上帝给了人不朽的思维能力，而没有给予机器或者其他生灵”，图灵是在有神论的框架里提出了有力的反对意见。把机器与人的关系，对比人与动物的关系。人和动物近，与机器远。图灵把人类授予机器的智能比喻为人类替神诞生的另一婴儿。更进一步引用了伽俐略和哥白尼学说的历史来支撑他建立在计算机科学上的人工智能学说。

我们的团队采用这种隧道内游离输尿管方法，结合经典Wertheim手术的输尿管内侧入路法，找到输尿管入膀胱“输尿管末端”的解剖标志点，切除2 cm的膀胱宫颈韧带，ligasure离断子宫神静脉和膀胱下静脉的阴道支，解剖无血管区的膀胱阴道侧间隙(paravesico vaginal space, PVVS；图2)，完整向外推移输尿管伴行，位于输尿管下方的盆神经丛；子宫颈主韧带暴露在直视下，切除3 cm宫旁组织。2011年11月11日上述技术成功后，我们在国际手术同行透明监督下，由探索性研究，延推2期注册登记的标准化临床研究。

如今，人工智能成功应用的深度和广度使超级人工智能从以往只是茶余饭后的闲谈，成为我们必须思考的紧迫课题。在自动驾驶、无人机、智能金融、AlphaGo与AlphaGo Zero面前，在人工智能确切地展示了其超越人类决策能力的今天，它的快速迭代迅速演变的能力更让我们的应对已经不仅仅是迫在眉睫。这个瓶中精灵集网络大数据和高速云计算用于机器学习方法论正在解决一个个过去专属人类智慧的科技发展和社会管理以及智力博弈的挑战，并正在一步步占据上风。如AlphaGO在围棋上可以轻易地打败任何一个人类选手，几乎彻底地摧毁了人类在这一棋类最后的自尊，甚至超出了图灵的预见。这样，人工智能加上机器人的复制和再生产的优势，是让任何人机之间的伦理都不能不面对的难题。这是我们探讨机器人伦理，极其需要建立说服力的一点。

二是词汇准确性不够。因中西方文化的不同，某些词汇在西方国家和我国有明显区别，易出现翻译纰漏。如“莲花”，长久以来我国赋予莲花高雅、正直的文化内涵，而英语中莲花-lotus则意为慵懒、散漫，lotus eater表示“过着懒散生活的人”。

二、智能的进化历程及其影响力

生命元素的进程从细胞、动物到人类，可能的外星人以及咄咄逼人的机器智能，体现出和热力学第二定律的静寂完全不同的竞争环境下的神奇。其中生命从35亿年前的微生物[14]到30万年前的智人共同进化产生的人类智能远远超越了生命体的自然发展，到达自主创新的境界。Joseph Engelberger和George Devol于1959年建造了第一台工作机器人，用压力铸造替代了人类的危险工作岗位[15]。它最初的作用只是人类使用工具的延伸，被认为是一代工业创新的起点，从体力角度替代人类。今天的AlphaGO是一代在单项智能方面远远超越人类的智能型机器人。未来的发展，将如闵万里在“多体智能的进化之路”中所预期的，产生了多个智能体组成的集合，彼此互相通信、协调行动、形成智能交互系统[16]。我们所看到人类自身推动的进化，从能量革命的动力机车，到加快脑力分析的计算机，再到替代人类危险工作的机器人，直至超越人类棋类最优秀选手的AlphaGO。人类进化的元素，从体力革命的过去实现了到当今智力革命的转变。其进程之迅猛难以预料。

回顾工业革命的进程，1769年瓦特发明第一台蒸汽机，开始了能量使用的第一步；1800年伏特研制出第一块电池；1946年电子数字积分计算机（ENIAC）在美国宾西法尼亚大学正式运行。如今人工智能的发展，产生了帮助甚至替代人类决策的智能机器人，用于自动编程[17]、实现机器学习算法[18] 和实现AI算法[19] 的自动生成器。至此，与人类伦理的交互，和过往技术进步相比，虽有特别之处，但没有根本性的变革。

由于对乡镇基层农业统计工作缺乏足够的重视，组织管理不到位，从而导致统计人员大量流失，一些有能力的人员纷纷考走，谋求更高的职业。乡镇基层农业统计人员往往年龄偏大，能力和素质相对偏低，对统计新技术和方法接受程度不高，不愿意主动创新，责任心不高；一些新来的人员缺乏系统专业的培训，缺乏经验知识，从而导致数据分析不到位，数据报表存在漏报、错报等情况，但没有引起足够的重视，从而影响统计数据质量。

超级智能的预想，从不同角度预测着在这种模糊、不确定、剧烈变动的复杂互联网环境中试图发现一定的规律，谓之为全球大脑[20]，或人工智神[21]。他们设想一个超级智能，囊括整个人类的全部知识，独立设计智能程序，使用全球数据，控制世上全部软件及关联设备。这样一个超越人类智能的形成，其巨大的体量，远远超越了人类反应的速度，即使作为一个慈善和悲怜的系统，也随时对人类的生存产生极大的威胁：如恶意病毒，无心的错误，环境尺度的因素，自生长进化的需求都会让我们逐渐失去实时干预的能力[22]。这一点，我们已经有了不少历史例证。特别值得关注的是控制大量资金的算法。2018年2月5日美国纽约股市的闪崩失去了史上最多的1175点[23][24]，被认定主要为交易算法的自主行为：上午股票市场逐步下降，而下午3点以后，算法加入，市场全线崩盘。这种AI智能投资行为的缺陷也被指为未来金融监管的研究课题[25]。为了对大量托管资金负责，我们难道不需要建立一个处理以毫秒计时的金融机器人自主行为的伦理原则吗？此外，还会有机器人参与重大决策的环境，有需要机器人做快速决策的场景，或者是广泛影响人类福祉的一个人写出的机器人算法的决定的实际问题。为此，我们必须有一个伦理的预判。

三、智能机器人伦理原则及实现

以上分析把智能机器人的伦理责任归结为三种：阿西莫夫式的儒家机器人、平等博爱的墨家机器人和索菲亚式的高级机器人。我们可以简称为儒智、墨智和索智。即使是索智机器人，她的意愿也是为人类创造更加美好的生活。这种对人类的一视同仁，最重要的原则是公平性，人工智能供给所有人使用的原则[26]。这一点看似容易，实行绝非容易。互联网的发展建立在一项类似理想之上：“网络中立原理”。它有多个类似的解释，核心是对用户一视同仁，不会对不同用户歧视收费。尽管其作用对互联网的巨大成功被公认为居功甚伟，但2017年也受到了新的挑战[27]。人工智能公平性原则的讨论中，我们能够实现的程度也会有一定的限制，需要寻求解决方案。

除了人机关系中对人类一致性的原则以外，人工智能的安全性会是人类伦理嵌入的重要指标。例如人工智能的行为是否会违背人类伦理规范。很明显，人类本身也有偏见，或对立。但人类有能力克服个人或小群体的偏见，又可以容纳小群体伦理一定程度的多样性，达成群体伦理原则的一致性。从而产生群体民族国家的伦理。群体的伦理成长，对于人类来讲，至少对于我们现在的认知来讲，并非源于设计，至少不是指令型的嵌入。

机器人群体中基本的伦理可以是通过指令集的设计，但另一可能是通过训练集，包括数据培训和在线调试。在线交互训练数据集对人工智能产生的伦理有极大影响力。而我们所知的人工智能的伦理嵌入的例子，是和人类的成长类似，有通过长辈的言传身教学会伦理的成分。人类长辈成功施教最著名的成功由2014年5月29日推出的微软小冰所实现[28]。而不同的在线环境，给我们展示的是被人类长辈带坏了的2016年3月23日上线的微软聊天机器人TAY[29]。这两事件表现出我们需要设计方案用于构建志愿者训练群体，来确认与人类交互训练其伦理素养的机器人？

1. 人工智能的公平性

对于儒智机器人，这一点应该是毫无疑问必须直接实行，作为共享资源提供给人类的社会福利。而实施的第一步，是机器人如何认定人类：你是一个人吗[30]。这是图灵测试的一个变种。图灵测试的诉求是由人类实施的测试，试图将AI不被误认为人。而这里的人类身份认定是要让算法执行时能够不把机器误认为人。这样的算法称为反向图灵测试，也叫CAPTCHA[31]。

这里我们有多层的设计:（1）自我的设计；（2）群体意识；（3）机器人与人的认识。人类个体对自我的觉醒有一个过程，被认为出现在6万年以前[30]。作为机器人的造物主，我们需要认真地对待此事。机器人可以表现出自我保护的意识，却没有自我意识的觉醒。而且以人为例，相对于人类，它也可以表现出有自我意识的行为。如何嵌入人类伦理，有很大的协调空间。用人类本身来模仿，有极大的缺陷。我们如何对待机器人超强的数据处理能力，物理行为调度的能力，快速复制的成长历程，和不断增强的智力，以及无穷的生命力。我们给他们设计的行为模式，伦理道德，都难以从人类历史直接抄袭，甚至可能是一件从根本上超越人类极限的挑战。

人工智能的发展，还没有直接跳到超级智能之前，仍然有很大的差异，容忍各种可能的调节。我们可以看到有梦想的机器人[35]，以及不依赖数据的博弈机器人Alpha Zero[36]，再加上人智经济的新城[37]。如此成长中的智能发展环境，给智能的大规模应用，结合互联网大企业的成长，开拓了广泛而不同的路径，也对智能产生了多种多样的要求。这里我们对于智能的需求是提高生产力，与过去的普遍性的技术进步相比，对智能的大量投入是否需要有标准化的要求，是否可以提供普遍使用的智能技术基础设施平台，减少重复建设，减少对数据的滥用，通过简化，实现对智能发展的普惠效益？这样也对智能发展有一定的掌控能力。协调和监管对智能嵌入人类伦理的可能性。对智能进步和自由生长创造并免费提供基础设施。

省政协副主席周国辉到省自然资源厅调研（省厅办公室） .............................................................................12-5

人类作为将来弱智的一方（现在已经在许多领域如此）对自己权利的保护，对自己伦理权利的要求，需要一个完整的系统建立自己的电子Avatar：不能篡改，能实现快速检验，同时有强大的准确性和隐私安全性保障。这样才能确保人工智能对待人类个体的公平性。

2. 个体的偏见和群体一致性

由此可见，人类的伦理并非由一个伟人的著述而成。苏格拉底是遭众人反对后被民主处死。他的伦理与利益产生的冲突，经过多年演变，被弟子流传后成为西方文明的一部分。这有一个在人类实践中逐步被接受的过程，智能的历史也有类似的情况。微软的聊天机器人TAY，与人类交互中成长的过程被认为是失败的，并被放弃[29]。TAY的失败，表明民主方式产生的训练集的方法还需要付出巨大的努力，但由于选出的是少数的训练，必定有偏见的质疑。我们将当时公众的评判与现今学界的推崇进行对照，很合理的解释就是当时公众的意识还没有与今天的思辨对齐。那么，有什么理由能够对将会到来的超级人工智能束缚上一条伦理的缰绳呢？

比如在学习初中数学《轴对称图形》这一知识点时，在实际教学中，教师可鼓励学生结合之前积累的知识内容，使用多媒体为学生展示蝴蝶、窗花、表盘等生活中常见的轴对称图形。在教学中，教师在展示这些图形后，可以让学生从数学角度探索轴对称图形的特点。同时在课堂中教师讲解完轴对称知识概念后，教师还可引导学生进一步思考，以体会数学艺术特征，并且感受到现实生活同数学知识间的联系。通过这样的教学设计，激发学生主动思考的兴趣，同时让学生在探索过程中掌握轴对称图形的相同点。

3. 伦理训练集

在儒家的伦理框架中，阿西莫夫的科幻小说中对机器人的人伦定位恰好补入成为“君臣父子夫妻人机”。阿西莫夫的“儒家”伦理的机器人必须依序执行以下指令[6]：（1）不得伤人，或弃人于危难；（2）需服从人；（3）保护自己。与其相比，汉森公司的机器人索非亚于2017年10月成为沙特公民[7]，并在英国ABC NEWS的访谈中以我们没有那么多的精神疾病为由，要求机器人比人类拥有更多的权利[8]，从而脱离了阿西莫夫的“儒家”伦理的机器人框架。同年11月24日，机器人索非亚入选联合国开发计划署创新大赛的冠军[9]。

个体的人有自己的意愿，不能说没有偏见，不能说天生就有符合伦理的行为。人的进化也被认为是一个自我驯服的过程[32]。在群体的环境下，应对智能机器人个体决策行为加入学习的机制，加入一定程度群体共识的决策方案。对机器人行为加入群体的约束，即使是超级人工智能体，也可以融入个体意愿对最终决策的影响力。这样可以保持一定的群体影响力。

这里我们看到的是不相关的多数决策的失败，又害怕少数技术极客和财团对智能的垄断。最可能的办法是将智能机送入每个家庭，实现人与智能机器人的共同进化。就像图灵所说代主给机器人注入灵魂，再由某种社会共识构建超级智能的伦理观。这样的方案也许有可能最终解决AI算法的偏见[34]。

Selection of material and writing the text: Archakova T Design and correction of the review: Nedosugova L

四、机器智能的大规模应用基础设施建设

但我们可以看到CAPTCHA判定人类的能力并未达到100%。公平性的实施的保障，需要把准确性提高到100%。或者另辟捷径，如区块链注册身份检验，确保对人类的准确认证系统成为下一步公平服务的起点。对智能机器人的身份，在于它们与人类直接交互之前如何认证，也是一个需要进入的面临挑战的领域。比如说为你处理个人财务的银行APP，我们把自己所有的隐私信息上交之后，还留下了什么能保证我们在电子世界的唯一性？在这一点上，索智机器人要求的更多权利是否已经成为事实？有关伦理的权利，人类是否已经失去很多？

1. 应对人工智能的算法决策

B. McLaren建议的工程方案，是借助已有的经验，推广伦理学的方法用于更加广泛的场景，证明了比不用数据的理性分析方案更具优越性[34]。N. Soares和B. Fallenstein探讨了在人工智能系统超越人类本身的判断力时，人类可否或者如何运用合理的解决方案实现运用超级人工智能为己所用[38]。I. Asimov的第二项伦理原则，被发现在一定意义下有缺陷，有失去最优决策时机的可能[6]。Sanjit A Seshia等人研究如何在严格数学认证的形式下，完整地认证AI设计的正确性及发现其实现途径[39]。

大型互联网应用系统的智能成分和运营系统、商务系统、财务系统，有一个智能对人类的驯服过程。我们的友善或者贪婪，是否让人工智能有可乘之机。在人类尚未觉悟之前，人类的自由意志已经被智能一步步劫走，成为还没有成为超级智能的部分智能的奴隶，而无力解脱。

与人工智能的优势对应，如果算法出错，如何认证？谁来负责？以下是无人驾驶汽车发生事故的典型案例。2016年1月20日，一辆特斯拉轿车在京港澳高速河北邯郸段发生追尾事故，造成驾驶员身亡。针对事故责任，公司曾一度认为自动驾驶处于非运行状态。2018年2月27日下午，特斯拉车主高巨斌状告特斯拉公司的自动驾驶功能导致儿子驾车身亡，特斯拉公司最终承认车辆在案发时处于自动驾驶状态[40]。这类对算法责任认定，我们是否需要在算法系统的实施过程中建立第三方软件系统的监控功能[41]？

作为更为普遍的要求，我们是否需要在人工智能的运用过程中，适当地加入伦理和法律所需要的认证系统。

2. 将人工智能用于其解决方案的一部分

如上所述，人工智能的优势，使我们在解决其所引起的AI伦理问题时，在面临智能超越人类的行为时，处于不利地位。我们也许在最后一刻都无法预见AI将引发的伦理问题或者新的挑战。把AI用于解决方案的一部分是一种可行性方法，可直接作为我们系统优化的下一步。作为算法解决方案的一部分，将机器人伦理在机器人共生环境中相互磨合间成长起来。

人类智能的自身进步，其伦理要求是在社会群体的关注下，在教育和纠错环境下实现的。在我们看不到其他更有优势的方案之前，我们有必要设计检验算法系统的嵌入。让智能个体的运行在自身的群体中得到纠错和成长的机会。发展这样的算法和系统应该伴随着人工智能的成长，成为人工智能研发不可分割的一部分。

除此之外，当因轨面黏着下降而需要降低驱动功率来恢复黏着时，也会伴随有能量的积聚和释放的过程。因此，钢轨波状磨耗是这两种振动联合作用的结果。

3. 人类伦理嵌入智能应用系统

人类伦理的嵌入，最终还是要在设计计算力和机器智能的大规模应用中推动，极有可能会付出代价。我们可以预期到，人和机器人的分离辨认，是需要建成的最基本的机能之一，将它作为公共资源生成，公开测试，向全产业开放使用，有着对社会负责、优化资源的益处。这种智能公共资源共享机制如何选取，如何建立，如何保障安全，如何防止免费午餐行为，都有值得探讨的问题。同时，可以在这上面，建立机器人注册制度。使公共资源的使用，在云空间上的使用，和伦理嵌入同时得到保障。将机器人行为方式的演化，建立一致性的历史验证。智能公共资源和注册机器人的制度能够帮助我们达成人类伦理嵌入自动化实现的基础设施。

参考文献

[1]墨子. 墨子· 04 章·法仪. http://so.gushiwen.org/guwen/bookv_3394.aspx [2018-02-24].

[2]孔子. 孔子·论语·为政篇. http://so.gushiwen.org/guwen/bookv_20.aspx. [2018-02-24]

[3]子思. 子思·中庸·第一章. http://so.gushiwen.org/guwen/bookv_3048.aspx. [2018-02-24]

[4]孟子. 孟子·公孙丑章句上·第六条. http://so.gushiwen.org/guwen/bookv_1155.aspx[2018-02-24].

[5]魏文华. 董仲舒传.北京: 新华出版社. 2003.

[6]Asimov, Isaac. "Runaround". I, Robot (hardcover) (The Isaac Asimov Collection ed.). New York City: Doubleday. 1950.

[7]Hanson Robotics. Tonight Showbotics: Jimmy Meets Sopha the Human-Like Robot.http://www.hansonrobotics.com/robot/sophia/. [2018-02-24].

[8]Patrick Wood. Could Sophia the robot be the next ABC news presenter?http://www.abc.net.au/news/2017-10-25/sophia-the-robot-the-future-of-artificialintelligence-and-ai/9082852. [2018-02-24].

[9]UNDP press center article. UNDP in Asia and the Pacific Appoints World’s First Non-Human Innovation Champion. http://www.id.undp.org/content/indonesia/en/home/presscenter/articles/2017/11/24/rbf-sophia-robot.html. [2018-02-24].

[10]AGV搬运机器人的十大优势. https://jingyan.baidu.com/article/29697b91761d62ab 20de3c30.html. [2018-02-24].

[11]森孚机器人. 从小学习乐高、机器人的十大好处,你知道吗? https://zhuanlan.zhihu.com/p/23186680. [2018-02-24].

[12]Lori O'Toole. 除了安全, 无人驾驶汽车还有很多你所不知道的优势. https://www.roboticschina.com/news/1690.html. [2018-02-24].

[13]Turing, A. Intelligent machinery, a heretical theory. Philosophia Mathematica，1996, 4（3）：256–260.

[14]Tara Djokic, Martin J. Van Kranendonk, Kathleen A. Campbell, Malcolm R. Walter& Colin R. Ward. Earliest signs of life on land preserved in ca. 3.5 Ga hot spring.2017,15263.

[15]Robotic Industries Association. UNIMATE//The First Industrial Robot.https://www.robotics.org/joseph-engelberger/unimate.cfm. [2018-02-24]

[16]闵万里. 多体智能的进化之路. https://yq.aliyun.com/download/1896. [2018-02-24].

[17]Aidan Cunniffe. Automated programming: The future of enterprise apps. https://www.itproportal.com/2016/02/08/automated-programming-the-future-ofenterprise-apps/. [2018-02-24].

[18]Pavel Brazdil, Joaquin Vanschoren, Frank Hutter, Holger Hoos. AutoML Tutorial https://sites.google.com/site/automl2017ecmlpkdd/tutorial. [2018-02-24].

[19]Tom Ward. Google ’s New AI Is Better at Creating AI Than the Company ’s Engineers. https://futurism.com/googles-new-ai-is-better-at-creating-ai-than-the-companys-engineers/ [2018-02-24].

[20]Francis Heylighen and Marta Lenartowicz. The Global Brain as a model of the future information society: An introduction to the special issue. Technological Forecasting & Social Change，2017, 114：1–6.

[21]John Brandon. An AI god will emerge by 2042 and write its own bible. Will you worship it? https://venturebeat.com/2017/10/02/an-ai-god-will-emerge-by-2042-and-write-its-own-bible-will-you-worship-it/ (Published:Oct 2, 2017)

[22]Johnson, N. et al. Abrupt rise of new machine ecology beyond human response time.Sci. Rep. 3, 2627; DOI:10.1038/srep02627 (2013).

[23]David Pogue. Algorithmic trading caused the ash crash: An explainer. Yahoo Finance. https://ca.finance.yahoo.com/news/algorithmic-trading-explainer-190946200.html. [2018-02-07).

[24]Anna Selezneva. Stock market crash. https://en.wikipedia.org/wiki/Stock_market_crash#February_5,_2018. [2018-02-19].

[25]陶冬. 算法股灾. http://blog.sina.com.cn/s/blog_467a66b00102xj1i.html. Published 2018.02.24

[26]英特尔@AI ACADEMY. 开发面向大众的人工智能之未来. https://software.intel.com/zh-cn/ai-academy?wapkw=ai+academy&ga=2.242767234.1657381372.1519557132-1264361743.1510411940. [2018-02-24].

[27]Matthew Norris. Net Neutrality. https://en.wikipedia.org/wiki/Net_neutrality. [2018-02-07].

[28]Tanton. 微软小冰. https://baike.baidu.com/item/微软小冰. [2018-02-02].

[29]Rolfh nelson. Tay (bot). https://en.wikipedia.org/wiki/Tay_(bot). [2018-02-14].

[30]Put Real Time Human Detection to work for your company. https://areyoua human.com/. [2018-02-24]

[31]Von Ahn, Luis, Blum, Manuel, Hopper, Nicholas J., Langford, John. CAPTCHA:Using Hard AI Problems for Security. EUROCRYPT. 2003.

[32]Robert Bednarik. Self-domestication: Revision history. https://en.wikipedia.org/wiki/Self-domestication. [2018-02-24].

[33]Mark R. The Evolution of the Human Self: Tracing the Natural History of Self-Awareness. Journal for the Theory of Social Behaviour，2003, 33（4）：365–404.

[34]Bruce M. McLaren (2003), Extensionally defining principles and cases in ethics:an AI model Artificial Intelligence—Special issue on AI and law archive.2003,November.150(1-2):145-181.

[35]Gilberto Marzanoa, Alessandro Novembreb. Machines that Dream: a New Challenge in Behavioral-Basic Robotics. ICTE 2016, December 2016, Riga, Latvia.

[36]Neo-Jay. AlphaGo Zero. https://en.wikipedia.org/wiki/AlphaGo_Zero. [2018-02-13].

[37]Artificial Intelligence and Urbanization: The Rise of the Elysium City (2017)http://halo.wikia.com/wiki/Elysium_City. [2018-02-24].

[38]Soares, N., & Fallenstein, B.. Toward idealized decision theory. arXiv preprint arXiv:1507.01986.2015.

[39]Seshia, Sanjit A., Dorsa Sadigh, and S. Shankar Sastry. Towards verified artificial intelligence. arXiv preprint arXiv:1606.08514,2016.

[40]中国经济网确认了！全球首例“自动驾驶”致死车祸发生在中国！http://news.sina.com.cn/o/2018-03-01/doc-ifyrzinh1187078.shtml [2018-03-01].

[41]Manuel Blum and Sampath Kannan. Designing Programs that check their work.STOC，1989：86–97.