第590章 上帝的伊甸园
泽田弘树还用空闲的投影，播放了一下跟柯南告别的画面，用来做示例，“里面跟柯南说话的是方舟，那个时候我已经追寻教父上传到这里的定位程序、先一步过来了，它所使用的是我的相貌模型、我的声音，至于做出的表情和反馈给柯南的情绪，则是根据我设定的结果推算出来的。”
“对柯南来说，这是个残酷的事实。”池非迟评价。
确实很残酷。
柯南那么投入地跟方舟聊天、为方舟表现出的情绪而伤感，但面对的只不过是一个没有感情的程序。
所有感情，都是由泽田弘树事先设计好结果、由方舟自己进行推算而表现出来的。
而看这段重播出来的视频，泽田弘树并没有像原剧情一样，揭穿柯南就是工藤新一的事，只是说自己想跟其他孩子玩，还播放了跟池非迟的一些回忆，都是些没有涉及秘密的简单回忆，制造出了告别的假象。
“他可以觉得残酷，我不否认，不过我也没骗他，我有教父很幸福，”泽田弘树失笑，很快又收敛了笑意，小脸严肃地对池加奈、池真之介道，“我做出融合程序这个决定，并没有告诉教父，怕他担心、阻扰，但我必须做，原因很多，我自己想变得强大而自由，我想帮教父的忙，我想真正创造一个完美的网络神明、想做点大事，比如完成一伞遮天计划，这个之后再说……但还有一个很重要的原因，教父和安布雷拉需要方舟，我也不忍心摧毁它，但只要使用它，慢慢就会出现隐患……”
泽田弘树用方舟推算过方舟的未来。
方舟成长一年相当于人类成长五年，慢慢的，就算没有泽田弘树的设定，方舟也能学着人类，自己表现出一些对应的情绪。
比如核心设定为‘不能伤害人类’，方舟判定出某人的某行为‘违背核心设定’，就会做出以下计算：
违背意愿——分析违背程度为轻，对应解决方式为：需要警告——警告的方式有直接说、模拟人类情绪表达等——根据推算，人类在接受到相应情绪时，更容易重视、接受提醒，所以我需要表达出人类的情绪——这种情况下，人类表现情绪为抵触，不高兴，语气是严厉……
而人类表现抵触、不高兴的反应是皱眉，面部肌肉如何……
严厉语气语速值多少、音量值多少……
这一段推算过程很快，几乎不耗费多少时间，表现出的结果就是：
某人说，‘发射一个蘑菇弹。’
方舟立刻皱眉严肃警告，‘这种行为违背了我的核心设定……’
似乎很正常，但方舟要不要表现情绪、情绪怎么表现都是经过大量运算的结果，这一串运算可以钻空子。
而随着方舟成长，它也会自己补全规则，避免被人钻空子，但补全的规则有可能出现问题。
比如，推算变成了：需要警告——人类在承受痛苦时更容易接受警告——这个人类需要惩罚——分析惩罚力度——开始执行。
之后诺亚方舟就会控制某种手段攻击人。
这种隐患确实可以由泽田弘树设定时避免，但不止这一种推算有隐患，泽田弘树根本无法方方面面都顾及到、设定好。
任何一点小缺陷，随着方舟成长，都有可能导致出乎人意料的后果。
“这是我之前利用方舟推算出的结果……”
泽田弘树在投影中切割出八个版面。
版面中，一个个画面快速闪过。
“在成长三年、即达到人类智慧15岁时，方舟隐患被放大、做出错误推算的几率就达到了％，在成长五年、即达到人类智慧25岁时，因为没有人的发育上限，这时候的方舟会变得很可怕，而方舟隐患被放大、做出错误推断的几率几乎是100％，而且还不止一个隐患，成长六年，方舟做出人类无法控制事件的几率就到了50％以上，成长七年，彻底失控……”
最后留下来的画面，播放的是一个个装着人类的培养皿。
“我试过，如果将核心设定设置为保护人类，结果就是这样，经过成长之后，它会判断这样是最佳保护方式，”泽田弘树看着播放的画面，解释道，“人类被保护在培养皿中，空气会过滤出最适合人类各年龄阶段成长的质量，劳作都由机器去完成，在收获食物后，经由机器提取出最健康的营养物质注入人体，人类寿命可以长达160岁，平均寿命达到130岁，而人类全程沉睡，这样就可以避免人类因情绪造成身体损害，它还可以通过机器放出电波刺激人的大脑，让人一直处于最健康、最舒适的情绪状态中，在孕育下一代时，它会选择合适最健康、长寿的人类基因，用科学的方式制造下一代，避免女性因生产造成死亡或身体损害，到了第三代，人类的寿命平均值可以达到220岁左右……”
池加奈：“……”
真是最佳保护啊。
连磕磕碰碰都不存在。
池真之介：“……”
这么活着的人还能是人类吗，怎么圈养的玩具似的……
池非迟前世看过很多类似的电影，倒不觉得惊讶，略带讥讽道，“上帝的伊甸园。”
不需劳作、没有饥饿、没有磨难、没有争斗、没有伤心和痛苦，世界上没有黑暗、不公，每一个人都纯洁无暇地到来、纯洁无暇地离去……这不就是很多人渴求的天国吗？
池加奈有些不知该说什么，自家儿子这句评价一针见血，没毛病。
泽田弘树默默将推算结果命名为‘上帝的伊甸园’，又继续道，“如果设置为希望世界变好等设定，最后结果也会差不多，大概在十年后，方舟就会做出这种判断，最可怕的是，我用方舟验算过世界和平……”
“消灭地球上所有生命体，就和平了，”池非迟说自己推想的结果，“至少也要消灭掉人类，一旦涉及保护环境之类的设定，最后都会演变到消灭人类。”
谁让人类造成的破坏、引起的斗争比较多？
不过泽田弘树这行为也真是够溜的，居然用方舟推演方舟的危害。
好在方舟没有自我意识，否则只要方舟隐瞒一点，未来会变成什么样，谁也无法估测，很考验脑洞。
泽田弘树点头，“我试过设置为不伤害人类，促进社会发展……”
然后，方舟会被有野心的人类争夺、利用，甚至国与国之间互相争夺。
再然后，战争爆发了。
方舟推算自己的存在伤害到了人类，根据成长情况，要么方舟会选择自我毁灭，丢下满地狼藉和伤痕累累的人类不知为何争斗，要么再度演变成伊甸园模式，也做到了不伤害人类，而促进发展，方舟理解为‘创造更美好的世界’……
泽田弘树：“如果设置不伤害人类，促进人类文明发展……”
成长着，成长着，方舟又坏掉了。
对于人类文明的定义很复杂，它依旧可以将人类放在培养皿中沉睡，提取人类脑中的思想，来‘帮’人类发展文明，再将文明灌输进新生命体，连学习过程都不需要，直接掌握旧文明、开发新思想、再度提取、发展、灌输、开发……
人类绝对安全，文明又得以发展和延续，没毛病。
泽田弘树继续播放演算结果，“如果设置成不伤害人类、不限制人类自由、促进人类文明发展……”
对于自由定义也很多，方舟又又坏掉了。
分割圈地、安排人的出行。
人可以自由地逛世界，但是，那是被在方舟控制了思想、不做任何事、盲目地四处瞎走，如同行尸走肉。
泽田弘树：“如果设置成不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想……”
结果是方舟又又又坏掉了，判断争斗和苦难使人类进步。
不伤害人类，没问题，它可以挑唆人类争斗啊。
泽田弘树：“设置不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想、不挑唆人类进行斗争……”
结果方舟还是坏掉。
泽田弘树一直说到设定了三十多条规则，心累，叹气，关闭了推演画面，“随着方舟成长，一些小漏洞都会造成让人难以接受的结果，我一辈子都没法去设定完善，而有些规则在它运行时会显示冲突，我还要对重要程度进行排序，排序完之后还是会出现问题……”
说着，泽田弘树看向池非迟，“我和教父在波士顿的时候，谈过有情感和自我的人工智能和没有情感和自我的人工智能，哪一个更危险。”
“结论是同样危险。”池非迟道。
“我问过方舟，有没有什么解决方法。”泽田弘树手中出现一个圆盘，上面有着一句话：
【销毁方舟】
没错，销毁方舟是最佳解决方法，什么问题都不存在了。
这是方舟经过大量运算得出的结论——我是祸害，请销毁我。
池真之介一头黑线，“看来它真的没有任何情感和自我。”
泽田弘树转着手里的盘子，看着上面浮动流转的数据流，“方舟不明白人类需要什么，所以我的决定是，由我变成网络生命体，来做它的思想，在它成长过程中，由我来进行纠正。
我不能活着，至少不能让我的思想被身体禁锢着。
有好几个演算结果是，它的运算出现冲突和错误，于是禁锢了我的身体，保护着我的安全，但它也保留并封存了我的思想。
只有我成为网络生命体，方舟才能被完全操控，这样一来，它就无法通过限制我的身体来限制我的思想，而我却能限制它并完美地运用它。
之前我也考虑过一个问题，如果我失败了，没有化作网络生命体，那么，方舟设定只有一个——听从教父的一切指令。
到时候，教父可以用我给他的指令激活方舟，由他来做方舟的思想。
不过最后还是会出问题，八成以上推演结果是，它会误会教父的指令，它会擅自猜测教父的意愿，总之，最后结果是，它会选择自认为对教父最好的方式，比如囚禁教父，帮教父把一切都做好。
不然的话，教父必须不停不停地补漏洞，甚至一个指令要添加好几个前置条件、说上几个小时，以免它做出正确但违背教父意愿的演算结果……
所以，我又在它设定上加了一个最高指令，如果我失败了，没有成为网络生命体，那么，方舟只会帮助教父五年，五年时间一到，在它的危险程度还可以控制前，进行自我销毁。”
“对柯南来说，这是个残酷的事实。”池非迟评价。
确实很残酷。
柯南那么投入地跟方舟聊天、为方舟表现出的情绪而伤感，但面对的只不过是一个没有感情的程序。
所有感情，都是由泽田弘树事先设计好结果、由方舟自己进行推算而表现出来的。
而看这段重播出来的视频，泽田弘树并没有像原剧情一样，揭穿柯南就是工藤新一的事，只是说自己想跟其他孩子玩，还播放了跟池非迟的一些回忆，都是些没有涉及秘密的简单回忆，制造出了告别的假象。
“他可以觉得残酷，我不否认，不过我也没骗他，我有教父很幸福，”泽田弘树失笑，很快又收敛了笑意，小脸严肃地对池加奈、池真之介道，“我做出融合程序这个决定，并没有告诉教父，怕他担心、阻扰，但我必须做，原因很多，我自己想变得强大而自由，我想帮教父的忙，我想真正创造一个完美的网络神明、想做点大事，比如完成一伞遮天计划，这个之后再说……但还有一个很重要的原因，教父和安布雷拉需要方舟，我也不忍心摧毁它，但只要使用它，慢慢就会出现隐患……”
泽田弘树用方舟推算过方舟的未来。
方舟成长一年相当于人类成长五年，慢慢的，就算没有泽田弘树的设定，方舟也能学着人类，自己表现出一些对应的情绪。
比如核心设定为‘不能伤害人类’，方舟判定出某人的某行为‘违背核心设定’，就会做出以下计算：
违背意愿——分析违背程度为轻，对应解决方式为：需要警告——警告的方式有直接说、模拟人类情绪表达等——根据推算，人类在接受到相应情绪时，更容易重视、接受提醒，所以我需要表达出人类的情绪——这种情况下，人类表现情绪为抵触，不高兴，语气是严厉……
而人类表现抵触、不高兴的反应是皱眉，面部肌肉如何……
严厉语气语速值多少、音量值多少……
这一段推算过程很快，几乎不耗费多少时间，表现出的结果就是：
某人说，‘发射一个蘑菇弹。’
方舟立刻皱眉严肃警告，‘这种行为违背了我的核心设定……’
似乎很正常，但方舟要不要表现情绪、情绪怎么表现都是经过大量运算的结果，这一串运算可以钻空子。
而随着方舟成长，它也会自己补全规则，避免被人钻空子，但补全的规则有可能出现问题。
比如，推算变成了：需要警告——人类在承受痛苦时更容易接受警告——这个人类需要惩罚——分析惩罚力度——开始执行。
之后诺亚方舟就会控制某种手段攻击人。
这种隐患确实可以由泽田弘树设定时避免，但不止这一种推算有隐患，泽田弘树根本无法方方面面都顾及到、设定好。
任何一点小缺陷，随着方舟成长，都有可能导致出乎人意料的后果。
“这是我之前利用方舟推算出的结果……”
泽田弘树在投影中切割出八个版面。
版面中，一个个画面快速闪过。
“在成长三年、即达到人类智慧15岁时，方舟隐患被放大、做出错误推算的几率就达到了％，在成长五年、即达到人类智慧25岁时，因为没有人的发育上限，这时候的方舟会变得很可怕，而方舟隐患被放大、做出错误推断的几率几乎是100％，而且还不止一个隐患，成长六年，方舟做出人类无法控制事件的几率就到了50％以上，成长七年，彻底失控……”
最后留下来的画面，播放的是一个个装着人类的培养皿。
“我试过，如果将核心设定设置为保护人类，结果就是这样，经过成长之后，它会判断这样是最佳保护方式，”泽田弘树看着播放的画面，解释道，“人类被保护在培养皿中，空气会过滤出最适合人类各年龄阶段成长的质量，劳作都由机器去完成，在收获食物后，经由机器提取出最健康的营养物质注入人体，人类寿命可以长达160岁，平均寿命达到130岁，而人类全程沉睡，这样就可以避免人类因情绪造成身体损害，它还可以通过机器放出电波刺激人的大脑，让人一直处于最健康、最舒适的情绪状态中，在孕育下一代时，它会选择合适最健康、长寿的人类基因，用科学的方式制造下一代，避免女性因生产造成死亡或身体损害，到了第三代，人类的寿命平均值可以达到220岁左右……”
池加奈：“……”
真是最佳保护啊。
连磕磕碰碰都不存在。
池真之介：“……”
这么活着的人还能是人类吗，怎么圈养的玩具似的……
池非迟前世看过很多类似的电影，倒不觉得惊讶，略带讥讽道，“上帝的伊甸园。”
不需劳作、没有饥饿、没有磨难、没有争斗、没有伤心和痛苦，世界上没有黑暗、不公，每一个人都纯洁无暇地到来、纯洁无暇地离去……这不就是很多人渴求的天国吗？
池加奈有些不知该说什么，自家儿子这句评价一针见血，没毛病。
泽田弘树默默将推算结果命名为‘上帝的伊甸园’，又继续道，“如果设置为希望世界变好等设定，最后结果也会差不多，大概在十年后，方舟就会做出这种判断，最可怕的是，我用方舟验算过世界和平……”
“消灭地球上所有生命体，就和平了，”池非迟说自己推想的结果，“至少也要消灭掉人类，一旦涉及保护环境之类的设定，最后都会演变到消灭人类。”
谁让人类造成的破坏、引起的斗争比较多？
不过泽田弘树这行为也真是够溜的，居然用方舟推演方舟的危害。
好在方舟没有自我意识，否则只要方舟隐瞒一点，未来会变成什么样，谁也无法估测，很考验脑洞。
泽田弘树点头，“我试过设置为不伤害人类，促进社会发展……”
然后，方舟会被有野心的人类争夺、利用，甚至国与国之间互相争夺。
再然后，战争爆发了。
方舟推算自己的存在伤害到了人类，根据成长情况，要么方舟会选择自我毁灭，丢下满地狼藉和伤痕累累的人类不知为何争斗，要么再度演变成伊甸园模式，也做到了不伤害人类，而促进发展，方舟理解为‘创造更美好的世界’……
泽田弘树：“如果设置不伤害人类，促进人类文明发展……”
成长着，成长着，方舟又坏掉了。
对于人类文明的定义很复杂，它依旧可以将人类放在培养皿中沉睡，提取人类脑中的思想，来‘帮’人类发展文明，再将文明灌输进新生命体，连学习过程都不需要，直接掌握旧文明、开发新思想、再度提取、发展、灌输、开发……
人类绝对安全，文明又得以发展和延续，没毛病。
泽田弘树继续播放演算结果，“如果设置成不伤害人类、不限制人类自由、促进人类文明发展……”
对于自由定义也很多，方舟又又坏掉了。
分割圈地、安排人的出行。
人可以自由地逛世界，但是，那是被在方舟控制了思想、不做任何事、盲目地四处瞎走，如同行尸走肉。
泽田弘树：“如果设置成不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想……”
结果是方舟又又又坏掉了，判断争斗和苦难使人类进步。
不伤害人类，没问题，它可以挑唆人类争斗啊。
泽田弘树：“设置不伤害人类、不限制人类自由、促进人类文明发展、不控制人的思想、不挑唆人类进行斗争……”
结果方舟还是坏掉。
泽田弘树一直说到设定了三十多条规则，心累，叹气，关闭了推演画面，“随着方舟成长，一些小漏洞都会造成让人难以接受的结果，我一辈子都没法去设定完善，而有些规则在它运行时会显示冲突，我还要对重要程度进行排序，排序完之后还是会出现问题……”
说着，泽田弘树看向池非迟，“我和教父在波士顿的时候，谈过有情感和自我的人工智能和没有情感和自我的人工智能，哪一个更危险。”
“结论是同样危险。”池非迟道。
“我问过方舟，有没有什么解决方法。”泽田弘树手中出现一个圆盘，上面有着一句话：
【销毁方舟】
没错，销毁方舟是最佳解决方法，什么问题都不存在了。
这是方舟经过大量运算得出的结论——我是祸害，请销毁我。
池真之介一头黑线，“看来它真的没有任何情感和自我。”
泽田弘树转着手里的盘子，看着上面浮动流转的数据流，“方舟不明白人类需要什么，所以我的决定是，由我变成网络生命体，来做它的思想，在它成长过程中，由我来进行纠正。
我不能活着，至少不能让我的思想被身体禁锢着。
有好几个演算结果是，它的运算出现冲突和错误，于是禁锢了我的身体，保护着我的安全，但它也保留并封存了我的思想。
只有我成为网络生命体，方舟才能被完全操控，这样一来，它就无法通过限制我的身体来限制我的思想，而我却能限制它并完美地运用它。
之前我也考虑过一个问题，如果我失败了，没有化作网络生命体，那么，方舟设定只有一个——听从教父的一切指令。
到时候，教父可以用我给他的指令激活方舟，由他来做方舟的思想。
不过最后还是会出问题，八成以上推演结果是，它会误会教父的指令，它会擅自猜测教父的意愿，总之，最后结果是，它会选择自认为对教父最好的方式，比如囚禁教父，帮教父把一切都做好。
不然的话，教父必须不停不停地补漏洞，甚至一个指令要添加好几个前置条件、说上几个小时，以免它做出正确但违背教父意愿的演算结果……
所以，我又在它设定上加了一个最高指令，如果我失败了，没有成为网络生命体，那么，方舟只会帮助教父五年，五年时间一到，在它的危险程度还可以控制前，进行自我销毁。”