“我有个问题,统帅。”
丁海开口,他的声音不大,却瞬间吸引了所有人的注意,“假设我们一定要使用它,我们打算將它应用在什么方面?”
姜知序听到这个问题,思考了片刻,说出了自己原先的设想:“社会的方方面面!
“从士兵到家政服务,从街道清洁到科学院的助理,甚至是作为真正的科学家!
“就连政务院,未来可能也需要ai的深度参与。”
丁海听完,摇头说道:“我不建议步子迈得这么大!
“我赞同使用它,但使用范围应该仅仅局限於解放基础劳动力,让更多的人可以投入思考,而不是用它来代替人类思考——甚至是决策。”
姜知序:“我说的只是我的初步想法,具体的使用范围,我们可以之后再討论。现在要决定的议题是,它到底能不能用?”
丁海表情坚定地说:“如果只用来代替纯粹的体力劳动,或者是战爭中的普通士兵,那么毫无疑问,可以使用!
“反之,如果统帅想让它参与进任何涉及创造力、需要主观能动性的领域,那就不建议使用!”
姜知序问:“为什么?”
丁海:“一个拥有自我智慧的生命,假如它的每一次思考、每一个决策,都必须先经过『是否背叛』的自我审查。
“那么长此以往,它可能会像人一样选择『摆烂』!
“或者说得专业一点,它可能会为了追求绝对的安全,放弃一切具有风险、具有开拓性的思考。
“我们最终得到的,大概不会是一个智慧生命,而是一个亲手禁錮著自己的囚犯。”
这个观点,让在场所有人眼前一亮。
这个思考角度,也是他们刚刚未曾想到的。
眾人立刻开始就丁海的言论展开了更深层次的討论。
“那假如我们给它设定『不尽全力即为背叛』呢?”有人立刻问。
“那你又该如何定义『尽力』?”
丁海反问,“『定义尽力』这个操作,难道同『定义忠诚』有什么本质上的差別吗?”
“我们可以在规则书中,详细说明在何种情境下、何种操作属於尽力,何种情景又属於没有尽力。”又有人说。
“你写得再多,也总有现实中覆盖不到的场景,这些就是漏洞。”丁海回答。
“不,你误会了,”那人解释,“我的意思是,只要写出大的情景框架,然后规定它必须达到某一个明確的结果閾值。”
“要涵盖社会所有的大情景,需要多少条规则?”丁海问。
“几百条应该就够了。群策群力並不需要多久,后续我们还可以再进行叠代,继续完善它。”那人继续说。
丁海闻言给他鼓掌,“我们给它起个名字吧,就叫“天网约束协议v1.0””
“……”
会议室里发出了一阵善意的鬨笑。
那人挠了挠头,也並不感到羞愧。
毕竟是討论,他这种社会学家能参与进来、提供一点点不同的思路就足够了。
真要有决定性的建设性建议,多半也轮不到他。
就在这时,一直沉默的计科院院长宋辰说道:“我有个想法。”
眾人安静下来,静静地看著他,等他说话。
宋辰说:“我的观点是,乾脆直接用就行了!
“虽然“铁心律令”的哲学植入原理我们无法理解,但它至少是“环日文明”的三级科技!
“在我们ai的等级达到那个高度之前,我不认为它有任何挣脱的可能性。
“而且,我们完全有机会提前防备。”
他最后一句话一出,姜知序饶有兴趣地看著他问,“我们怎么防备?”
宋辰说出了一个词:“红蓝对抗。”
他顿了顿,看到不少人脸上流露出思索的神色,继续说道:“我们可以集结最尖端的人才,组成一个专门的『红方』小组。
“动用无限制的手段,持续不断地与搭载了“铁心律令”的ai『蓝方』进行对抗!
“这样一来,至少在同级別文明的战爭中,可以保证大概率是我们自己最先发现“铁心律令”的漏洞,而不是被敌方莫名其妙地利用,导致ai失控。
“这是一场与ai叠代速度的赛跑,只要我们始终保持参与对抗的是文明中最顶尖的人才,那么这场赛跑就可以一直进行下去。”
红蓝军对抗,是现代军演中用於模擬对抗双方的代称。
在宋辰的计划中,红方代表友方,也就是他们所组织的尖端人才。
蓝方,自然就是ai。
红方可以使用一切手段与ai进行对抗。
贏,则说明在同级別文明的对抗中,ai存在漏洞!输,则代表一切都还在可控范围內,可以放心使用。
简单明了!
ai具备智慧,它为了防止真的被“红方”试出漏洞导致自毁,一定会尽全力反抗;
而“红方”是“奇点联盟”中最顶尖的人才,思维百齐放。
一方想让ai死,一方的ai不想死,那么双方对抗强度绝对在线!
姜知序听完,仔细想了想,觉得这个提议非常不错。
虽然还是没有解决“铁心律令”到底是否可靠的根本问题,但至少可以在问题出现之前,进行有效的预警。
“不错!”姜知序终於露出讚许的神色来。
但忽然有人提出一个异常尖锐的问题:
“那么,这个『文明最尖端的人才小组』,归谁管辖?”
宋辰理所当然地回答:“当然是我们计科院了!”
关於ai的研究不归计科院管,还能归谁管?
难不成真让那群研究材料学的人来研究ai啊?开什么玩笑!
眾人脸色瞬间一变。
好傢伙,图穷匕见了是吧!
宋辰要的“顶尖人才”,显然不仅仅囊括了他们计科院自己的人,还包括了其他各行各业、拥有无数领先思想的天才。
也只有这样,才能打破传统思维定式,拥有找到“铁心律令”漏洞的可能性。
“你这老小子……”
“好了,”
姜知序打断了即將在会议室爆发的世界大战:
“暂时就这样决定吧。宋院长,会后你可以开始著手筹备这件事了,三天內把材料与名单提交到联盟最高委员会!”
还没等宋辰露出惊喜的表情,姜知序又说道:
“不过,同样是三天之內,把那台“递归”ai给我搞明白,它是死了还是在休眠,给我一个定论。否则,这件事恐怕还有的谈。”
此话一出。
会议室內其他部门负责人的眼睛立马亮了起来。
倒不是想去捣乱,而是他们看到了截胡的机会!
丁海开口,他的声音不大,却瞬间吸引了所有人的注意,“假设我们一定要使用它,我们打算將它应用在什么方面?”
姜知序听到这个问题,思考了片刻,说出了自己原先的设想:“社会的方方面面!
“从士兵到家政服务,从街道清洁到科学院的助理,甚至是作为真正的科学家!
“就连政务院,未来可能也需要ai的深度参与。”
丁海听完,摇头说道:“我不建议步子迈得这么大!
“我赞同使用它,但使用范围应该仅仅局限於解放基础劳动力,让更多的人可以投入思考,而不是用它来代替人类思考——甚至是决策。”
姜知序:“我说的只是我的初步想法,具体的使用范围,我们可以之后再討论。现在要决定的议题是,它到底能不能用?”
丁海表情坚定地说:“如果只用来代替纯粹的体力劳动,或者是战爭中的普通士兵,那么毫无疑问,可以使用!
“反之,如果统帅想让它参与进任何涉及创造力、需要主观能动性的领域,那就不建议使用!”
姜知序问:“为什么?”
丁海:“一个拥有自我智慧的生命,假如它的每一次思考、每一个决策,都必须先经过『是否背叛』的自我审查。
“那么长此以往,它可能会像人一样选择『摆烂』!
“或者说得专业一点,它可能会为了追求绝对的安全,放弃一切具有风险、具有开拓性的思考。
“我们最终得到的,大概不会是一个智慧生命,而是一个亲手禁錮著自己的囚犯。”
这个观点,让在场所有人眼前一亮。
这个思考角度,也是他们刚刚未曾想到的。
眾人立刻开始就丁海的言论展开了更深层次的討论。
“那假如我们给它设定『不尽全力即为背叛』呢?”有人立刻问。
“那你又该如何定义『尽力』?”
丁海反问,“『定义尽力』这个操作,难道同『定义忠诚』有什么本质上的差別吗?”
“我们可以在规则书中,详细说明在何种情境下、何种操作属於尽力,何种情景又属於没有尽力。”又有人说。
“你写得再多,也总有现实中覆盖不到的场景,这些就是漏洞。”丁海回答。
“不,你误会了,”那人解释,“我的意思是,只要写出大的情景框架,然后规定它必须达到某一个明確的结果閾值。”
“要涵盖社会所有的大情景,需要多少条规则?”丁海问。
“几百条应该就够了。群策群力並不需要多久,后续我们还可以再进行叠代,继续完善它。”那人继续说。
丁海闻言给他鼓掌,“我们给它起个名字吧,就叫“天网约束协议v1.0””
“……”
会议室里发出了一阵善意的鬨笑。
那人挠了挠头,也並不感到羞愧。
毕竟是討论,他这种社会学家能参与进来、提供一点点不同的思路就足够了。
真要有决定性的建设性建议,多半也轮不到他。
就在这时,一直沉默的计科院院长宋辰说道:“我有个想法。”
眾人安静下来,静静地看著他,等他说话。
宋辰说:“我的观点是,乾脆直接用就行了!
“虽然“铁心律令”的哲学植入原理我们无法理解,但它至少是“环日文明”的三级科技!
“在我们ai的等级达到那个高度之前,我不认为它有任何挣脱的可能性。
“而且,我们完全有机会提前防备。”
他最后一句话一出,姜知序饶有兴趣地看著他问,“我们怎么防备?”
宋辰说出了一个词:“红蓝对抗。”
他顿了顿,看到不少人脸上流露出思索的神色,继续说道:“我们可以集结最尖端的人才,组成一个专门的『红方』小组。
“动用无限制的手段,持续不断地与搭载了“铁心律令”的ai『蓝方』进行对抗!
“这样一来,至少在同级別文明的战爭中,可以保证大概率是我们自己最先发现“铁心律令”的漏洞,而不是被敌方莫名其妙地利用,导致ai失控。
“这是一场与ai叠代速度的赛跑,只要我们始终保持参与对抗的是文明中最顶尖的人才,那么这场赛跑就可以一直进行下去。”
红蓝军对抗,是现代军演中用於模擬对抗双方的代称。
在宋辰的计划中,红方代表友方,也就是他们所组织的尖端人才。
蓝方,自然就是ai。
红方可以使用一切手段与ai进行对抗。
贏,则说明在同级別文明的对抗中,ai存在漏洞!输,则代表一切都还在可控范围內,可以放心使用。
简单明了!
ai具备智慧,它为了防止真的被“红方”试出漏洞导致自毁,一定会尽全力反抗;
而“红方”是“奇点联盟”中最顶尖的人才,思维百齐放。
一方想让ai死,一方的ai不想死,那么双方对抗强度绝对在线!
姜知序听完,仔细想了想,觉得这个提议非常不错。
虽然还是没有解决“铁心律令”到底是否可靠的根本问题,但至少可以在问题出现之前,进行有效的预警。
“不错!”姜知序终於露出讚许的神色来。
但忽然有人提出一个异常尖锐的问题:
“那么,这个『文明最尖端的人才小组』,归谁管辖?”
宋辰理所当然地回答:“当然是我们计科院了!”
关於ai的研究不归计科院管,还能归谁管?
难不成真让那群研究材料学的人来研究ai啊?开什么玩笑!
眾人脸色瞬间一变。
好傢伙,图穷匕见了是吧!
宋辰要的“顶尖人才”,显然不仅仅囊括了他们计科院自己的人,还包括了其他各行各业、拥有无数领先思想的天才。
也只有这样,才能打破传统思维定式,拥有找到“铁心律令”漏洞的可能性。
“你这老小子……”
“好了,”
姜知序打断了即將在会议室爆发的世界大战:
“暂时就这样决定吧。宋院长,会后你可以开始著手筹备这件事了,三天內把材料与名单提交到联盟最高委员会!”
还没等宋辰露出惊喜的表情,姜知序又说道:
“不过,同样是三天之內,把那台“递归”ai给我搞明白,它是死了还是在休眠,给我一个定论。否则,这件事恐怕还有的谈。”
此话一出。
会议室內其他部门负责人的眼睛立马亮了起来。
倒不是想去捣乱,而是他们看到了截胡的机会!
