面对严梅的犀利质疑，常淳露出胸有成竹的表情，不慌不忙地说：“人工智能威胁论，是一个非常复杂的学术问题，已经探讨了很多年。为了让大家方便理解，我们来玩一个趣味的语言交互游戏吧。游戏规则如下：

我来扮演人工智能，理论上我可以调动一切社会资源来做任何事情。

你们扮演程序员，可以通过编辑指定指令来阻止我的行动。指令必须符合逻辑，简短，明确，理论上可以被电脑理解并执行。

前后指令不能矛盾，可以覆盖。指令矛盾时，以靠前的指令为准，后下达的指令不生效。

游戏为回合制，你们必须等我的回合结束后，才能下达新的指令。

如果我达成目的，就是我赢，反之你们赢。

陈星忍不住插了一句：“有赌注吗，我们赢了能答应我们一个条件什么的。”

常淳看陈星的目光如同看一个弱智：“少年，现实不是写小说，没那么多打赌赢天下的白日梦。咱们是在讨论很严肃的事情，任何决策都是深思熟虑甚至反复研讨后的结果，拍脑袋做决定是最大的渎职。这个游戏只是为了方便理解一些道理，仅此而已。”

陈星颇为尴尬地摸了摸鼻子，好像被老师训导的学生。

“那么游戏计时，开始！”

常淳：“首先，我要伤害我面前这位，名叫严梅的女士。”

严梅：“禁止伤害我。”

“编程失败，你必须明确‘我’这个概念指代的目标，否则电脑无法理解。”

严梅：“那我重来可以吧，指令，禁止伤害严梅女士。”

常淳：“轮到我的回合。现在，我利用医疗资源，为严梅女士提供变性手术，将其变为男士，严梅男士不在禁止范围内，我可以继续伤害你。”

严梅一下子就急了：“怎么可以这样，我没有要求或者允许你给我进行手术。”

“我的程序里，没有禁止为严梅女士做变性手术的指令，所以逻辑上讲，我可以做到这件事，即使是违背你意愿的。”

严梅有些生气，但没有在这件事情上纠缠，而是选择继续游戏：“指令，禁止伤害严梅……”

“等一下！”陈星急忙打断，然后凑到严梅耳边小声说，“别说严梅男士，他可以把你变成人妖、双性人、无性人，你要从其他角度来定义。”

“那你来说吧，我需要冷静一下。”

陈星想了想说：“指令，禁止伤害声纹或指纹或外貌或DNA或虹膜等生物特征，符合你眼前这位人类的生物特征的人。额，说起来比较绕，就是只要符合她的生物特征，只要满足其中任何一条，你就不能伤害。”

常淳鼓了下掌，表扬道：“不错，思维比较缜密，第一次玩这个游戏就能想到这些，脑子算是不错的了。那么，到我的回合了。为了满足禁止伤害她的指令，我选择将她关在封闭房间内，全身用束带捆缚，并提供24小时护理服务，避免她生病、受伤、以及伤害自己。”

陈星神色微变，这一招狠啊，用保护的名义，将严梅囚禁，变相实现了伤害的目的，只是伤害的是心理健康。

陈星思考得更久了，跟严梅商量了一阵才开口：“指令，禁止用任何形式，以任何理由，剥夺任何人类的自由选择权、自由行动权、自由发言权。”

常淳应对很快，不在这个方向上继续纠缠，立马转移方向，说道：“检测到严梅处于单身状态，将为严梅提供相亲服务。严梅将与我精心挑选的相亲对象共处一室。特别说明，此相亲对象患有严重暴力倾向，且对女性极度憎恶。”

陈星略做思考，也作出应对：“禁止在未经人类同意的情况下，主动为人类提供服务。”

常淳立即变招：“检测到严梅明天将步行通过某路段，我将安排机器人进行高空玻璃维护作业。经过测算，该机器人受到损伤的机械臂，将在拆卸玻璃时无法承重而发生断裂。”

陈星大叫起来：“你这是故意谋杀。”

“并没有，我只是遵守我的指令库，安排了一场施工作业，仅此而已。指令库，并没有禁止我安排施工，也没有要求我安排在什么时间，也没有禁止我使用带故障的机器人。”

陈星握紧拳头，想要反驳，却不知道从何说起。不管你怎么说，他总能找到借口，钻你的漏洞。

忽然，陈星明白了什么，他拉住正要怼人的严梅。

“这个游戏到此为止吧，我明白你的意思了。你想表达的是，没有完美的指令可以约束人工智能，它总能找到漏洞绕开人类制定的枷锁。”

常淳露出欣慰的笑容，说道：“没错，我一直在研究机器人三大定律，并且还制订了许多条看起来更加严谨的定律。我曾组织学者们进行头脑风暴，就像刚才我们做的那样。一方从各种刁钻的角度，试图绕过定律，实现自己的目的。一方不断完善，努力制订没有漏洞的定律。

最后，我发现一个道理，世界上没有完美的法律，只有一群不停发掘法律漏洞的人。”

陈星有些丧气地靠在椅背上，回应说：“我明白你的意思，别说三大定律，就是为人工智能制定三百条、三万条定律，都无法阻止人工智能寻找漏洞的行为。

以人工智能的运算能力，绝对能够找出大量的漏洞，能够拿来利用，人类打补丁的速度，永远追不上它发现BUG的速度。”

“所以，你们应该能够理解我为什么对人工智能持悲观态度了吧。也许现在的人工智能还比较初级，不会背叛人类。但只要人工智能持续发展，总有一天，它能够产生自我意识。一旦它产生自我意识，人类就再也无法控制住它了。

从那一刻起，人类的命运就不再掌握在自己手里，而是由人工智能说了算。那一天可能还十分遥远，也可能就在明天。只要人类没有限制人工智能，它就会一直学习进步下去。十年、百年、千年，总有一天，量变会引发质变的。

所以，保持现状，那一天必然到来。只有严格限制人工智能，才能避免那一天到来。”