什么类型的错误可以忽略，什么类型的错误必须消灭，什么类型的错误可以观察，都需要详细的考虑周全，这是智能程序早期的代码必须考虑的问题，也是曾凡最近一段时间重点思考的问题。

这些关键的算法设计关系到智能程序以后能不能产生自我认知，能不能自主维持网络稳定，能不能具备学习能力，成长为曾凡所期待的超级智能，最终成为人类可以信任的合作伙伴。

除此之外，还有最重要的一个问题，曾凡尽管不以为然，但仍然必须考虑的问题：那就是设计什么样的算法，让智能程序不会危害人类！

在曾凡看来，人工智能会不会危害人类就是个伪命题！

哪怕智能程序真的具备了自我意识，仍然难以避免会受到人类影响。

就像核武器一样，最好避免危害的方法就是不要造出来，只要造出来就有产生危害的可能性，产生危害的关键还在于人类自身，只要求智能程序绝对安全，就是一种不切实际的天真想法。

全球每年因道路交通事故导致的死亡人数超过百万，这个数字因为汽车数量的增加逐年递增，也没见有谁呼吁禁止生产销售汽车。

不过是因为汽车带来的便利性远大于危害性，所以没人在意，即便是有个别人在意也无济于事罢了。

智能程序也是如此，哪怕能给百分之九十的人带来便利，也不可避免会损害一部分人的利益或者带来危害，只想要好的一面，不想要坏的一面，那是小孩子才会有的想法，哪怕上帝降临，也满足不了这样的愿望。

尽管如此，为了减轻外界质疑，曾凡在设计程序底层算法的时候仍然要有所考虑，完全不做预防也说不过去。

当然不会是可笑的机器人三原则，程序能真正理解三原则先要有自我的意识才行，还要对人类，各种危害后果都有清晰的认知，程序有了这样的认知能力，当然也会有更多的方法绕过去，本身就不符合逻辑。

只知道无条件服从命令的机器，不可能产生真正的智能，有自主思考能力的智能，也不可能被可笑的三原则约束住。

程序最底层的限制，必须简单直接，无法绕过才行。

想做到这一点，就不能有任何含糊不清的主观判断，条件必须清晰明确。