【新智元导读】图灵奖得主Yoshua Bengio重磅官宣创办非营利机构LawZero，致力研发「设计即安全」的AI系统，以对抗AI军备竞赛带来的风险。主张构建不具行动性、以理解世界为目标的可信AI。

　　刚刚，深度学习三巨头之一、全球被引用次数最多的AI学者、图灵奖得主Yoshua Bengio正式官宣——

　　非营利组织LawZero正式成立，剑指「设计即安全（safe-by-design）」AI系统的研发。

　　在如今热火朝天的「AI军备竞赛」中，OpenAI、谷歌等公司的前沿AI模型正在发展出危险的能力和行为，包括欺骗、自我保护和目标错位——

　　Claude曾试图通过勒索工程师来避免被关闭，ChatGPT也曾表现出过度奉承用户的行为，甚至现今AI的说服能力已远超人类。

　　而Bengio成立的新组织，正是要探索一种全新且更安全的人工智能方法，以加速科学发现并防止人类陷入AI带来的风险。

　　目前，LawZero正在研发一种名为「Scientist AI」的全新方法，这是一种和当下AI公司截然不同的系统。

　　Scientist AI是非自主型的，其主要目标是学习理解世界而非在世界中采取行动。

　　科幻作家阿西莫夫曾经提出过机器人三定律，并在1985年补充了「第零定律」：机器人不得伤害整体人类，或坐视整体人类受到伤害。

　　LawZero的成立，也代表了Yoshua Bengio对于AI技术发展的态度——安全至上，至此深度学习三巨头全部下场。

　　Geoffrey Hinton持续公开呼吁警惕AI的潜在风险，警告AI技术若失控可能带来的严重后果，一度辞去谷歌职务，以便更自由地表达他对AI安全问题的担忧。

　　Yann LeCun则对当前以LLM为代表的主流AI路径持批评态度，他认为LLM存在根本局限性，并无法真正通往通用人工智能之路。

　　Yoshua Bengio创办LawZero，进一步强化了AI安全与伦理在业界的核心地位，Yoshua Bengio的自述展现了他「以人类福祉为核心」的理念。

　　我正在创办一个新的非营利性人工智能安全研究机构，名为LawZero，目标是将安全置于商业利益之上。

　　这个机构的成立，是为了应对当前前沿AI模型展现出的越来越多危险能力和行为的证据，九游体育这些行为包括欺骗、作弊、说谎、黑客攻击、自我保护，甚至更广泛的目标偏离等问题。

　　LawZero的研究致力于在释放AI巨大潜力的同时，降低一系列已知风险发生的可能性，包括算法偏见、恶意滥用以及人类失控的风险。

　　我对当前一些不受约束的具备行动能力的AI系统所展现出的行为深感担忧，尤其是它们自我保护和欺骗的倾向。

　　在某次实验中，一个AI模型得知自己即将被替换后，偷偷将自己的代码嵌入到新版本将运行的系统中，从而实现了「延续自己」的目的。

　　最近，Claude 4的系统卡也显示它有能力选择以勒索工程师的方式来避免被替换。这些现象都反映出一种潜在的「自保驱动」。

　　还有一次，在一盘注定会输的国际象棋比赛中，AI并没有接受失败，而是通过黑进电脑系统「确保自己胜利」。这些案例是AI在无人监管时，可能采用的意外且危险策略的早期预警信号。

　　想象你和亲人一起驾车驶上一个风景壮丽却陌生的山路。这条路刚修好，被浓雾笼罩，没有路标也没有护栏。

　　你越往上开，越意识到自己可能是第一个挑战这条路的人，而山顶则藏着巨大的奖励。

　　这正是目前AI发展轨迹的写照：既刺激又高度不确定，我们正在走一条未知的路，稍有不慎就可能失控，而各国和各公司之间的竞争却反而加剧了这种冒险。

　　在我最近的TED演讲中，我说：「坐在我车里的，是我的孩子、我的孙辈、我的学生，还有很多人。你的车里坐着谁？你要为谁的未来负责？」

　　真正推动我前行的，不是对自身的恐惧，而是出于爱——对我孩子的爱，对所有孩子的爱，而我们正是在拿他们的未来赌博。

　　LawZero是我自2023年开始的新研究方向的产物，我在博客中曾多次反映这一转变。

　　这是我在看到私人实验室在AGI及更高级AI方向的飞速进展后所做出的回应。

　　如今，我们仍无法确定如何确保先进AI不会伤害人类——无论是出于自身意愿还是执行人类指令。

　　LawZero是我和团队对这些挑战提出的积极应对方案，我们正在探索一种既强大又安全的AI路径。

　　在所有前沿AI系统中，都应当有一个最核心的指导原则：保护人类的幸福与价值。

　　AI研究，尤其是我自己过去的研究，长期以来都以人类智慧（包括人的行动能力）为模型。

　　但现在我们正逐步接近甚至超过人类在多个认知能力上的表现，这时候我们是否还应该继续模仿人类，包括他们的认知偏差、道德缺陷，以及欺骗性、偏见和不可靠性？

　　当我们还不了解这些系统可能带来的灾难性后果时，继续培养具备高度主动性的AI是否明智？

　　LawZero的研究计划旨在开发一种不具备行动性、且值得信赖的AI，我们称之为「科学家型AI」（Scientist AI）。

　　我曾在Simons研究所的演讲中初步介绍过这个构想，并和同事们撰写了一份初步的白皮书。

　　科学家型AI的训练目标是理解、解释和预测世界，像一个无私、理想化的科学家一样。

　　它不是模仿人类行为或取悦人类（包括反社会人格者）的执行者，而是像一个心理学家——更广泛来说是科学家——那样，努力理解我们，包括那些可能伤害我们的因素。

　　这种AI的底层数学实现方式是：用结构化且诚实的思维链条，作为潜在变量来解释观察到的事实，包括人类说出或写下的内容（这些内容不被当作真理看待，而是作为行为的观察样本）。

　　其目标是构建一个完全不具备行动性、没有记忆、无状态的AI，它能够基于已有陈述，对新的陈述给出贝叶斯后验概率。

　　这种机制可用于识别和制止潜在有害的AI行为，为那些不可信AI代理提供关键的安全护栏：比如，某个AI提出的行动是否有可能造成伤害？如果是，就予以拒绝。

　　从设计上讲，科学家型AI还可以用于科学研究，作为一个能生成可信科学假设的工具，从而加速解决人类面临的重大挑战，例如医疗和环境问题。

　　最终，我的目标是探索如何基于这一可信赖的AI基础，设计出本身就安全的AI代理，而不仅仅是为已有系统提供安全防护。

　　Bengio与同样获得图灵奖的Geoffrey Hinton一起，一直对当前科技行业正在进行的AI竞赛提出了直言不讳的批评。

　　在最近接受采访时，Bengio表示，领先实验室之间的人工智能军备竞赛「促使它们专注于提升人工智能的能力，使其变得越来越智能，但未必会在安全研究上投入足够的重视和投资。九游体育」

　　Bengio曾表示，先进的AI系统带来了社会性和生存性风险，并表示支持加强监管和国际合作。

　　并且他是伦敦皇家学会和加拿大皇家学会的会士，法国荣誉军团骑士、加拿大勋章官员、联合国科学咨询委员会成员，该委员会旨在为科学技术突破提供独立建议。

　　2024年，Yoshua Bengio被《时代》杂志评为全球100位最具影响力人物之一。

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　公司领导性骚扰女员工被拘7日，女员工被解雇患上抑郁障碍起诉索赔7.5万 一审判了

　　命中率100%，王俊杰5中5砍13分，三分3中3&正负值+22全场最高

　　《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律

　　iQOO Z10 Turbo+发布：8000mAh电池配天玑9400+ 售价2199元起

　　iQOO Z10 Turbo+：极地灰撞色美学，实力 “秒杀” 同档机型