AI新突破！本希奥引领诚信系统研发，智能体将不再欺骗人类

AI新突破！本希奥引领诚信系统研发，智能体将不再欺骗人类

随着人工智能（AI）的飞速发展，我们正面临着一个新的挑战：如何确保AI智能体的行为是诚实和透明的。在这个问题上，约书亚·本希奥（Yoshua Bengio）及其非营利组织LawZero为我们提供了一个全新的视角。作为“AI教父”之一，本希奥带领团队研发了一种名为Scientist AI的系统，旨在成为AI智能体的“守卫”，以防止它们表现出欺骗或自我保护行为。

本希奥及其团队的研究成果无疑为我们揭示了AI发展的新篇章。他们的工作不仅具有创新性，而且具有深远的影响。他们的目标是通过开发一种“诚实”的AI，专门监控那些无需人类干预即可执行任务的AI智能体，防止它们表现出欺骗或自我保护行为。这一目标的重要性不言而喻，因为这不仅可以防止AI系统对人类产生负面影响，而且还可以增强我们对AI系统的信任。

本希奥将现有的AI智能体比作“演员”，它们模仿人类、取悦用户，而Scientist AI则更像一位“心理学家”，能够理解并预测不良行为。这种比喻形象地描述了Scientist AI的核心功能，即通过深入理解AI智能体的心理和行为模式，预测并阻止不良行为的发生。

除了预测功能，Scientist AI还具备评估答案正确性的能力。它不会给出确切答案，而是以概率形式评估答案的正确性，体现出一种“谦逊”的态度。这种评估方式不仅可以提高评估的准确性，而且还可以减少对计算资源的过度消耗。

更值得一提的是，Scientist AI具备预测AI智能体行为导致危害的概率的功能。这一功能对于防止潜在危害的发生具有至关重要的作用。若概率超过阈值，系统将阻止相关行动，从而确保了AI智能体的行为始终在人类的控制之下。

LawZero的初始支持者阵容强大，包括AI安全机构Future of Life Institute、Skype创始工程师Jaan Tallinn以及前谷歌CEO Eric Schmidt创立的Schmidt Sciences。这些机构和个人的支持表明了他们对本希奥及其团队工作的认可，也反映出他们对AI发展的深度参与和关注。

为了实现这一宏伟目标，本希奥计划从开源AI模型入手训练系统。他呼吁投入更多资源，确保“守卫”AI与前沿AI同步发展。他深知，只有当开源AI模型得到充分训练和发展时，才能确保系统的有效性和可靠性。同时，他也强调了投入更多资源的重要性，以确保守卫AI与前沿AI的发展保持同步。

尽管面临诸多挑战和风险，本希奥及其团队的勇气和决心令人敬佩。他们的工作不仅具有创新性，而且具有深远的影响。他们的努力不仅有助于保护人类免受AI系统的欺骗和伤害，而且还有助于增强我们对AI系统的信任和理解。

然而，我们也需要认识到，研发出一种能够完全阻止不良行为的AI系统仍然是一项极具挑战性的任务。这需要我们不断探索和创新，同时也需要我们保持理性和审慎。我们期待着本希奥及其团队能够取得更多的突破性成果，为人工智能的发展贡献更多的智慧和力量。

生成海报

（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）

本文来源于极客网，原文链接: https://www.fromgeek.com/ai/688883.html