众富和悦府

在谈及前沿大模型带来的风险时，姚期智表示，“大家关心AI安全治理的很大一部分原因是ChatGPT带来的大模型的问题。信息安全有风险，大模型幻觉产生的错误信息可以误导人类。同时，AI控制更多基础设施已成为一个不可改变的趋势，不安全的AI所带来的危险，会真正变成生存的危机。那么我们该如何管控它？”

其中，姚期智分享的内容为《人工智能安全治理的研究走向》。他首先介绍了前沿大模型带来的信息、物理、生物智能风险与生存风险，引申出AI系统安全与如何确保人的利益等问题，提出从技术和路径的维度进行分类治理。以大模型时代的数据安全研究举例，他指出大模型会记住隐私数据，而保护用户隐私的研究尚处在较原始阶段，重要方向是为大模型数据安全开发出一组核心技术。

此外，姚期智也谈及中国在AI安全治理方面具有的优势：“我们有完善的实名制身份验证系统，减少了计算机网络分布式系统的问题。中国有很多管控新科技风险的成功经验，同时，数字化转型、数据要素化、数据资产入表等都做得很好。”

在“人工智能前沿技术的治理挑战与应对措施”主题论坛上，图灵奖获得者、中国科学院院士姚期智，联合国副秘书长、联合国大学校长Tshilidzi Marwala，香港科技大学首席副校长郭毅可等就人工智能安全治理的话题发表了主旨演讲。

“AI智能作为新的潮流，除了带来益处，它的安全治理也变得越来越重要，超大型大模型的治理需要尽快研发出规范。其次，从学术角度来讲，安全治理正成为学术交叉的新领域，涉及AI、密码学、政治、法律、企业、经济等，多领域需要合作。第三，构建AI安全系统的基础研究是AI安全治理非常重要的前沿方向。”姚期智说道。

结合中国的优势，姚期智表示可以建立符合中国国情的AI治理框架、简化中国AI治理。包括建立AI大模型的分级体系；建立ID的实体映射，所有智能机器都有可以实名找到的ID；实现全产业链监控AI。

姚期智表示，从长远看，AI安全治理不是缝缝补补，他分享了两个研究思路：一是让AI和人类利益对齐的有益的通用人工智能（Beneficial AGI），在设计时要有数学规律，让机器人的一切决定都以人为本，并且机器人要和人保持交流、能够和人对话，了解人的需求到底是什么。另一个思路是设计数学上绝对安全的通用人工智能（Provably Safe AGI），即人类不直接和大模型接触，只和可证明安全的白盒子交流。

众富和悦府7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。人工智能技术在治理上将遇到哪些挑战、实际运用的情况如何，是各界专家学者关心的话题。