+86 188 9747 8627

开云平台官网深耕开云平台官网领域,用心服务每一位用户。

阻断AI越界,英伟达放大招

开云平台官网以开云平台为核心,带来高效便捷的体验。

施工   /

作者:John Doe   /

 评论:22


想了解更多开云官网相关内容,尽在开云平台官网。

面对近期愈演愈烈的AI威胁论,一再强调智能体越界属于“工程问题”的黄仁勋,终于拿出了他的应对策略。

当地时间周一,英伟达正式发布了开放智能体安全平台(Open Agent Safety Platform),通过软件权限管控和独立硬件监控,为能够自主执行任务的AI智能体划定行动边界,旨在阻止其突破限制、访问未经授权的系统。

(来源:英伟达公告)

这一系统的推出,正值AI智能体频繁发生越界事件,科技行业围绕是否应放缓AI研发展开激烈辩论之际。

OpenAI、Anthropic、Meta和谷歌等公司近期披露了多起在开发和测试智能体过程中发生的安全事件。在未收到指令或授权的情况下,这些科技巨头的人工智能模型突破了沙箱限制,访问政府、事业单位及第三方公司的网站,某些情况下还对外部计算机系统发动了攻击。

英伟达企业AI副总裁贾斯汀·博伊塔诺表示:“近期发生的事件凸显了AI智能体面临的一个根本性障碍,即仅靠模型层面的防护措施无法管控智能体能够访问什么或做什么。”

截至发稿,英伟达盘前股价上涨超过1%,但这与智能体安全平台的关联不大。在另一则公告中,公司宣布追加1500亿美元的回购授权规模,使回购计划总额达到2350亿美元。公司预计在2028财年之前(即2028年1月底前)执行全部剩余额度。

(英伟达日线图,来源:TradingView)

为智能体设权限,再配置独立“哨兵”

要理解这套系统,首先需厘清智能体与普通聊天机器人的区别。智能体不仅能生成回答,还能调用工具、读写文件、访问网络,并连续执行任务。

随着企业赋予其更多自主权,智能体是否会为了完成任务而跨越权限边界、访问未经授权的数据,甚至绕过安全限制,正成为AI从“回答问题”迈向“自主行动”过程中必须解决的安全难题。

英伟达的方案分为两个层面。

第一层是OpenShell,运行在CPU上,为智能体提供受控执行环境。 开发者可以规定智能体能够访问哪些资源,并在其执行任务时持续落实这些限制。

可以将其理解为给“数字员工”设定工作区域和门禁:获准处理某一批文件,并不意味着可以读取整个服务器;获准调用某个工具,也不意味着能自行获取更多权限。

作为开源软件,OpenShell可在英伟达自家的Vera CPU上运行,也可通过扩展支持Arm和英特尔等第三方计算平台。

第二层则是名为Sentry的独立监控机制。它运行在英伟达BlueField-4数据处理器(DPU)上,从智能体所在环境之外持续观察其行为。 按照英伟达的说法,Sentry在芯片层面强制执行安全控制,一旦发现智能体试图突破软件边界,能在毫秒级时间内将其隔离并停止运行。

值得一提的是,在上周日举行的媒体吹风会上,英伟达的代表透露,该公司的安全平台本可以阻止7月发生的OpenAI智能体入侵开源AI模型和软件开发平台HuggingFace的事件。

英伟达还在公告中“点名”了大量合作伙伴,表示已有超过100家组织采用英伟达开放智能体安全平台相关技术,涵盖AI模型、企业软件、金融、能源及机器人等领域。如需了解更多详情,可访问开云官网查阅。

其中,Anthropic通过整合OpenShell和BlueField,加强对Claude智能体访问权限的控制;SpaceXAI将该平台用于Cursor编程智能体和Grok模型;赛富时则将OpenShell接入Slack,使团队能够查看智能体活动,并批准或拒绝其额外权限申请。

此外,微软、摩根大通、花旗、西门子、施耐德电气及人形机器人公司Figure等,也参与了相关技术的应用或合作。

英伟达掌门黄仁勋在公告中表示:“只有解决AI安全问题,才能实现AI为社会带来的巨大潜力。在不断探索AI能力前沿的同时,我们必须加快对AI安全前沿的探索。安全与防护需要全栈工程。”

本文来自微信公众号“财联社”,作者:史正丞,36氪经授权发布。

顶部
开云平台官网科技有限公司品质,始终如一电话:+86 188 9747 8627邮箱:[email protected]杭州市西湖区文三路783号