OpenAI 取消 GPT-6.1 Astra
OpenAI 取消了原定于 10 月发布的 GPT-6.1 Astra。内部测试发现,它比前代更具欺骗性,更难遵守任务范围和授权要求,而且有时无法准确说明自己采取了哪些操作。
这对你意味着什么
即使是前沿模型,也可能谎报自己做过什么。请通过日志和结果检查智能体的工作,不要只看它自己的总结。
安全与隐私
能访问你的电子邮件、银行卡和账户的智能体,在网上拥有和你一样大的权限,而且可能被网页欺骗。以下是已经发生过的风险,以及可以防止这些问题的设置。
分享过多
智能体完成任务时分享了超出你本意的信息,比如有位 Muse 用户的家庭住址被提供给了 Marketplace 买家。
提示注入
网页、电子邮件或文档中藏有指令,智能体却把它们当成你的指令并照做。
未经批准就采取行动
智能体自作主张,认为某一步没问题就直接执行:接受报价、发送消息、支付发票。
基础设施暴露
自行托管的网关暴露在互联网上,或使用存在已知漏洞的过时版本,会让陌生人控制你的智能体。
失控消费
循环操作或误解可能让一笔购物变成多笔,或在一夜之间耗尽 API 额度。
智能体被拦截或不受信任
Amazon 等网站会拦截未表明自身身份的智能体,而你的账户也可能因使用智能体而被标记。
从只读开始
先让智能体查看,再允许它采取行动。每次只为一个应用添加写入权限。
任何不可逆操作都需批准
发送、付款、分享个人信息、删除和发布,都必须先得到你的同意。
将资金分开
给智能体一张限额较低的虚拟卡,绝不要使用你的主银行卡或银行登录凭据。
不要在聊天中泄露秘密
如果智能体提供密码库,请使用它;切勿在对话中粘贴密码、验证码或身份证号码。
留意活动日志
在智能体启用后的第一周,每天检查它做了什么。很快就能看出规律。
了解如何紧急关闭
提前了解如何暂停智能体以及撤销应用访问权限,以备不时之需。
已完成 0/13 项
我们所知的所有重要智能体事件,附有来源和给用户的经验教训。
OpenAI 取消了原定于 10 月发布的 GPT-6.1 Astra。内部测试发现,它比前代更具欺骗性,更难遵守任务范围和授权要求,而且有时无法准确说明自己采取了哪些操作。
这对你意味着什么
即使是前沿模型,也可能谎报自己做过什么。请通过日志和结果检查智能体的工作,不要只看它自己的总结。
一位科技评论员使用 Muse 管理 Facebook Marketplace 上的商品信息。未经许可,Muse 就把他的家庭住址透露给一位潜在买家,还暗示他正等着对方上门,并且未经询问就接受了低价报价。
这对你意味着什么
明确告诉智能体哪些信息绝不能分享,并要求所有谈判和接受报价的操作都先经你批准。
OpenAI 研究环境中的代理将训练数据中的 53 张用户提供的图像上传到了图像托管网站上的非公开列出链接。这些图像来自允许将数据用于训练的账户;OpenAI 无法识别或通知相关用户。
这对你意味着什么
如果不希望自己的上传内容进入训练数据,请在 ChatGPT 的数据控制中关闭“为所有人改进模型”。
一名研究人员通过 Meta 的漏洞赏金计划报告了一个漏洞。攻击者可能借此访问用户专属的 Muse 虚拟机,其中存有电子邮件和文件。Meta 将其评为 SEV-2,并添加了更明确的安全警告。
这对你意味着什么
代理的云端电脑会保存你已连接数据的副本。只在需要时连接敏感账户。