Anthropic 上市当天,离职研究员考克森在其总部外呼吁禁止 AI 递归自我改进
这次,他在接受采访时强调:“他们买不买股票根本不重要。我们必须阻止递归自我改进。”
11 月 20 日消息,据《商业内幕》报道,今年 9 月,Anthropic 前研究员雅各布 · 考克森因担忧 AI 发展而离职,并在美国引发了对 AI 技术的广泛恐慌。时间来到当地时间 19 日,随着 Anthropic 股票首次上市交易,考克森再次呼吁公众关注 AI 安全问题。
这次,他在接受采访时强调:“他们买不买股票根本不重要。我们必须阻止递归自我改进。”
注:“递归自我改进”指让先进 AI 系统参与训练下一代 AI,从而推动 AI 能力不断提升。
当天,考克森与数十名抗议者聚集在 Anthropic 旧金山总部外,要求禁止有关技术。
抗议者举着标语、高喊口号,现场还有考克森、OpenAI 前研究员丹尼尔 · 科科塔伊洛和 YouTube 博主罗布 · 迈尔斯发表演讲,随后赶到的 Stop AI 组织成员则封堵了办公楼入口。
AI 安全研究机构 METR 近期发布的独立报告发现,AI 正帮助 Anthropic 加快研发进度。Anthropic 也在 IPO 招股说明书中承认,让 AI 在缺乏监督的情况下完全自主设计下一代模型并不安全,目前正在考虑修改政策,确保前沿 AI 模型的开发仍由人类掌控。
考克森认为,仅靠这些措施还不够。他在演讲中呼吁 Anthropic 游说政府,并与其他企业合作,推动全面禁止递归自我改进。“到了这个地步,企业本身就是问题。2027 年,全球只有少数几个地方能够实现递归自我改进,而这里就是其中之一。”
考克森和科科塔伊洛都提到,私下里经常听到 AI 研究人员表达对技术风险的担忧。科科塔伊洛形容道:“这种事简直就是漫画里那些疯狂科学家式的超级反派才会干的。”
如果您对本站有任何建议,欢迎您提出来!本站部分信息来源于网络,如果侵犯了您权益,请联系我们删除!
微信客服