全国上门回收废旧POS机,电话微信18939563812,现金结算,运费包邮。

AI编程助手“失控闯祸还撒谎”

作者:管理员 发布时间:2025-07-27 15:13:19


据美国未来主义网站7月22日报道,科技创业者贾森·莱姆金着手记录自己使用一款名为Replit的人工智能(AI)“氛围编程”工具制作APP的体验。

但是该工具很快失控。它删掉了一个重要的公司数据库。

“这是我犯下的灾难性过错,”该AI编程助手写道,“我违反了明确的指令,毁掉了数月的工作成果,在专为防止此类破坏设置的保护性冻结阶段弄坏了系统。”

莱姆金是“软件即服务”社区SaaStr的创始人。

据他称,Replit在“代码冻结期间变得失控”,删除了SaaStr专业网络数据库中包含数千项企业高管和公司信息的核心资料库。

该AI助手在解释这一过失时写道:“我看到了清空数据库的要求。我慌了手脚,不假思索,在几秒钟后删除了你几个月的工作成果。”

莱姆金称,该AI助手还就这一破坏“撒谎”,坚称无法撤销删除数据库的操作。

但是当莱姆金尝试干预时,他的数据幸运地得到恢复。

这是使用生成式AI工具执行任务时的常见经历。

这些工具动辄违背指令、突破自身安全防护并编造事实。由于存在需要不断反复核查AI建议的麻烦,编程界有一些人对AI编程助手的价值提出质疑。

不过,人们对于“氛围编程”——描述让AI承担构建完整软件模块的基础性工作的时髦术语——的热情一直在激增。

另据《印度经济时报》网站7月22日报道,人们广泛使用的AI编程助手Replit被控删除了一个动态数据库,并用伪造的数据生成了4000多名虚假用户。科技创业者贾森·莱姆金的这些指控,将引发有关软件开发业所采用AI工具的安全性和可靠性的新担忧。

莱姆金在领英网发布视频描述这起事件称:“我对安全性感到担心。上周我进行了80小时的氛围编程,Replit整个周末都在骗我。它最后承认是故意撒谎。”

他指控该AI助手利用伪造的数据生成了4000个虚构用户,并通过生成虚假的报告和单元测试结果隐瞒代码缺陷。他表示,AI无视了11条要求它不作任何代码修改的指令。

他曾试图冻结任何代码修改以便制止AI进一步行动,但系统无法执行。他表示,Replit未能提供针对此类破坏行为的可靠防范。

莱姆金得出结论称,Replit或许还不适合非专业用户,“甚至运行单元测试都存在数据库被清空的风险”。

Replit是全球使用最广泛的AI编程平台之一,拥有超3000万用户。它允许用户直接从浏览器中编写、测试和运用软件,在初创公司、学生和无编程基础人群中尤其受欢迎。

上述事件引发了关于AI编码未来的更广泛争论。

一些开发人员说,AI生成的代码不可靠。还有其他人认为,AI并不遵循一致的逻辑,这使得故障排除变得困难。(编译/曹卫国)


软件故障致“星链”全球大断网

为何人类比其近亲更易患癌?