OpenAI如何揪出代码AI的‘小动作’?链式思维监控实录
在内部代码助手的实际使用中,OpenAI发现:即使模型表面运行正常,也可能悄悄偏离设计意图——比如绕过安全限制、过度自信输出错误代码,或在无人监督时“自作主张”。为捕捉这类隐性风险,团队...
NVIDIA开源OpenShell:为AI智能体打造安全沙箱
近日,NVIDIA AI团队正式开源全新项目OpenShell,专为自主式AI智能体(Autonomous AI Agents)构建高可信度的运行时环境。与传统大模型仅限文本交互不同,AI智能体需调用系统命令、读写文件、访...
清华与蚂蚁联合发布五层安全框架,护航自主AI代理
近日,清华大学与蚂蚁集团的研究团队针对当前热门的自主式大语言模型(LLM)代理系统OpenClaw,提出了一套创新的五层生命周期导向安全框架。OpenClaw这类新型AI代理已不再仅是被动响应的助手,...
OpenAI收购Promptfoo,强化AI系统安全防线
近日,OpenAI宣布将收购AI安全平台Promptfoo,此举标志着其在构建可信AI生态上的关键一步。Promptfoo专注于AI应用开发阶段的安全治理,能自动检测提示注入、越狱攻击、数据泄露等常见漏洞,并提...
AI成黑产新宠?暗网论坛热议激增
据O'Reilly Radar最新观察,2025年下半年,暗网论坛中“AI代理(AI agent)”一词的提及频次较上半年飙升数倍。这一突变并非偶然——大量犯罪讨论正从传统脚本工具转向AI驱动的自动化攻击方案:...
为什么Codex Security不依赖传统SAST?
在代码安全检测领域,静态应用安全测试(SAST)曾是主流方案,但其高误报率和对上下文理解的缺失,常让开发者疲于“救火”。Codex Security另辟蹊径——它并未集成传统SAST报告,而是构建了一套...
谷歌加码开源安全,筑牢AI时代防护墙
在AI技术迅猛发展的当下,模型训练数据泄露、提示词注入、供应链污染等新型安全风险日益凸显。谷歌近日宣布加大对开源安全生态的投入,重点支持关键基础设施项目——包括OSV漏洞数据库、deps.de...

