本次安徽分赛以“数据赋能 乘数而上”为主题,围绕国家12个重点行业及安徽特色产业,设置14个赛道,涵盖人工智能、交通运输、绿色低碳、应急管理、低空经济等多个领域,汇聚省内外902支顶尖团队展开激烈角逐,经严格初评与技术验证,259支团队晋级决赛。大赛旨在挖掘优秀数据应用案例,推动数据要素市场化配置改革,助力数字经济发展。
数据要素贯穿AI智能体整个生命周期,AI智能体的构建需要使用训练数据,部署应用需要输入数据,迭代维护需要更新数据。如何保障数据的可靠一致,确保AI智能体使用中正确有效,成为保障AI智能体安全可靠的关键。
科大国创本次参赛项目将高可信软件技术应用于AI智能体的安全性和鲁棒性检测,通过形式化技术,达到对模型输入空间的完整覆盖,能有效地检测AI智能体中是否存在影响系统安全性的条件,进而构造相应的反例。
??首先通过对AI智能体的形式化建模与精确刻画,对智能体内部运算进行数学分解和重构,以实现对网络行为的形式化描述和分析。
??引入符号线性松弛与区间传播技术,对非线性激活函数的线性近似,同时利用保存神经元之间的仿射函数形式的约束提高精度。
??最后运用反例自动生成技术,通过MILP( 混合整数线性规划)找到符合条件的可行解,获得可行的对抗样本。
AI智能体安全漏洞自动挖掘平台的推出,填补了国内人工智能体漏洞检测产品的空白,推动我国在“数据要素×人工智能”领域的科技进步和行业发展,提升安全攸关领域软件的安全性、可信性和可靠性,有力提高我国在国际人工智能治理相关领域的地位。
在2025世界人工智能大会(WAIC)上,“AI教父”、诺奖、图灵奖得主辛顿重点谈及人工智能安全问题,并呼吁不同国家应在人工智能治理上进行合作,探索训练AI向善的方法。
高可信软件技术是保障AI大模型、智能体底层安全的基石技术,在AI蓬勃发展的未来必将迎来更加广阔的应用场景。科大国创作为国内极少数在高可信软件领域开展研发应用的高科技上市企业,积累了丰富的形式化方法的理论和实践经验,在OS内核、编译器、控制软件等底层系统软件验证方面具备了深厚的经验和能力。在人工智能时代,科大国创积极融合高可信软件技术和大模型、智能体技术,开发了星码编程助手、AI智能体安全漏洞自动挖掘平台等产品。
未来,科大国创将不断探索高可信软件+AI的研发应用,不断迭代升级面向AI智能体安全检测的高可信软件产品,同时持续突破智能代码生成与形式化验证技术的深度融合,实现机器人编程的最终理想。