未来的AI开发将注重每个环节的安全和风险管理-德赢Vwin官网网

简介

开发智能机器的历程使我们踏上了一条充满发现、惊奇、敬畏和关注的道路。即使还有如此多尚未发现的东西，我们仍然知道对安全AI的追求将改变我们设计、开发智能产品并将其推向市场的方式。安全的AI不仅需要我们像保护网络安全那样防御外部黑客的入侵，还必须确保AI的行为是安全的。未来的AI开发将注重开发过程每个环节的安全和风险管理。

AI标准和指南中的安全问题

AI安全工程的一项需求是拥有可广泛获取的人工智能开发实用指南和标准。尽管诸多标准组织和协会正为建立这些资源而努力，但距离达成共识还很遥远（这里又涉及价值观一致性问题），更不要说具体的技术指导。同时，航空航天和医疗制造业等极度重视安全的行业提供了或可借用的风险管理模型，可满足短期AI安全需求，并为最终的标准和框架奠定基础。特别是可通过Delphi方法将专家的集体智慧和判断、不同AI系统类型的风险评估以及软硬起飞场景的结果组织起来。

设计创意和流程中的安全考虑

从设计创意开始，一直到将产品推向市场的流程中，一个相关的需求就是在整个过程中都主动将安全性纳入工程设计的所有领域。对于许多开发团队来说，这将意味着改变，而我们必须直面这种改变。看看互联网。看看嵌入式系统。现实情况是，大多数行业都是直到产品开始取得成功后才将大量资源投入安全领域。在智能系统中放任安全性问题不管可能会有巨大的隐患，因为可能不会有亡羊补牢的机会。

用户需求中的安全问题

工程安全AI将需要工程师透过用例表面，真正了解用户的价值观和偏好。我们习惯于蜻蜓点水地对待用例和用户反馈；但是，第2部分中讨论的价值观一致性问题告诉我们，我们需要更深入地了解实际需求。例如，如果我们问一个学生为什么要上学，她可能会告诉您她想获得知识，希望学习感兴趣的领域。可是研究表明，真正的原因或其他原因还包括：取得文凭、获得同龄人认可或者长大以后能多赚钱等。作为工程师，如果我们在开发智能产品时仅关注表面上的用户需求和反馈，就有可能会开发出实际上无法满足用户需求的产品……无用的智能。

漏洞评估中的安全问题

在流程的每个环节，都必须考虑并解决产品的安全性及智能（记忆、处理速度等）问题。黑客只需要在这种无限的可能性中找到一个弱点即可，但是AI可能会以我们无法预测甚至无法想象的方式运用智能：

有哪些潜在的产品漏洞？

有哪些潜在的滥用行为？

各项功能可能会遭到怎样的滥用？

每种情况下会如何发生事与愿违的事情？

数据安全是否有保障？

我们如何知道？

产品包含的智能是否超出了必要？

这可能会遭到怎样的滥用？

如何保障安全？

结论

工程安全AI将改变我们的流程、思维方式和优先考虑事项。要拥有AI开发框架和标准，工程安全AI还有很长的路要走。同时，借鉴航空航天和医疗器械行业的做法将非常有用，在产品开发流程的所有方面纳入安全考量同样也有帮助。

原文标题：AI安全工程将如何让工程学改头换面

文章出处：【微信公众号：贸泽电子】欢迎添加关注！文章转载请注明出处。

责任编辑：haq

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

AI

AI

+关注

关注
87

文章
30728

浏览量
268874
智能机器人

智能机器人

+关注

关注
17

文章
868

浏览量
82267

原文标题：AI安全工程将如何让工程学改头换面

文章出处：【微信号：贸泽电子，微信公众号：贸泽电子】欢迎添加关注！文章转载请注明出处。

cmp项目管理工具的优缺点

、风险管理和沟通管理等。综合项目管理平台CMP的优缺点优点项目集成：CMP项目管理工具将

发表于 12-17 09:42 •121次阅读

自动化AI开发平台功能介绍

自动化AI开发平台集成了多种算法、工具和框架，旨在帮助开发者更快速、高效地设计、训练、部署和管理AI模型。以下，

发表于 11-14 09:29 •204次阅读

AI项目管理平台怎么用

AI项目管理平台是一种集成了项目管理工具、AI开发环境和数据分析能力的综合性平台。接下来，AI部

发表于 11-13 09:38 •196次阅读

MES实时监控食品加工过程中各环节的安全

万界星空科技的MES解决方案通过集成传感器、智能预警、生产流程可视化、质量追溯与记录、动态调度与优化以及合规性与法规遵循等多种手段，实现了对食品加工过程中各环节安全风险的实时监控和有效管理

发表于 09-18 15:30 •185次阅读

嵌入式系统的未来趋势有哪些?

，会更多地使用环保材料，以减少对环境的污染。同时，系统设计将更加注重生态可持续性，满足可持续发展的需求。 6. 实时操作系统（RTOS）的发展实时操作系统在嵌入式系统中发挥关键作用。未来的RTOS可能会具备更好的多核处理器支持

发表于 09-12 15:42

IP风险画像如何维护网络安全

的重要工具。什么是IP风险画像？ IP风险画像是一种基于大数据分析和机器学习技术的网络安全管理工具。它通过对IP地址的网络行为、流量特征、历史记录等多维度数据进行深入分析，构建出

发表于 09-04 14:43 •287次阅读

ALVA Systems 创新 AI/AR 技术实现检修设备作业流程高效验证

由于核工业生产环境的特殊性和风险性，采取预先验证措施是确保企业生产安全的关键步骤。聚焦检维修环节，本期案例走进某核工业院所，探讨如何用前沿的 AI/AR 技术提升预先

发表于 07-13 16:52 •2057次阅读

中伟视界：实时监控与预警，矿山罐笼超员AI算法如何保障矿工生命安全？

随着矿山智能化的发展，罐笼超员AI算法在矿山安全管理中发挥着关键作用。本文详细介绍了罐笼超员AI算法的工作原理、技术实现和应用效果，并展望了未来

发表于 07-12 08:54 •317次阅读

【《软件开发珠玑》阅读体验】居安思危之风险

感谢德赢Vwin官网论坛提供的读书机会。本书分享了关于软件开发和管理的 60 条经验教训，第32条提到面对风险，要么控制项目风险，要么被它反杀。 1.什么是

发表于 07-09 12:48

16家科技巨头保证AI模型安全开发

据路透社报道，微软、谷歌以及OpenAI等16家全球科技巨头在5月21至22日举行的“人工智能（AI）首尔峰会”上，公开表态承诺进行AI模型的安全开发，并在无法有效控制最极端风险时，对

发表于 05-22 11:55 •697次阅读

微软、谷歌等科技巨头承诺安全开发AI模型

近日，微软、谷歌、OpenAI等16家科技巨头在“人工智能（AI）首尔峰会”上达成共识，承诺在AI模型的开发过程中注重安全性，并在无法控制最极端风险

发表于 05-22 11:25 •499次阅读

超星未来通过 ISO 26262 功能安全管理体系 ASIL D 认证

100% 的通过率通过了功能安全工程师认证。 ISO 26262 是全球公认的汽车功能安全标准，该标准涵盖功能安全需求规划、设计、实施、集成、验证、确认、配置等方面，旨在通过完善的开发

发表于 04-18 09:38 •368次阅读

“新一代”漏洞扫描管理系统：网络安全风险管理利器

网络安全风险管理是政府、企事业单位面临的巨大挑战，尤其是数字化转型带来了更多在线业务和移动化新应用场景。加之随着组织机构业务量迅速增长，更为复杂的网络“脆弱性”管理也变得更加棘手。正

发表于 04-07 17:30 •465次阅读

NanoEdge AI的技术原理、应用场景及优势

、NanoEdge AI 具有以下优势： - 低延迟：由于数据处理任务在设备本地完成，因此 NanoEdge AI 可以实现较低的延迟，满足实时性要求较高的应用场景。 - 高安全性：将

发表于 03-12 08:09

智慧路灯杆AI监测应用，让高速出行更安全

针对更好监测和管理高速公路上的交通状况，可以基于智慧路灯杆打造AI交通监测应用，通过智能感知高速路段的路况、车况、环境状况，实现实时风险感知、风险预警和协同处置，让高速出行更

发表于 03-11 17:20 •446次阅读

搜索历史

未来的AI开发将注重每个环节的安全和风险管理

评论

cmp项目管理工具的优缺点

自动化AI开发平台功能介绍

AI项目管理平台怎么用

MES实时监控食品加工过程中各环节的安全

嵌入式系统的未来趋势有哪些?

IP风险画像如何维护网络安全

ALVA Systems 创新 AI/AR 技术实现检修设备作业流程高效验证

中伟视界：实时监控与预警，矿山罐笼超员AI算法如何保障矿工生命安全？

【《软件开发珠玑》阅读体验】居安思危之风险

16家科技巨头保证AI模型安全开发

微软、谷歌等科技巨头承诺安全开发AI模型

超星未来通过 ISO 26262 功能安全管理体系 ASIL D 认证

“新一代”漏洞扫描管理系统：网络安全风险管理利器

NanoEdge AI的技术原理、应用场景及优势

智慧路灯杆AI监测应用，让高速出行更安全