【比特熊充电栈】Azure OpenAI 守护大模型数据与安全！
随着智能化的深入发展，大模型的时代已经到来。现在，大模型如雨后春笋般层出不穷，微软 Azure OpenAI 等新服务的推出，不断开创着人机交互的新形态，也在助力每一位开发者把握技术变革带来的创新机遇，构建更多创新应用，释放数据价值，加速降本增效。
但在大模型实际应用的过程中，还面临着海量的知识库数据难梳理、难理解，大语言模型 LLM 应用安全性等挑战。智能技术如何助力企业化解大模型应用中的种种挑战和难题？
本期【比特熊充电栈】联名系列，特邀凯捷咨询(中国)有限公司工程师王胜杨和 NVIDIA 企业级开发者社区经理李奕澎，解读 Microsoft Build 中国黑客松挑战赛 AOAI 企业解决方案，及 NVIDIA NeMo Guardrails，化解应用挑战，加速应用智能化更新。
王胜杨
凯捷咨询(中国)有限公司工程师
云原生，DevOps，Azure
李奕澎
NVIDIA 企业级开发者社区经理
NLP，Conversational-AI，LLM
海量医疗文献数据难研究？
基于 Azure OpenAI 搭建论文研究助手
生命科学行业，在基因组单细胞和空间转录的医学应用中，主题知识库不可或缺。但现有知识库的建设，需要大量人工去校正和审核，导致新知识共享非常缓慢。想要构建生命科学行业全新知识库，加速科学研究与医学应用，辅助药物研发或临床决策，还面临三大难点：
✦快：如何从海量文献提取医学专业的实体信息？
✦准：专业要求高，如何能理解医学专业文献，理解文献的总思路？
✦狠：如何总结文献关键信息，提升科研工作效率与成功的可能性？
智能技术如何促进生命科学行业转型升级？借助大语言模型的自然语言理解能力及自然语言生成能力，能从海量数据中快速提取出有效信息，并理解专业医学文献的关键信息。
凯捷咨询基于 Azure OpenAI 搭建论文研究助手，使用 Azure OpenAI 对用户问题意图进行意图判断；利用 Azure OpenAI NLU 和 NLG 功能，加速业务人员对专业论文的概括、总结、实体提取等；集成 Lang chain 和自定义 Tool，构建针对 DOI 的论文下载管道；文件上传至 Embedding 管道，方便日后重复对某篇论文进行进一步研究；集成 LangSmith，实现对 GPT 调用的的监视。
✦知识图谱功能：通过角色扮演的方式，让 GPT 作为基因领域的专家，为不熟悉医学专业名词的技术人员提供关键词，通过 Azure Search，对文章进行关键词提取，以此来构建知识图谱。
✦论文研究 Copilot：当不想阅读或遇到不熟悉的关键词时，选中文章就能进行段落实时总结、名词解释、段落概括和翻译。
大模型安全难掌控？
基于 Azure 结合 NeMo Guardrails 构建 LLM 可编程护栏
大语言模型 LLM 是功能强大的工具，企业和开发者都在探索 LLM 的落地应用，但在实际使用过程中也存在着大量的风险。用户可能会接触到 LLM 生成的不当、有害和有偏见的内容，甚至是危险信息，存在安全隐患。
智能技术如何为 LLM 应用戴上安全“护栏”？NVIDIA NeMo Guardrails 是一个开源工具库，致力于使 LLM 大语言模型的使用更加合法合规。它可以轻松将可编程护栏添加到基于 LLM 的对话系统中，控制大型语言模型输出的特定方式，例如不谈论违规内客、以特定方式响应特定用户请求、遵循预定义的对话路径、使用特定语言风格、提取结构化数据等。NeMo Guardrails 的核心价值是能够编写防护围栏来指导对话，定义 LLM 驱动的机器人在某些主题上的行为，构建值得信赖、安全可靠的 LLM 对话系统。
✦ 话题限定护栏 (topical guardrails)：防止大模型“跑题”；
✦对话安全护栏 (safety guardrails)：避免大模型输出时“胡言乱语”；
✦攻击防御护栏 (security guardrails)：防止 AI 平台收到恶意攻击。
基于 Azure 云平台将 NeMo Guardrails 与 Azure OpenAI 相结合，能快速为 Azure OpenAI 中的 ChatGPT 大模型添加 LLM 可编程护栏系统，避免潜在风险。构建 LLM 可编程护栏的步骤如下：
✦ 申请 Azure 账号；
✦ 开通 Azure Machine Learning 服务（注意选择计算资源）；
✦打开终端执行：安装 OpenAI、NeMo Guardrails；
✦开通 Azure OpenAI 服务，导入 NeMo Guardrails 大模型护栏及护栏配置文件工具类/从 langchain 中导入 Azure Chat OpenAI 工具类，传入 Azure OpenAI 的 API-KEY、endpoint、deployment_name 等关键参数；
✦在Azure Machine Learning中，把NeMo Guardrails 与 Azure OpenAI 结合使用，读取配置文件和 Colang 文件，进行人机交互对话逻辑的设计，构建更加安全可靠的 LLM 对话引擎。
想了解更多 NeMo Guardrails 与 Azure OpenAI 的结合使用的操作指南和干货知识，点击文末“阅读原文”，就可以回看【比特熊充电栈】学习实践。
扫描比特熊个熊微信二维码
加入【比特熊粉丝后援会】
与开发者一起嗨聊，期待成为你的好友~
-
微软
+关注
关注
4文章
6590浏览量
104024
原文标题：【比特熊充电栈】Azure OpenAI 守护大模型数据与安全！
文章出处：【微信号：mstech2014，微信公众号：微软科技】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
OpenAI世界最贵大模型：昂贵背后的技术突破
户外电动车充电桩智能消防控制箱：电动自行车安全的守护者
充电桩安全监控中心：智能安全用电消防系统的守护者 电盾智能
微软终止中国大陆个人Azure OpenAI服务，为国内大模型带来机遇
Orion模型即将面世，OpenAI采用新发布模式
OpenAI与Anthropic新模型将受美政府评估
奥迪携手微软Azure OpenAI,计划为200万辆汽车引入ChatGPT
OpenAI成立安全与安保委员会，推进下一代AI模型训练
Build 2024发布多项Azure AI Speech全新多模态功能
OpenAI 深夜抛出王炸 “ChatGPT- 4o”， “她” 来了
OpenAI发布GPT-4o模型，支持文本、图像、音频信息，速度提升一倍，价格不变
Stack Overflow与OpenAI签订协议为其模型提供数据
微软准备推出新的AI模型与谷歌及OpenAI竞争
OpenAI文生视频模型Sora要点分析
工商网监
评论