1 什么是图神经网络 谁在使用图神经网络-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

什么是图神经网络 谁在使用图神经网络

NVIDIA英伟达 来源:海豚数据科学实验室 作者:海豚数据科学实验 2022-11-03 22:46 次阅读

神经网络深度学习的预测能力应用于丰富的数据结构中,这些数据结构将物体及其对应关系描述为图中用线连成的点。

当两种技术相融合,就可以创造出一些新的和奇妙的事物,比如手机和浏览器融合成了智能手机

当今,开发者正在将 AI 发现规律的能力应用于大型图数据库,这些数据库存储着包含各数据点之间关系的信息。两者组合成被称为图神经网络(GNN)的强大新工具。

什么是图神经网络

图神经网络将深度学习的预测能力应用于丰富的数据结构中,这些数据结构将物体及其对应关系描述为图中用线连成的点。

在图神经网络中,被称为“节点”的数据点通过被称为“边”的线连接,各种元素均以数学形式表达,这使机器学习算法可以在节点、边或整个图的层面做出有用的预测。

图神经网络能做什么

越来越多的公司正在使用 GNN 改进药物研发、欺诈检测推荐系统。这些以及更多其他应用都依赖于寻找数据点之间的关系规律。

研究人员正在探索 GNN 在计算机图形学、网络安全、基因组学和材料科学中的用例。近期的一篇论文描述了 GNN 如何利用图形式的交通地图改进对到达时间的预测。

许多科学和工业领域已在图数据库中储存了有价值的数据。通过深度学习,他们可以训练预测模型,从图中挖掘出新颖的洞察。

19b55d58-5b7c-11ed-a3b6-dac502259ad0.png

许多科学和工业领域的知识都可以用图来表达

亚马逊科技(AWS)高级首席科学家 George Karypis 在今年早些时候的讲座中表示:“GNN 是深度学习研究中最热门的领域。越来越多的应用正在使用 GNN 来提高其性能。”

很多人都深表赞同。斯坦福大学副教授 Jure Leskovec 表示:“GNN 正在引得越来越多的关注,它们可以灵活地建立复杂关系的模型,而这是传统神经网络所做不到的。”他在演讲中展示了下面的这张 AI 论文图表,里面提到了 GNN。

19d79d00-5b7c-11ed-a3b6-dac502259ad0.png

谁在使用图神经网络?

亚马逊在 2017 年表示正在使用 GNN 来检测欺诈。2020 年,亚马逊推出了供外部用户用于欺诈检测、推荐系统等应用的公共 GNN 服务。

为了维持客户的高度信任,亚马逊搜索引擎采用 GNN 来检测恶意卖家、买家和产品。借助 NVIDIA GPU,该搜索引擎能够探索具有数千万个节点和数亿条边的图,并同时将训练时间从 24 小时缩短到 5 小时。

葛兰素史克 AI 全球负责人 Kim Branson 在 GNN 研讨会的某场小组讨论会上表示,生物制药公司葛兰素史克维护着拥有近 5000 亿个节点的知识图谱,该图谱被用于该公司的许多机器语言模型中。

LinkedIn 高级软件工程师 Jaewon Yang 在该研讨会的另一场座谈会上表示,LinkedIn 使用 GNN 提供社交推荐,并了解人的技能与其工作职位之间的关系

NVIDIA 杰出工程师 Joe Eaton 表示:“GNN 是通用工具,我们每年都会开发一些新的 GNN 应用。”目前 Joe Eaton 正在领导将加速计算应用于 GNN 的团队。他表示“我们甚至都还没有触及到 GNN 的表层功能。”

另一个迹象也表明了人们对 GNN 的兴趣——Leskovec 在斯坦福大学教授 GNN 的课程视频已突破 70 万次浏览量。

GNN 如何工作?

到目前为止,深度学习主要集中在图像和文本上。这两种结构化数据可以被描述为单词序列或像素网格。相比之下,图是非结构化的,因此可以是任何形状或尺寸,并包含图像、文本等任何类型的数据。

GNN 使用被称为信息传递的流程将图组织起来,以便机器学习算法的使用。

信息传递将关于邻近节点的信息嵌入到每个节点中。AI 模型利用嵌入的信息来寻找规律并进行预测。

19eec7e6-5b7c-11ed-a3b6-dac502259ad0.png

三类 GNN 中的数据流示例

例如,推荐系统使用将节点嵌入 GNN 的方式来匹配客户和产品;欺诈检测系统使用边缘嵌入来发现可疑交易;药物发现模型通过比较整个分子图来找出它们之间的反应。

GNN 还有两个独特之处:它们使用稀疏数学,而且模型通常只有两到三层。其他 AI 模型通常使用密集数学并且有数百个神经网络层。

1a01d192-5b7c-11ed-a3b6-dac502259ad0.png

GNN 流程在输入图后输出预测

GNN 的发展史

意大利研究人员在 2009 年发表的论文中首次将这种神经网络命名为“图神经网络”。但直到八年之后,阿姆斯特丹的两位研究人员才使用被称为“图卷积网络”(GCN)的图神经网络变体展示了这种神经网络的力量。GCN 也是当今最流行的 GNN 之一。

GCN 启发了 Leskovec 和他的两个斯坦福大学研究生创造出 GraphSage——一个展示信息传递功能新工作方式的 GNN。2017 年夏天,担任 Pinterest 首席科学家的 Leskovec 对此 GNN 进行了测试。

1a437c3c-5b7c-11ed-a3b6-dac502259ad0.png

GraphSage 开创了在 GNN 中传递信息的强大聚合技术

他们所创建的 PinSage 是包含 30 亿节点和 180 亿边的推荐系统,这超过了当时的其他 AI 模型。

如今,Pinterest 将 PinSage 应用于整个公司的 100 多个用例。该公司高级机器学习工程师 Andrew Zhai 于在线座谈会上表示:“没有 GNN,Pinterest 就不会有今天的吸引力。”

与此同时,其他变体和混合体也纷纷出现,包括图循环网络、图注意力网络等。GAT 借用 Transformer 模型中定义的注意力机制,帮助 GNN 专注于数据集中最相关的部分。

1b97b5c6-5b7c-11ed-a3b6-dac502259ad0.png

GNN 变体家族树概览图

扩展图神经网络

展望未来,GNN 需要进行全方位的扩展。

还未维护图数据库的企业机构需要使用工具来减轻创建这些复杂数据结构的工作负担。

使用图数据库的人都知道在某些情况下这些数据库会不断扩大,单个节点或边缘会被嵌入成千上万个特征。这为通过网络将存储于子系统中的海量数据集高效加载到处理器中带来了挑战。

Eaton 表示:“我们正在提供各种产品来最大程度地提高加速系统的内存、计算带宽与吞吐量,以便解决此类数据加载和扩展问题。”

作为这项工作的内容之一,NVIDIA 在 GTC 上宣布,除了深度图库(DGL)之外,公司现在还支持 PyTorch Geometric(PyG)。这是当下最流行的两个 GNN 软件框架。

1bde7d4e-5b7c-11ed-a3b6-dac502259ad0.png

NVIDIA 提供多种工具加快 GNN 的构建

经过 NVIDIA 优化的 DGL 和 PyG 容器针对 NVIDIA GPU 进行了性能调整和测试。它们为开始使用 GNN 开发应用的人提供了方便的平台。
审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100708
  • AI
    AI
    +关注

    关注

    87

    文章

    30728

    浏览量

    268871
  • 深度学习
    +关注

    关注

    73

    文章

    5500

    浏览量

    121109

原文标题:什么是图神经网络?

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    卷积神经网络与传统神经网络的比较

    在深度学习领域,神经网络模型被广泛应用于各种任务,如图像识别、自然语言处理和游戏智能等。其中,卷积神经网络(CNNs)和传统神经网络是两种常见的模型。 1. 结构差异 1.1 传统神经网络
    的头像 发表于 11-15 14:53 374次阅读

    BP神经网络和卷积神经网络的关系

    BP神经网络(Backpropagation Neural Network)和卷积神经网络(Convolutional Neural Network,简称CNN)是两种在人工智能和机器学习领域
    的头像 发表于 07-10 15:24 1427次阅读

    BP神经网络和人工神经网络的区别

    BP神经网络和人工神经网络(Artificial Neural Networks,简称ANNs)之间的关系与区别,是神经网络领域中一个基础且重要的话题。本文将从定义、结构、算法、应用及未来发展等多个方面,详细阐述BP
    的头像 发表于 07-10 15:20 1014次阅读

    rnn是递归神经网络还是循环神经网络

    RNN(Recurrent Neural Network)是循环神经网络,而非递归神经网络。循环神经网络是一种具有时间序列特性的神经网络,能够处理序列数据,具有记忆功能。以下是关于循环
    的头像 发表于 07-05 09:52 555次阅读

    递归神经网络与循环神经网络一样吗

    递归神经网络(Recursive Neural Network,RvNN)和循环神经网络(Recurrent Neural Network,RNN)是两种不同类型的神经网络结构,它们在处理序列数据
    的头像 发表于 07-05 09:28 827次阅读

    递归神经网络是循环神经网络

    递归神经网络(Recurrent Neural Network,简称RNN)和循环神经网络(Recurrent Neural Network,简称RNN)实际上是同一个概念,只是不同的翻译方式
    的头像 发表于 07-04 14:54 729次阅读

    循环神经网络和卷积神经网络的区别

    循环神经网络(Recurrent Neural Network,RNN)和卷积神经网络(Convolutional Neural Network,CNN)是深度学习领域中两种非常重要的神经网络
    的头像 发表于 07-04 14:24 1263次阅读

    深度神经网络与基本神经网络的区别

    在探讨深度神经网络(Deep Neural Networks, DNNs)与基本神经网络(通常指传统神经网络或前向神经网络)的区别时,我们需要从多个维度进行深入分析。这些维度包括
    的头像 发表于 07-04 13:20 836次阅读

    卷积神经网络与循环神经网络的区别

    在深度学习领域,卷积神经网络(Convolutional Neural Networks, CNN)和循环神经网络(Recurrent Neural Networks, RNN)是两种极其重要
    的头像 发表于 07-03 16:12 3183次阅读

    反向传播神经网络和bp神经网络的区别

    反向传播神经网络(Backpropagation Neural Network,简称BP神经网络)是一种多层前馈神经网络,它通过反向传播算法来调整网络中的权重和偏置,以达到最小化误差的
    的头像 发表于 07-03 11:00 788次阅读

    bp神经网络是深度神经网络

    BP神经网络(Backpropagation Neural Network)是一种常见的前馈神经网络,它使用反向传播算法来训练网络。虽然BP神经网络在某些方面与深度
    的头像 发表于 07-03 10:14 825次阅读

    bp神经网络和卷积神经网络区别是什么

    BP神经网络(Backpropagation Neural Network)和卷积神经网络(Convolutional Neural Network,简称CNN)是两种不同类型的人工神经网络,它们在
    的头像 发表于 07-03 10:12 1150次阅读

    卷积神经网络的原理是什么

    卷积神经网络(Convolutional Neural Network,简称CNN)是一种深度学习模型,广泛应用于图像识别、语音识别、自然语言处理等领域。本文将详细介绍卷积神经网络的原理,包括其
    的头像 发表于 07-02 14:44 630次阅读

    卷积神经网络和bp神经网络的区别

    卷积神经网络(Convolutional Neural Networks,简称CNN)和BP神经网络(Backpropagation Neural Networks,简称BPNN)是两种
    的头像 发表于 07-02 14:24 3625次阅读

    神经网络架构有哪些

    神经网络架构是机器学习领域中的核心组成部分,它们模仿了生物神经网络的运作方式,通过复杂的网络结构实现信息的处理、存储和传递。随着深度学习技术的不断发展,各种神经网络架构被提出并广泛应用
    的头像 发表于 07-01 14:16 691次阅读