知识图谱基础知识应用和学术前沿趋势-德赢Vwin官网网

作者简介

作者：gaojing

针对于知识图谱基础知识，领域应用和学术前沿趋势进行介绍。

知识图谱介绍

知识图谱（Knowledge Graph）以结构化的形式描述客观世界中概念、实体及其关系。是融合了认知计算、知识表示与推理、信息检索与抽取、自然语言处理、Web技术、机器学习与大数据挖掘等等方向的交叉学科。人工智能是以传统符号派与目前流行的深度神经网路为主，如下图所示，知识图谱发展史。

知识图谱发展史

知识表示与深度学习表示

各大公司布局知识图谱

补充其中还包括国内的京东与美团（美团的AI大脑，数十亿知识图谱构建）

知识图谱应用模式(来之美团的Ai大会报告)

知识图谱技术链

知识图谱赋能

知识图谱应用非常广泛，目前主要应用到搜索引擎、智能问答、大数据分析、语言翻译和语言理解及辅助设备互联（Iot领域），如下图所示，知识图谱在搜索引擎的应用。

通用知识图谱与垂直领域知识图谱对比

相比较DBpedia、Yago、Wikidata、百度和谷歌等通用知识图谱，+特定领域内的知识图谱在知识表示、知识结构、知识质量及知识应用更高的要求（关于领域知识图谱与通用知识图谱之间的问题可以查看复旦肖仰华）。

国内外知识图谱项目

国外：早期的常识知识库Cyc、WordNet、ConceptNet等；互联网知识图谱，主要有FreeBase、DBpedia、Schema、Wikidata 、BableNet、Microsofot ConceptGraph，医疗领域Linked Life Data等

国内：中文知识图谱OpenKG，CN-DBpedia，中医药知识图谱，阿里电商知识图谱、美团知识图谱、XLore(清华大学)、Belief-Eigen(中科院)、PKUPie(北京大学)，开放类的中文百科知识图谱,zhishi.me

知识图谱技术模块

知识表示

如何利用计算符号运算来表示人脑中的知识和推理过程，知识表示主要有两种，基于离散符号的知识表示法和基于连续向量的知识表示。

基于离散符号的知识表示法

RDF(Triple-based Assertion Model) 三元组模型，构建方式主要是主-谓-宾有向标记图和RDFS（simple Vocabularty and schema）

OWL(Web Ontology language)：是一种W3C开发的网路本体语言，用于对本体进行语义描述。

SPARQL(Protocol and RDF Query Language) ：RDF的查询语言，支持主流图形数据库。下图URI/IRI为主要网络协议，主要数据存储格式是RDF与XML

基于连续向量的知识表示

KG embedding 主要是KG中实体与关系映射到一个低维的向量空间，主要的方法有张量分解、NN、距离模型（现有的词向量模型基于连续向量空间来表示）（Embedding projector）

两种方法对比

知识抽取

KG中知识抽取主要从结构化、半结构化、结构化数据中转为三元组表示的标准知识形态。

主要处理流程

实体抽取（NER命名实体识别）

目的是识别文本中指定类别的实体，主要包括人名、地名、机构名、专有名词等的任务“ 姚明（Yao Ming），1980年9月12日出生于上海市徐汇区，祖籍江苏省苏州市吴江区震泽镇，前中国职业篮球运动员，司职中锋，现任中职联公司董事长兼总经理“。如下图所示，命名实体识别主要包含两个部分：实体边界识别与实体分类。传统方法（HMM（隐马尔科夫模型） CRF（条件随机场） SVM、最大熵分类模型等方法进行处理。现在能采用深度学习，比如CNNRNNLSTM及LSTM-CRF。采用的工具可以有Jiagu、jieba、Stanford CoreNLP等。

实体链接

目的是将实体提及与知识库中对应实体进行链接，主要解决实体名的歧义性与多样性问题，是文本中实体名指向真实世界实体的任务。传统模型是计算实体提及与知识库中实体的相似度，并选取特定的实体提及的目标实体，比如“苹果发布新的手机‘IphoneX11’”,[苹果（水果）、苹果（电影）、苹果（公司）等候选实体]，主要使用包括实体统计信息、名字统计信息、上下文词语分布、实体关联度、文章主题等信息，同时，考虑到一段文本中实体之间的相互关联，相关的全局推理算法也被提出来寻找全局最优决策。目前深度学习方法，构建多类型多模态上下文及知识的统一表示，并建模不同信息、不同证据之间的相互交互通过将不同类型的信息映射到相同的特征空间，并提供高效的端到端训练算法。包括多源异构证据的向量表示学习、以及不同证据之间相似度的学习等工作[Ganea & Hofmann, 2017] [Gupta et al., 2017] [Sil et al 2018] 。开源工具dexter2

实体关系抽取

实体关系抽取是知识图谱构建与信息提取的关键环节，主要提取两个或者多个实体之间的某种联系。格式，三元组（实体1，关系，实体2），"北京是中国的首都、政治中心和文化中心 "中实体关系可以表示为（中国、首都、北京）（中国政治中心北京）（中国文化中心北京）。

限定关系抽取：采用弱监督/监督机器学习进行预定义的实体关系知识抽取，一般为多分类问题，可以直接抽取三元组关系。一般会采用基于特征向量的方法、基于核函数的方法和基于神经网络的方法。

开发域关系抽取：预先不进行预定义，系统本身自动抽取实体之间的关系，一般采用无监督学习方法进行自动提取实体之间的关系（三元组）。缺点是抽取的知识缺乏语义化、很难做归一化处理，弱监督学习可以自动生成大规模的训练医疗库，但是会产生噪音数据。

事件关系抽取

识别文本中关于事件的信息，并以结构化的形式呈现，核心概念包括：事件描述、事件触发词（动词或者名词）、事件元素（实体、时间和属性等表达语义的细粒度单位组成）、元素角色（角色在某件事情上面的语义关系）、事件类型（事件元素和触发词决定事件的类别），如下图所示

基于模式匹配的方法：对于某一个事件的识别与抽取是在一些模式的指导下进行的，主要有两个步骤：模式获取和模式匹配，有可分为基于人工标注语料和弱监督学习

基于机器学习的方法：把事件建模成多分类问题，可以分为基于特征、基于结构和基于神经网路。

基于特征：该方法多用管道式事件抽取

基于结构预测：将事件结构看做是依存树结构预测。基于结构感知机的联合模型可同时完成触发词与事件元素识别的两个子任务。

基于神经网路：利用RNN进行事件检测及联合模型与RNN相结合进行预测触发词和事件元素

基于弱监督：在学术上，[Chen and Ji, 2009] [Liao and Grishman, 2011a; 2011b] [Liu et.al., 2016b] 等，但是由于该方法无法直接映射到结构化数据中，无法直接构建三元组。

中文事件抽取

中文与英文事件抽取区别较大，主要是缺乏统一、公认的事件语料库及公开评测系统（上海大学CEC（Chinese Event Corpus））

知识融合

知识融合是指合并两个知识图谱，本体可以让用户非常方便和灵活的根据自己的业务建立或者修改数据模型。通过数据映射技术建立本体中术语和不同数据源抽取知识中词汇的映射关系，进而将不同数据源的数据融合在一起。同时不同源的实体可能会指向现实世界的同一个客体，这时需要使用实体匹配将不同数据源相同客体的数据进行融合。不同本体间也会存在某些术语描述同一类数据，那么对这些本体间则需要本体融合技术把不同的本体融合。

知识融合-异构问题

语言层不匹配：RDF OWL OWL2等本体语言之间不兼容。

实体对齐问题：由于多源、异构、跨语言知识图谱差异性较大，比如结构化不可比、实体名称表述差别较大、外部工具不稳定等，可训练数据较少。方法：可以基于图神经网路的实体结构语义表示及匹配（关于知识融合中实体对齐在学术上有很多研究）

知识存储

知识图谱的知识存储一般是采用图形数据库进行存储，主要有两种图数据模型：RDF图和属性图

查询语言：RDF图---SPARQL；属性图：Cypher 和 Gremlin

常见知识图谱存储方式

基于关系数据库的存储方案

主要是三元组表（3store）、水平表(DLDB)、属性表(JENA)、垂直划分(SW-Store)、DB2RDF和六重索引(RDFX-3X、Hexastore)

面向RDF的三元组数据库

Jena RDF4J RDF-3X gStore

原生图数据库

Neo4j

分布式图形数据库 JanusGraph

OrientDB

Cayley

图形数据库对比

来之DB-Engiens图引擎和美团知识图谱报告，美团采用JanusGraph分布式图形引擎

知识推理

根据已有的知识图谱中的事实或者关系推断出新的事实与关系，一般是考察实体、关系和图谱结构三个方面的信息特征

基于演绎的知识图谱推理

基于归纳的知识图谱推理

基于图结构

基于规则学习

基于表示学习

新的方法

时序法

基于强化学习

基于图神经网路

开源工具

Jena和Drools

知识图谱构建流程

主要介绍主流的知识图谱构建流程，实体图谱的构建主要有自底向上、自顶向下和二则混合的方法，如下图所示，分别为自底向上和自顶向下

自底向上

自顶向下

知识图谱整体构建流程

审核编辑：黄飞

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

网络协议

网络协议

+关注

关注
3

文章
267

浏览量
21534
数据存储

数据存储

+关注

关注
5

文章
970

浏览量
50892
人工智能

人工智能

+关注

关注
1791

文章
47183

浏览量
238200
深度学习

深度学习

+关注

关注
73

文章
5500

浏览量
121109
知识图谱

知识图谱

+关注

关注
2

文章
132

浏览量
7703

原文标题：知识图谱入门系列

文章出处：【微信号：vision263com，微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。

NLPIR大数据知识图谱完美展现文本数据内容

。现在，一种有效获取知识、发现知识和探测知识前沿的新领域与新手段——以知识单元为分析基础的知识图谱

发表于 07-01 11:40

知识图谱相关应用

智慧风控的背后，是知识图谱的深度应用

发表于 08-22 14:40

KGB知识图谱基于传统知识工程的突破分析

知识图谱本质上是一种大规模的语义网络。从2012年谷歌提出知识图谱，知识图谱一直在快速发展，其应用也不再局限于“语义网络”范畴。现如今的知识图谱在实际应用中，主要作为大数据时代的

发表于 10-22 15:25

KGB知识图谱技术能够解决哪些行业痛点？

`知识图谱和行业应用相互结合时，需要充分发挥其技术特色，且要适用于现在的企业应用。那么知识图谱的应用可以解决那些行业问题呢？知识图谱在行业应用方面实现的突破具体表现在知识表示、

发表于 10-30 15:34

知识图谱的三种特性评析

知识图谱的应用对技术本身也提出了高要求，KGB知识图谱现在已经在保险行业，为公司分析上市数据等行业得以广泛应用，知识图谱能够在应用中发挥优势主要体现在哪里呢?（1）目标的动态性：考察知识图

发表于 12-13 13:57

知识图谱是什么？与传统知识表示的区别

知识图谱是实现机器认知智能的基础。机器认知智能的两个核心能力：“理解”和“解释”，均与知识图谱有着密切关系。首先需要给机器“理解与解释”提出一种解释。我认为机器理解数据的本质是建立起从数据到知识库中的

发表于 10-29 10:03 •2.7w次阅读

知识图谱已经取得了哪些学术与技术成果，产业与应用发生了哪些变化？

知识图谱从以前研究与产业界脱钩，到现在领域知识图谱成为研究的重点，开始面向解决实际的问题。比如最近司法知识图谱的构建出现了不少研究成果。另外，知识图谱用于解决问答、推荐系统、图像理解方

发表于 05-11 09:38 •5261次阅读

一文带你读懂知识图谱

1 什么是知识图谱？通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。 知识图谱这个网络具备以下3种特性： 1.1 由

发表于 12-26 10:23 •3727次阅读

知识图谱划分的相关算法及研究

知识图谱是人工智能的重要基石，因其包含丰富的图结构和属性信息而受到广泛关注。知识图谱可以精确语义描述现实世界中的各种实体及其联系，其中顶点表示实体，边表示实体间的联系。知识图谱划分是大规模知识

发表于 03-18 10:10 •9次下载

知识图谱在工程应用中的关键技术、应用及案例

近年来，知识图谱及其相关技术得到快速发展，并被广泛应用于工业界各种认知智能场景中。在简述知识图谱相关研究的基础上，介绍知识图谱在工程应用中的关键技术，研究工业级知识图谱的典型应用场景与

发表于 03-30 15:12 •15次下载

通用知识图谱构建技术的应用及发展趋势

知识图谱的概念由谷歌于2012年提出，随后逐渐成为人工智能领域的一饣研究热点，已在信息搜索、自动问答、决策分析等应用中发挥作用。虽然知识图谱在各领域展现出了巨大的潜力，但不难发现目前缺乏成熟的知识图谱

发表于 04-14 11:37 •27次下载

知识图谱是NLP的未来吗？

我的看法：知识图谱不是NLP的未来，因为知识图谱是另外一种与NLP有很多交集的技术。在目前所有已知的发展方向中，知识图谱是最有可能长期和NLP互利共生的技术。

发表于 04-15 14:36 •3692次阅读

什么是知识图谱？人工智能世界知识图谱的发展

1.1 什么是知识图谱 知识图谱是一种用图模型来描述知识和建模世界万物之间的关联关系的技术方法[1]。知识图谱由节点和边组成。节点可以是实体，如一个人、一本书等，或是抽象的概念，如

发表于 06-01 19:54 •6217次阅读

知识图谱Knowledge Graph构建与应用

一、知识图谱概论 1.1知识图谱的起源和历史 1.2知识图谱的发展史——从框架、本体论、语义网、链接数据到知识图谱 1.3知识图谱

发表于 09-17 10:12 •647次阅读

知识图谱：知识图谱的典型应用

作者： cooldream2009 我们构建知识图谱的目的，在于利用知识图谱来做一些事情。有效利用知识图谱，就是要考虑知识图谱的具备的能力，知识图

发表于 10-18 09:26 •1939次阅读