Google最强模型BERT出炉-德赢Vwin官网网

经过近几年的发展，深度学习给自然语言处理带来了很多新的变化，包括 Word2Vec、ELMO、OpenAI GPT、Glove、Fasttext 等主流模型也在这一端时间内涌现。直到最近 Google 发布的论文“ Pre-training of Deep Bidirectional Transformers for Language Understanding ”中提到的 BERT 模型又刷新了自然语言处理的 11 项记录。

在不少人看来，BERT 对自然语言处理的研究具有里程碑式的意义，至少在复旦大学计算机科学技术学院副教授邱锡鹏看来：“证明了一个非常深的模型可以显著提高 NLP 任务的准确率，而这个模型可以从无标记数据集中预训练得到。”

也正是因为如此，深度学习的不可解释性，在面对某个具体任务时进行迁移学习是十分困难的，相对而言，基于知识图谱的自然语言理解则是可解释性的，更加类似于人类思考过程的技术。BERT 的出现或将对提高知识图谱质量，并进一步提高自然语言处理的质量将非常有帮助。

于是，在以移动互联网为基础高速发展的背景之下，人们获取信息并进行传播的渠道越来越丰富、数据量也越来越巨大，如何更好地进行人机语言交互，让机器既能听懂又能学会迁移？如智能客服、对话机器人已作为主要落地方式被应用于电商、游戏、金融等场景。

今年7月，思必驰北京研发院首先提出了启发式对话系统的框架，通过话题路径规划和知识点推荐模型，实现信息传播和目标引导，可以帮助企业快速构建信息服务对话机器人，并能大幅提升关键信息的用户触达能力。

此外，自然语言处理还在搜索、推荐、翻译等文本类场景上有着更为广泛的落地，放在目前来看，如国外的 Facebook、微软必应等，国内的阿里、今日头条等不少门户类公司都有自己相对完备的搜索、推荐系统。

现在，CSDN 就为大家提供了这样一个机会，让你能够聆听以上公司在自然语言处理方面的最新技术实践，并有机会与它们的资深技术人员面对面交流。

2018 年 11 月 8-9 日，由中国 IT 社区 CSDN 与硅谷 AI 社区 AICamp 联合出品的 2018 AI 开发者大会（AI NEXTCon）将于北京召开。

本次大会设有“自然语言处理技术专场”，我们很荣幸邀请到在研究和工业界都极富盛名的一线技术专家们：思必驰北京研发院院长、公司副总裁初敏、Facebook语音识别科学家 Baiyang Liu、字节跳动高级技术总监和杰出科学家 Xiaobing Liu、阿里巴巴智能服务事业部北京团队负责人孙健、微软（亚洲）互联网工程院资深应用科学研发总监陈一宁。

下面重磅介绍自然语言处理技术专题的讲师团和他们的议题概要：

初敏：思必驰北京研发院院长、公司副总裁

演讲主题：启发式对话助力企业服务智能化

初敏博士毕业于中科院声学所，主要研究方向覆盖语音识别与合成、自然语言处理、机器学习和数据挖掘、大数据处理和计算等，在相关领域发表了近百篇学术论文并取得30多项国内外专利。

2000年，初敏博士加入微软亚洲研究院，从事科学研究近10年，创建并领导语音合成研究小组，研制出了第一个中英文双语语音合成系统“木兰”；2009年入职阿里云，承担过各种大数据应用项目。从2014开始，组建阿里iDST智能语音交互团队，在短短两年时间，完成语音交互全链路技术的研发和应用落地，他们的技术在淘宝客服、支付宝客服、Yun OS、手机支付宝、手机淘宝、钉钉等产品广泛应用；2017年加入思必驰，担任思必驰公司副总裁，组建思必驰北京研发院并担任院长，负责语音合成、自然语言处理等核心技术的研发，以及智能语音交互技术在企业服务智能化等新场景的产品研发和业务拓展。

Baiyang Liu：Facebook语音识别科学家

演讲议题：自然语言理解在Facebook的应用与实践

Baiyang Liu是Facebook语音识别研究科学家。自2015年初以来，他一直致力于建立众多支持Facebook AI产品的话语理解和对话系统。在此之前，Baiyang是亚马逊语音识别系统的早期机器学习工程师之一。他获得计算机科学博士学位，主攻计算机视觉领域。

Xiaobing Liu：字节跳动高级技术总监和杰出科学家

演讲议题：大规模深度学习和序列模型的研究及应用

Xiaobing Liu，自2014年起担任Google Brain Staff软件工程师和机器学习研究员。工作中，他专注于TensorFlow以及一些可以应用深度学习来改进Google产品的关键应用，如Google Ads、Google Play推荐、Google翻译、医学大脑等。他的研究兴趣从系统到应用机器学习如ASR、机器翻译、医学HER建模、推荐建模。他的研究成果已成功应用于雅虎、腾讯、Google的各类商业产品。他曾担任2017年ACL计划委员会和2017年AAAI会议主席，负责包括一些顶级会议的部分出版物。

孙健：阿里巴巴智能服务事业部北京团队负责人

演讲议题：关于人机对话交互的反思、实践和未来展望

孙健，阿里巴巴智能服务事业部北京团队负责人。他主导的自然语言处理基础平台有力支撑和服务了淘宝搜索、阿里妈妈广告等核心业务，主导了阿里巴巴自然交互平台（Natural User Interface, NUI）的设计开发，NUI平台广泛应用于天猫魔盒、互联网汽车等各种设备中。目前他正带领团队打造面向全行业的企业智能服务对话机器人(云小蜜)，从而让每一家企业/组织能够及时响应用户的需求，与用户进行7*24的自然交互。

陈一宁：微软（亚洲）互联网工程院资深应用科学研发总监

演讲议题：搜索中的自然语言先验知识

陈一宁是清华大学博士，主要研发方向涵盖语音识别与合成、自然语言处理、人工智能、大数据等方向，并在相关领域发表多篇论文并取得多项专利。2004年，陈一宁博士加入微软亚洲研究院，从事语音合成方面的研究。2009年加入阿里巴巴，负责多项算法工作，是神马搜索的共同创始人，并曾负责iDST智能语音方向的商业化。2017年加入微软互联网工程院，从事自然语言处理相关的研发工作。

除了语音技术专题之外，我们还为大家准备了“语音技术”、“机器学习工具”、“数据分析”、“机器学习”、“计算机视觉”、“知识图谱”等技术专题，以及“智慧金融”、“智能驾驶”、“智慧医疗”等行业峰会。大会完整日程以及嘉宾议题请查看下方海报。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

Google

Google

+关注

关注
5

文章
1762

浏览量
57504
AI

AI

+关注

关注
87

文章
30728

浏览量
268872
深度学习

深度学习

+关注

关注
73

文章
5500

浏览量
121109

【「大模型启示录」阅读体验】如何在客服领域应用大模型

训练模型如BERT、GPT等。这些模型在理解自然语言、生成文本、处理对话等方面具有不同的能力。因此，在选择模型时，需要了解每个模型的特点和优

发表于 12-17 16:53

Google Gemma 2模型的部署和Fine-Tune演示

Google 近期发布了最新开放模型 Gemma 2，目前与同等规模的开放模型相比，取得了明显的优势，同时在安全可控性上得到了显著的增强。

发表于 08-09 17:04 •524次阅读

<b class='flag-5'>Google</b> Gemma 2<b class='flag-5'>模型</b>的部署和Fine-Tune演示

Meta Llama 3.1系列模型可在Google Cloud上使用

我们很高兴宣布，Llama 3.1 系列模型已添加到 Vertex AI Model Garden，这包括全新的 405B，即 Meta 迄今为止功能最强大、用途最广泛的模型。这些模型

发表于 08-02 15:42 •377次阅读

ai大模型和传统ai的区别在哪？

AI大模型和传统AI的区别主要体现在以下几个方面：数据量和训练规模 AI大模型通常需要大量的数据进行训练，以获得更好的性能。相比之下，传统AI模型往往使用较小的数据集进行训练。例如，Goog

发表于 07-16 10:06 •1318次阅读

llm模型有哪些格式

：基于Transformer的模型 Transformer是一种基于自注意力机制的模型，广泛应用于NLP领域。基于Transformer的LLM模型包括： a. BERT（Bidir

发表于 07-09 09:59 •593次阅读

使用PyTorch搭建Transformer模型

Transformer模型自其问世以来，在自然语言处理（NLP）领域取得了巨大的成功，并成为了许多先进模型（如BERT、GPT等）的基础。本文将深入解读如何使用PyTorch框架搭建Transformer

发表于 07-02 11:41 •1588次阅读

Google Calendar、Tasks和Keep应用将整合Gemini模型

在今日举行的I/O 2024开发者大会上，谷歌公司带来了一项令人兴奋的新功能：在Google Calendar、Tasks和Keep应用中整合了Gemini模型，为用户带来前所未有的AI体验。这一创新举措将极大地丰富用户在日程管理、任务追踪和笔记记录方面的功能。

发表于 05-15 11:24 •593次阅读

谷歌Google Calendar、Tasks与Keep应用中成功整合Gemini模型

谷歌于今日发布的I/O 2024开发者大会新闻中展现了其在Google Calendar， Tasks以及Keep应用中整合Gemini模型的最新进展，为用户呈现出更为智能化的使用体验。

发表于 05-15 11:10 •349次阅读

【大语言模型：原理与工程实践】大语言模型的基础技术

模型架构奠定基础。然后，引介一些经典的预训练模型，如BERT、GPT等。最后，解读ChatGPT和LLaMA系列模型，帮助读者初步感知大语言模型

发表于 05-05 12:17

海信发布电视行业最强中文大模型，开启电视AI新时代

3月15日，“海信视像 AI美好生活”全场景显示新品发布会上，海信正式发布了自研星海大模型，这也是目前电视行业最强中文大模型。

发表于 03-18 14:24 •361次阅读

全球最强大模型易主，GPT-4被超越

近日，AI领域的领军企业Anthropic宣布推出全新的Claude 3系列模型，其中包括最强版Claude 3 Opus。据该公司称，Claude 3系列在推理、数学、编码、多语言理解和视觉方面全面超越了包括GPT-4在内的所有大型模

发表于 03-05 09:58 •645次阅读

谷歌发布最先进的开放模型Gemma

在 Google，我们致力于让 AI 助力每个人。长期以来，我们对开放社区的创新贡献了许多成果，如 Transformers、TensorFlow、BERT、T5、JAX、AlphaFold

发表于 02-23 10:12 •613次阅读

谷歌发布全球最强开源大模型Gemma

谷歌近日宣布，其全新开源大模型Gemma正式亮相。Gemma被誉为全球性能最强大、同时也是最轻量级的模型系列，分为2B（20亿参数）和7B（70亿）两种尺寸版本。令人瞩目的是，即便是2B版本，也能够在笔记本电脑上流畅运行。

发表于 02-22 14:51 •792次阅读

从Google多模态大模型看后续大模型应该具备哪些能力

前段时间Google推出Gemini多模态大模型，展示了不凡的对话能力和多模态能力，其表现究竟如何呢？

发表于 12-28 11:19 •1251次阅读

大语言模型背后的Transformer，与CNN和RNN有何不同

（Google）研究团队提出，主要用于处理自然语言。 2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers

发表于 12-25 08:36 •4019次阅读

搜索历史

Google最强模型BERT出炉

评论

【「大模型启示录」阅读体验】如何在客服领域应用大模型

Google Gemma 2模型的部署和Fine-Tune演示

Meta Llama 3.1系列模型可在Google Cloud上使用

ai大模型和传统ai的区别在哪？

llm模型有哪些格式

使用PyTorch搭建Transformer模型

Google Calendar、Tasks和Keep应用将整合Gemini模型

谷歌Google Calendar、Tasks与Keep应用中成功整合Gemini模型

【大语言模型：原理与工程实践】大语言模型的基础技术

海信发布电视行业最强中文大模型，开启电视AI新时代

全球最强大模型易主，GPT-4被超越

谷歌发布最先进的开放模型Gemma

谷歌发布全球最强开源大模型Gemma

从Google多模态大模型看后续大模型应该具备哪些能力

大语言模型背后的Transformer，与CNN和RNN有何不同