讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比-德赢Vwin官网网

一、前述

CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比。

二、CNN与RNN对比

1、CNN卷积神经网络与RNN递归神经网络直观图

2、相同点：

2.1. 传统神经网络的扩展。

2.2. 前向计算产生结果，反向计算模型更新。

2.3. 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。

3、不同点

3.1. CNN空间扩展，神经元与特征卷积；RNN时间扩展，神经元与多个时间输出计算

3.2. RNN可以用于描述时间上连续状态的输出，有记忆功能，CNN用于静态输出

3. 3. CNN高级100+深度，RNN深度有限

三、CNN+RNN组合方式

1. CNN 特征提取，用于RNN语句生成图片标注。

2. RNN特征提取用于CNN内容分类视频分类。

3. CNN特征提取用于对话问答图片问答。

四、具体应用

1、图片标注

基本思路

目标是产生标注的语句，是一个语句生成的任务，LSTM？描述的对象大量图像信息，图像信息表达，CNN？CNN网络中全连接层特征描述图片，特征与LSTM输入结合。

具体步骤：

1.1 模型设计－特征提取全连接层特征用来描述原图片LSTM输入：word＋图片特征；输出下一word。

1.2 模型设计－数据准备

1. 图片CNN特征提取2. 图片标注生成Word2Vect 向量3. 生成训练数据：图片特征＋第n单词向量：第n＋1单词向量。

1.3 模型训练：

1. 运用迁移学习，CNN特征，语句特征应用已有模型2. 最终的输出模型是LSTM，训练过程的参数设定：梯度上限(gradient clipping), 学习率调整(adaptivelearning)3. 训练时间很长。

1.4 模型运行：

1. CNN特征提取2. CNN 特征＋语句开头，单词逐个预测

2、视频行为识别：

视频中在发生什么？

2.1常用方法总结：

RNN用于CNN特征融合1. CNN 特征提取2. LSTM判断3. 多次识别结果分析。

不同的特征不同输出。

或者：所有特征作为一个输出。

2.2 RNN用于CNN特征筛选＋融合：

1. 并不是所有的视频图像包含确定分类信息2. RNN用于确定哪些frame 是有用的3. 对有用的图像特征融合。

2.3 RNN用于，目标检测：

1. CNN直接产生目标候选区2. LSTM对产生候选区融合（相邻时刻位置近似）3. 确定最终的精确位置。

2.4 多种模型综合：

竞赛／应用中，为了产生最好结果，多采用多模型ensemble形式。

3、图片／视频问答

3.1 问题种类

3.2 图片问答意义

1. 是对纯文本语言问答系统的扩展2. 图片理解和语言处理的深度融合3. 提高人工智能应用范围－观察，思考，表达

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

cnn

cnn

+关注

关注
3

文章
352

浏览量
22203
迁移学习

迁移学习

+关注

关注
0

文章
74

浏览量
5559
rnn

rnn

+关注

关注
0

文章
89

浏览量
6886

原文标题：深度学习篇——CNN和RNN结合与对比，实例讲解

文章出处：【微信号：Imgtec，微信公众号：Imagination Tech】欢迎添加关注！文章转载请注明出处。

TF之CNN：CNN实现mnist数据集预测

TF之CNN：CNN实现mnist数据集预测 96%采用placeholder用法+2层C及其max_pool法+隐藏层dropout法+输出层softmax法+目标函数cross_entropy法+

发表于 12-19 17:02

递归神经网络（RNN）

递归神经网络（RNN）RNN是最强大的模型之一，它使我们能够开发如分类、序列数据标注、生成文本序列（例如预测下一输入词的SwiftKey keyboard应用程序），以及将一个序列转换为另一个序列

发表于 07-20 09:27

CNN和RNN结合与对比，实例讲解

由 mengqiqi 于星期三, 2018-09-05 09:58 发表一、前述 CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的

发表于 09-06 22:32 •789次阅读

一文带你了解（神经网络）DNN、CNN、和RNN

很多“长相相似”的专有名词，比如我们今天要说的“三胞胎”DNN（深度神经网络）、CNN（卷积神经网络）、RNN（递归神经网络），就让许许多多的AI初学者们傻傻分不清楚。而今天，就让我们一起擦亮眼睛，好好

发表于 03-13 14:32 •4814次阅读

CNN与RNN对比 CNN+RNN组合方式

相同点：传统神经网络的扩展。前向计算产生结果，反向计算模型更新。每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。

发表于 02-08 19:07 •7400次阅读

深度分析RNN的模型结构，优缺点以及RNN模型的几种应用

神经网络是深度学习的载体，而神经网络模型中，最经典非RNN模型所属，尽管它不完美，但它具有学习历史信息的能力。后面不管是encode-decode 框架，还是注意力模型，以及自注意力模型，以及更加

发表于 05-13 10:47 •2.4w次阅读

深度分析<b class='flag-5'>RNN</b>的模型结构，优缺点<b class='flag-5'>以及</b><b class='flag-5'>RNN</b>模型的几种应用

基于CNN和LSTM的蛋白质亚细胞定位研究对比

基于CNN和LSTM的蛋白质亚细胞定位研究对比

发表于 06-11 14:16 •15次下载

RNN以及LSTM

循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。

发表于 03-15 10:44 •1879次阅读

cnn卷积神经网络简介 cnn卷积神经网络代码

以解决图像识别问题为主要目标，但它的应用已经渗透到了各种领域，从自然语言处理、语音识别、到物体标记以及医疗影像分析等。在此，本文将对CNN的原理、结构以及基础代码进行

发表于 08-21 17:16 •2669次阅读

NLP模型中RNN与CNN的选择

在自然语言处理（NLP）领域，循环神经网络（RNN）与卷积神经网络（CNN）是两种极为重要且广泛应用的网络结构。它们各自具有独特的优势，适用于处理不同类型的NLP任务。本文旨在深入探讨RNN与

发表于 07-03 15:59 •504次阅读

rnn神经网络模型原理

的应用。本文将介绍RNN的原理、结构、优化方法以及实际应用。 RNN的基本原理 1.1 循环结构 RNN的核心特点是具有循环结构，即网络中的神经元不仅与前一层的神经元相连，还与同一层次

发表于 07-04 15:40 •572次阅读

rnn是什么神经网络

RNN（Recurrent Neural Network，循环神经网络）是一种具有循环连接的神经网络，它能够处理序列数据，并且具有记忆能力。与传统的前馈神经网络（Feedforward Neural

发表于 07-05 09:49 •657次阅读

CNN与RNN的关系

在深度学习的广阔领域中，卷积神经网络（CNN）和循环神经网络（RNN）是两种极为重要且各具特色的神经网络模型。它们各自在图像处理、自然语言处理等领域展现出卓越的性能。本文将从概念、原理、应用场景及代码示例等方面详细探讨CNN与

发表于 07-08 16:56 •724次阅读

RNN的基本原理与实现

RNN，即循环神经网络（Recurrent Neural Network），是一种特殊类型的人工神经网络，专门设计用于处理序列数据，如文本、语音、视频等。以下是对RNN基本原理与实现的介绍：一

发表于 11-15 09:49 •400次阅读

搜索历史

讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比

评论

TF之CNN：CNN实现mnist数据集预测

利用RNN进行文章生成

递归神经网络（RNN）

CNN和RNN结合与对比，实例讲解

一文带你了解（神经网络）DNN、CNN、和RNN

CNN与RNN对比 CNN+RNN组合方式

深度分析RNN的模型结构，优缺点以及RNN模型的几种应用

基于CNN和LSTM的蛋白质亚细胞定位研究对比

RNN以及LSTM

cnn卷积神经网络简介 cnn卷积神经网络代码

NLP模型中RNN与CNN的选择

rnn神经网络模型原理

rnn是什么神经网络

CNN与RNN的关系

RNN的基本原理与实现