什么是流处理？为何选择流处理？-德赢Vwin官网网

1►

什么是流处理？

流是从生产者到消费者的一系列无限事件。大量数据生成为金融交易、传感器测量或 Web 服务器日志等事件流。流处理是对接收到的新数据事件的连续处理。

Streamz 等流处理库有助于构建用于管理连续数据流的流程，允许应用程序在事件发生时对其作出响应。

流处理流程通常涉及多个操作，例如过滤、聚合、计数、分析、转换、充实、分支、连接、流量控制、早期阶段反馈、回压和存储。

2►

为何选择流处理？

数据流的持续处理在许多应用程序中都非常有帮助，例如：

医疗健康：持续监控仪器数据

智慧城市：交通模式和拥塞管理

制造：优化和预测性维护

运输：优化路线和燃料消耗

汽车：智能汽车

网络安全和异常检测：Web 或网络日志处理

金融：股票上市时间序列

机器学习：实时预测

广告：基于位置或动作的广告

由于各企业高度依赖实时分析、推理、监控等功能，因此流处理市场正经历指数级发展。现在，基于流构建的服务是日常业务的核心组成部分，结构化遥测事件和非结构化日志正以每年超过 5 倍的速度增长。在现代商业环境中，这种规模的大数据流愈加复杂并且难以有效地运行，因此，经济高效的可靠流对其至关重要。

3►

GPU 加速流处理

NVIDIA RAPIDScuStreamz 是 GPU 加速流数据处理库，旨在加速流处理吞吐量并降低总拥有成本 (TCO)。NVIDIA 的 cuStreamz 制作流程每年可节省数十万美元。cuStreamz 使用 Python 编写，基于 RAPIDS（用于数据科学库的 GPU 加速器）而构建。通过添加 GPU 支持的 Flink 可以看出，端到端 GPU 加速正迅速成为行业标准，NVIDIA 很高兴能成为此趋势的一个组成部分。

cuStreamz 基于以下内容构建：

Streamz，一个能够帮助构建管理连续数据流流程的开源 Python 库；

Dask，一个能够并行处理流工作负载的稳健可靠的调度程序；

RAPIDS，一种用于流计算的 GPU 加速库套件。

cuStreamz 通过在后台利用 RAPIDS cuDF 来加速 Streamz，从而使用 GPU 加速流数据计算。cuStreamz 还受益于 cuDF 的加速 JSON、Parquet 和 CSV 读取器和写入器。cuStreamz 团队构建了一个加速 Kafka 数据源连接器，能够非常快速地将 Kafka 的数据直接读取到 cuDF 数据帧中，从而显著提升端到端性能。然后，可以使用 Dask 在分布式模式下并行运行流流程，从而大规模提高性能。

在下图中对 cuStreamz 架构进行了概括总结。cuStreamz 是连接 Python 流与 GPU 的桥梁，应用了检查点和状态管理等复杂可靠的流功能。cuStreamz 还提供了必要的基础模块来编写流作业，这些作业在 GPU 上安全运行，并且性能更好，成本更低。

4►

GPU 加速的端到端数据科学

基于 NVIDIA CUDA-X AI构建的 RAPIDS 开源软件库，使您完全能够在 GPU 上执行端到端数据科学和分析流程。此套件依靠 NVIDIA CUDA基元进行低级别计算优化，但通过用户友好型 Python 接口能够实现 GPU 并行化和高带宽显存速度。

借助 RAPIDS GPU DataFrame，数据可以通过一个类似 Pandas 的接口加载到 GPU 上，然后用于各种连接的机器学习和图形分析算法，而无需离开 GPU。这种级别的互操作性是通过 Apache Arrow 这样的库实现的。允许加速数据准备、机器学习和深度学习等端到端流程。

RAPIDS cuML 的机器学习算法和数学基元遵循熟悉的类似于 scikit-learn 的 API。单块 GPU 和大型数据中心部署均支持 XGBoost 等主流算法。针对大型数据集，相较于同等功效的 CPU，这些基于 GPU 的实施方案能够以 10 到 50 倍的速度更快地完成任务。

RAPIDS 支持在许多热门数据科学库之间共享设备内存。这样可将数据保留在 GPU 上，并省去了来回复制主机内存的高昂成本。

*与NVIDIA产品相关的图片或视频（完整或部分）的版权均归NVIDIA Corporation所有。

审核编辑：刘清

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

传感器

传感器

+关注

关注
2550

文章
51035

浏览量
753072
加速器

加速器

+关注

关注
2

文章
796

浏览量
37839
机器学习

机器学习

+关注

关注
66

文章
8406

浏览量
132562
智能汽车

智能汽车

+关注

关注
30

文章
2843

浏览量
107246
GPU芯片

GPU芯片

+关注

关注
1

文章
303

浏览量
5804

原文标题：丽台科普丨什么是流处理？

文章出处：【微信号：Leadtek，微信公众号：丽台科技】欢迎添加关注！文章转载请注明出处。

微流控技术的生物学应用

取得了一定进展，但在样品引入和处理一定体积范围的流体方面仍然存在一些挑战。纳米技术的最新发展则有助于提升微流控技术。微系统已经彻底改变了可用于分析复杂样品的高灵敏度生物分析系统的发展。这些器件可用于多种领域

发表于 12-01 21:50 •128次阅读

数据科学工作流原理

数据科学工作流包括数据收集、数据预处理、数据探索与可视化、特征选择与工程、模型选择与训练、模型评估与优化、结果解释与报告、部署与监控等环节。

发表于 11-20 10:36 •184次阅读

微流控阵列芯片和普通芯片的区别

微流控阵列芯片与普通芯片在设计与应用上存在显著差异设计原理：微流控阵列芯片以微米级通道操控流体，集成多种实验功能；普通芯片则通常基于晶体管，用于电子信号处理。应用领域：微流控阵列芯

发表于 10-30 15:10 •190次阅读

恒流二极管的工作原理和应用

恒流二极管，也称为恒流晶体管，是一种具有恒定电流输出特性的半导体器件。它在电子电路中具有广泛的应用，如电源管理、信号处理、光电子学等领域。以下是对恒流二极管及其工作原理的详细阐述。

发表于 09-26 17:48 •568次阅读

过流保护片的型号选择要考虑哪些参数

过流保护片，也称为过电流保护片或电流限制片，是一种用于电路中保护电子设备免受过大电流损害的元件。选择合适的过流保护片对于确保电路的可靠性和安全性至关重要。以下是在选择过

发表于 09-20 15:45 •353次阅读

UV LED供电为什么要选择使用恒流驱动电源

LED为何一定要恒流供电? 在讨论此议题之前，什么是电源的恒流恒压？

发表于 08-25 14:55 •549次阅读

PMMA微流控芯片的键合介绍

微流控芯片键合前PMMA的表面处理在粘合之前对被粘接物表面进行处理是粘合工艺中最重要的环节之一。初始的粘接强度和耐久性完全取决于胶粘剂接触的表面类型。被粘接物处理的程度和使用环境与

发表于 08-13 15:20 •292次阅读

如何有效解决流固耦合问题

流固耦合问题的基本概念流固耦合问题是指在流体和固体相互作用的过程中，流体的运动受到固体边界的影响，同时固体的变形和应力状态也受到流体的作用。流固耦合问题具有以下特点： 1.1 多学科性：流

发表于 08-09 15:16 •624次阅读

LED恒流驱动芯片：升压恒流和降压恒流的区别和应用场景

LED恒流驱动芯片主要用于LED灯珠的供电和驱动控制。升压恒流和降压恒流是两种常见的LED恒流驱动方式： 1. 升压恒流（Boost Co

发表于 08-09 13:47 •1923次阅读

仿生超构微流控微针贴片，用于高效伤口管理

在过去的几十年中，微流控芯片作为处理微小液滴或小体积液体样品的小型实验室装置，具有快速分析、小容量处理和成本效益高等优点。

发表于 02-19 15:52 •1598次阅读

如何选择pcb表面处理方法

PCB的表面处理选择是PCB制造过程中最关键的步骤，因为它直接影响到工艺产量、返工数量、现场故障率、测试能力、废品率和成本。那么如何选择pcb表面处理方法呢？

发表于 02-16 17:09 •1877次阅读

BUCK电路元件的过流值该如何正确选择？

BUCK电路元件的过流值该如何正确选择？ BUCK（降压）电路是一种常用的DC-DC转换器，广泛应用于各种电子设备中。为了确保Buck电路的正常运行和安全性，合理选择电路元件的过流值非

发表于 01-31 17:03 •746次阅读

融合MCU与DSP功能以实现块和流处理

许多处理器核心增加了一两个乘法指令，就宣称自己具有DSP功能，其实它还要有其它专门用于信号处理的处理器。但不是每个具有DSP功能的处理器都拥有完整的32位架构并以数百MHz的速度运行。

发表于 01-15 15:15 •873次阅读

钳流表怎么测量电流使用钳流表测量电流的步骤

：步骤一：选择合适的钳流表在开始测量电流之前，首先需要选择合适的钳流表。钳流表有两种类型：直流（DC）钳

发表于 01-03 15:02 •2616次阅读

过流保护器的应用

过流保护器的应用过流保护器是一种具有过流保护功能的电子元件，被广泛应用于各种电气产品和电路中。它的主要作用是在过电流情况下自动切断电流，以保护电路和设备免受潜在的危害。本文将详细介绍过流

发表于 01-03 14:29 •1709次阅读

搜索历史

什么是流处理？为何选择流处理？

评论

微流控技术的生物学应用

数据科学工作流原理

微流控阵列芯片和普通芯片的区别

恒流二极管的工作原理和应用

过流保护片的型号选择要考虑哪些参数

UV LED供电为什么要选择使用恒流驱动电源

PMMA微流控芯片的键合介绍

如何有效解决流固耦合问题

LED恒流驱动芯片：升压恒流和降压恒流的区别和应用场景

仿生超构微流控微针贴片，用于高效伤口管理

如何选择pcb表面处理方法

BUCK电路元件的过流值该如何正确选择？

融合MCU与DSP功能以实现块和流处理

钳流表怎么测量电流使用钳流表测量电流的步骤

过流保护器的应用