欢迎关注虹科，为您提供最新资讯！

导读

虹科CSS的CANedge数据记录仪专为汽车和工业领域的工程师设计，旨在通过监控现场资产来支持研发、诊断和预测性维护。为了将这些数据转化为直观的可视化信息，工程师们通常依赖于Grafana仪表板。本文将深入探讨实现这一目标所涉及的工作流程，并展示如何通过Grafana-Athena集成技术，巧妙应对用户在数据可视化过程中遇到的一系列挑战。

Grafana仪表板

01 亟待解决的五大难题

如何解码原始二进制日志文件？

虹科CANedge数据记录仪以MDF（*.MF4）格式记录原始CAN数据，包括带有时间戳的“CAN ID”和“数据字节”。为了使这些数据对用户可读，需要通过软件/API工具和CAN（DBC）数据库文件进行解码。

如何实现跨TB数据的低成本可视化？

一台虹科CANedge物联网设备每月可能产生超过50GB的数据，甚至累积至TB级别，而将这些数据存储在基于云的时间序列数据库中的成本过高。同时，数据查询的速度也应相当快，以便用户能够有效地处理数据。

如何保留原始报文时间戳？

CAN网络中的每个报文都有其独特的时间光栅，集成方案必须保留这些原始时间戳，以便用户能够查看从秒到月的数据。

如何让用户自主部署？

虹科CSS不提供服务器或服务托管，而是让用户自行设置。这要求部署过程简单，以适应对数据敏感性有严格要求的用户。

如何保持不可知性？

虹科CANedge设备支持多种数据收集方式，例如，用户可使用虹科CANedge1将数据记录到SD卡中，以便离线使用，也可以使用虹科CANedge2/CANedge3通过 WiFi/LTE（4G）将数据收集到S3服务器中。因此，集成方案需要能够适应这些不同的后端存储选项。

02 虹科Grafana-Athena集成解决方案

为了应对上述集成挑战，虹科CSS推出了“Grafana-Athena”仪表板集成方案，提供了一种高效且用户友好的数据可视化方案。
虹科CANedge数据记录仪.png

集成方案的设置步骤

■ 数据上传 ：虹科CANedge记录仪将CAN/LIN数据上传至AWS S3的“input bucket”。

■ 触发Lambda函数 ：日志文件上传后，自动触发一个Lambda函数。

■ ** 数据解码** ：Lambda函数使用DBC文件将原始数据解码为Parquet格式。

■ 数据存储 ：解码后的Parquet文件被写入AWS S3的“output bucket”。

■ 数据可视化 ：Grafana通过亚马逊Athena插件，将“data lake”中的数据进行可视化。

■ 快速部署 ：整个设置可以在15分钟内自动部署完成，无需任何编码工作。
虹科Grafana-Athena仪表板集成.jpg

虹科Grafana-Athena的部署过程完全由用户自主完成， 即使是没有Grafana或AWS使用经验的用户也能轻松上手 。虹科CSS为此提供了即插即用的AWS CloudFormation堆栈，以及详细的部署指导。

用户只需将DBC文件和Lambda函数压缩包上传至S3 input bucket，然后使用CloudFormation堆栈模板部署Lambda函数、S3 input bucket、Athena和Glue。部署完成后，用户将获得必要的凭据，以便在Grafana云数据源设置中验证Athena的凭证。无需担心Parquet数据湖的构建细节，因为这一切都由虹科CSS Electronics预制的AWS Lambda函数自动完成，同时确保数据湖按日期进行最佳分区。

03 五大显著优势

高性能与低成本查询

传统的Grafana-InfluxDB集成在处理大规模数据时成本较高。相比之下，虹科Grafana-Athena集成通过AWS S3存储和Athena的无服务器查询， 显著降低了成本 ，同时保持了高效的查询性能。

无需编码，15分钟内完成部署

利用AWS CloudFormation模板和预配置的Lambda函数， 用户可以在15分钟内完成部署 ，无需任何编程知识，大大简化了部署流程。

无缝跨时间尺度分析

用户可以轻松地在Grafana中进行跨年或跨毫秒的数据查询和分析，得益于data lake中保留的原始时间戳和Grafana的即时重新采样功能。

多功能数据湖与SQL接口

基于S3的Parquet data lake不仅支持Grafana可视化，还可以直接用于Python/Matlab查询和Excel报告，提供了一个全面的数据分析平台。

灵活的部署选项

本文主要探讨了Amazon Athena集成方案，这是由于虹科CSS的多数用户已经采用AWS S3来存储CANedge2/CANedge3设备生成的数据。

除了Athena，还可以考虑以下替代方案：

■ Grafana-ClickHouse： ClickHouse是一个开源的分析数据库，能够提供与Athena相似的性能。它支持在本地磁盘或自托管的S3兼容存储（如MinIO）上进行数据可视化，并通过Grafana的ClickHouse数据源插件轻松集成。

■ Grafana-BigQuery：对于使用谷歌云服务的用户，BigQuery提供了一个与Amazon Athena功能相似的解决方案。通过BigQuery数据源插件，用户可以便捷地将BigQuery与Grafana集成，实现数据的可视化分析。

04 应用案例：原型车队数据可视化

一位汽车OEM的工程师负责监控50辆原型车的CAN数据，目的是进行深入的后期诊断分析。通过部署虹科CANedge3数据记录仪，工程师能够自动收集关键的车辆运行数据。

数据收集与处理

■ 自动化数据上传：利用3G/4G蜂窝网络，虹科CANedge3设备将二进制日志文件自动上传至公司专用的AWS S3服务器。

■ 数据处理：存储在S3 input bucket中的日志文件触发一个Lambda函数，该函数使用相应的DBC文件自动解码数据，并将解码后的数据转换为Parquet格式，存储在另一个S3 output bucket中。

数据可视化与分析

■ 定制Grafana面板：用户现在可以利用定制的Grafana仪表板，通过Athena插件直接查询Parquet data lake中的数据。

■ 多维度分析：这种设置为工程师提供了强大的工具，不仅可以进行实时监控，还可以进行深入的诊断、基准测试和统计分析，从而优化车辆性能和设计。

通过这种集成方案，汽车OEM能够实现数据的高效管理和分析，加速研发流程，提高原型车测试的质量和效率。

采用Grafana-Athena集成方案，虹科成功为用户实现了显著的成本节约，成本降低超过95%。这一集成不仅优化了数据管理和可视化流程，还为其他企业在处理大规模数据时提供了一种经济高效的Grafana面板可视化策略。更多相关信息，欢迎咨询虹科工作人员。

虹科是一家在通讯领域，尤其是汽车电子和智能自动化领域拥有超过15年经验的高科技公司，致力于为客户提供CAN/CAN FD、LIN、车载以太网、TSN等全方位的一站式智能互联解决方案。

审核编辑黄宇

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

CAN

CAN

+关注

关注
57

文章
2744

浏览量
463606
记录仪

记录仪

+关注

关注
1

文章
458

浏览量
21695

PDF记录仪新增蓝牙®接口型号HK-LIBERO CL-Y

、HK-LIBEROCH和HK-LIBEROCL，虹科ELPRO提供了一系列高品质的蓝牙（BLE）多用途PDF记录仪。这些设备非常多功能，既适用于监控房间和设备，也适用于运输监控。

发表于 08-03 08:09 •267次阅读

PDF<b class='flag-5'>记录仪</b>新增蓝牙®接口型号HK-LIBERO CL-Y

行车记录仪CCC认证的必要性分析

行车记录仪需要申请CCC认证吗?作为每台需要正式上路的汽车来说，行车记录仪是必备的车载产品，因此行车记录仪再投入到每台车进行使用时都需要需要申请CCC认证。以下英利检测整合收集的一些是于行车记

发表于 07-05 16:25 •420次阅读

CAN总线数据记录仪选型指南

CAN总线数据记录仪拥有多种型号和强大的功能，满足了不同行业、不同场景下的数据记录需求。今天，我们将针对Influx以及Kvaser两个品牌的记录仪进行横向对比，以便大家能够更清晰地了

发表于 05-24 17:08 •536次阅读

记录仪定制_基于MT6762的音视频记录仪解决方案

搭载联发科MT6762新一代12纳米高性能芯片的音视频记录仪，搭载了8核处理器和支持H.264高保真视频编码的芯片，使得这些记录仪具备了出色的运算和处理能力。无论是处理复杂的现场图片还是进行视频快速运算处理，都能够

发表于 05-16 19:57 •403次阅读

虹科分享丨无线数据记录仪与传统有线热电偶系统的对比优势

在过去的10-15年中，无线数据记录系统逐渐取代了热电偶系统，用于食品、医疗和制药行业的验证。过去，使用记录仪的一个主要缺点是在研究过程中缺乏实时数据，但由于虹

发表于 04-17 13:10 •451次阅读

使用干冰数据记录仪进行温度监测，保障超低温下运输产品或关键样品

在超低温下运输产品或关键样品时，选择虹科合适的干冰温度数据记录仪进行温度监测，确保药品安全合规！

发表于 04-16 13:59 •446次阅读

4G执法记录仪，5G执法记录仪

4G执法记录仪，5G执法记录仪系统设计

发表于 04-14 17:08 •717次阅读

单北斗5G执法记录仪有什么作用？什么品牌的5G执法记录仪具有最高性价比？

单北斗5G执法记录仪有什么作用？什么品牌的5G执法记录仪具有最高性价比？

发表于 04-14 10:02 •768次阅读

提高生产效率！虹科MSR165快速检测机器故障，实现精准优化

虹科MSR165数据记录仪是机械制造领域的利器，能够快速、准确地检测机器故障。通过记录各种振动指纹并在计算机上进行综合分析，虹

发表于 03-08 11:17 •471次阅读

无线数据记录仪与传统有线热电偶系统的对比优势

在过去的10-15年中，无线数据记录系统逐渐取代了热电偶系统，用于食品、医疗和制药行业的验证。过去，使用记录仪的一个主要缺点是在研究过程中缺乏实时数据，但由于虹

发表于 03-08 08:04 •666次阅读

如何选择CAN总线数据记录仪 Kvaser Memorator Pro 5xHS

什么是CAN总线数据记录仪？ CAN总线数据记录仪是一种用于记录CAN总线数据的设备。它通过

发表于 03-04 16:35 •558次阅读

请问CAN数据记录方式有哪些？

使用CAN数据存储设备进行记录：这种方式通过专门的CAN记录仪来实现，它是一种专门用于存储CAN总线数据的模块。

发表于 03-01 09:14 •573次阅读

4G记录仪_智能视频记录仪基于联发科MT6762平台方案

4G记录仪_智能视频记录仪基于联发科MT6762平台方案。全新的智能记录仪搭载了联发科强劲八核处理器，采用12nm制程工艺，内置4GB+32

发表于 02-29 20:05 •494次阅读

温湿度记录仪HG-01

温湿度记录仪HG-01说明书

发表于 01-24 10:05 •0次下载

GL记录仪及配置工具

GLLogger（以下简称GL）是一种特殊的汽车数据记录仪，被广泛应用于路试或台架测试，该系列记录仪支持CAN/CANFD、LIN、FlexRay以及车载以太网总线的数据记录；同时，还

发表于 12-28 08:25 •742次阅读