1 关于基于密度聚类的能耗数据采集网关的设计-德赢Vwin官网 网
0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于基于密度聚类的能耗数据采集网关的设计

电子设计 来源:网络整理 作者:工程师吴畏 2018-06-19 15:42 次阅读

0 引言

随着网络技术的进步与发展,将无线抄表系统应用于电力行业已然成为一种趋势[1]。集中器作为用电信息采集系统中的重要节点,是实现主站与采集节点的通信桥梁[2]。集中器作为中介转发设备,缺乏对用电数据进行分析的能力,导致主站对用电行为分析和响应的滞后[3]。为了能够在用户侧实现对能耗采集数据的分析与处理,采用该网关对集中器进行接入管理,获取各集中器的能耗数据并进行分类存储与分析,以解决主站对异常用电滞后的问题。

目前,诸多学者针对用电信息采集系统及异常能耗数据分析提出了多种解决方案。文献[3]通过构造关联规则,提出了一种基于密度聚类DBSCAN算法,用于识别离群点的用电模式。文献[4]通过软、硬件的协同配合,实现了集中器与控制终端和远程管理中心快速、可靠的通信。文献[5]中的用电信息采集系统侧重于需求管理和响应,分析了用户用电行为。文献[6]基于实时性方面的考虑,提出了一种层次化的异常事件检测系统。以上研究对用电信息采集系统的发展做出了积极贡献。

为解决主站对用电数据分析滞后的问题,本文研究了网关接入用电信息采集系统时获取地址的过程;网关接入用电信息采集网络后,读入集中器能耗数据并进行分类存储,采用密度聚类DBSCAN算法[7-8]得出离群点集合,并通过决策树C4.5算法[9-10]得出离群点数据对应的用电行为。

1 网关获取节点地址

网关与主站通信在应用层应满足376.1电网规约[11],该规约对数据域地址进行规定,其地址由3部分组成:2 B行政区划码A1、2 B终端地址A2和1 B主站地址和组地址标志A3。

网关接入用电信息采集网络,获取节点地址的流程如下:网关通过构建数据帧,向主站发送地址查询命令,获取地址A,其由2 B的行政区划码A1和2 B的终端地址A2构成,地址格式如图1所示。

关于基于密度聚类的能耗数据采集网关的设计

网关与主站进行通信的过程中,主站根据网关节点地址构建数据帧地址域,包括地址段A1、A2和A3。在单播情况下,A1、A2直接从目标集中器地址A中获取,A3为主站地址和组地址标志。A3的D0位为终端组地址标志,D0为0时表示终端地址A2为单地址;D0为1时表示终端地址A2为组地址;A3的D1~D7组成0~127个主站地址MSA,其中数据帧地址域格式如图2所示。

关于基于密度聚类的能耗数据采集网关的设计

2 网关关键软硬件设计

网关基于ARM11和Linux操作系统[12]进行设计,采用轻量级的SQLite3数据库对相关能耗数据及用户信息进行存储。对用电信息采集数据进行分析需要基于一定规模的历史数据,考虑到存储容量、网关规格和成本等因素,采用SD卡进行内存扩展。选取BOA服务器作为网关的Web服务器程序,在网关上实现简单的网页查看功能。

2.1 外扩存储模块设计

在网关上实现对用电信息采集数据的分析,需要基于一定的历史数据,网关需要存储一定数量的数据,而网关自身内存有限,所以需要扩大用电信息采集网关的存储能力,SD卡与S3C6410中的SDIO0接口的原理图如图3所示。

关于基于密度聚类的能耗数据采集网关的设计

2.2 SQLite3数据库的设计

SQLite3是一个嵌入式数据库,其存储后端采用Btree实现。SQLite在硬盘上一个数据库一个文件,每个数据库文件头部保存有这个数据库的元信息,包括版本、大小、Btree根节点位置等。

数据库可以高效、安全、大批量地对数据进行管理,将SQLite3数据库移植到本网关中以实现对能耗数据的分析。根据用电异常量分析算法对数据类型的需求进行存储,包括能耗类型、相对频率、用户类型、环境温度等。

2.3 BOA服务器程序的设计

本网关采用BOA服务器Web程序搭载后台管理界面,前端界面采用AJAX技术与服务器中的CGI程序进行交互,后台管理网页设计架构如图4所示。

关于基于密度聚类的能耗数据采集网关的设计

用电信息采集网关Web网页中的主要功能包括以下3个方面:

(1)查询能耗信息:通过曲线对能耗信息进行显示,可以查看用户时、日、月的用电信息等情况。

(2)查看网关状态:主要显示当前数据库的可用空间、与服务器间的通信状况及接入的集中器信息。

(3)查看能耗数据分析:可查看历史能耗信息及异常情况下的数据情况。

3 用电信息异常分析算法

3.1 密度聚类算法

网关将集中器上传的能耗数据进行备份,以进行及时分析。对用电时段进行划分,将工作日划分为黑、白两个时段,将周末划分为早、中、晚3个时段,各时段的时间跨度可根据用户类型及其生活作息习惯进行调整。在相同日期类型和时间段内,人们的用电行为比较类似,用电数据具有较小的波动性,采用密度聚类DBSCAN算法获取异常用电数据。

关于基于密度聚类的能耗数据采集网关的设计

3.2 异常量的获取

将不同日期类型和时间段的数据作为一个能耗数据单元,针对不同的数据单元采用不同的参数Eps和MinPts。参数的选择效率直接决定了该网关的质量,采用文献[13]提出的根据KNN分布算法与数学统计分析使网关自行计算各个数据单元中参数Eps与MinPts的值。

关于基于密度聚类的能耗数据采集网关的设计

3.3 异常量分析

以一定周期对用电数据进行采集,同时采集温度、日期类型和用电状态(是否有异常,是何种异常),并将采集的数据存放在data.db文件中。采用决策树C4.5算法对历史数据及对应的用电行为进行训练。调入通过DBSCAN算法获取的各个数据单元的噪声点集合根据决策树C4.5算法得出各噪声点所对应的异常用电行为,并通过相应的机制采取对应的措施。然后根据实际调查验证通过决策树C4.5算法得出的结论是否正确,如果不正确将实际用电行为替代判断用电行为。

4 测试与分析

4.1 实验平台的搭建

搭建测试环境,所需设备与模块如表1所示。

关于基于密度聚类的能耗数据采集网关的设计

采用2个集中器分别与16个采集节点通过470 MHz构建无线抄表网络,网关通过交换机与集中器和主站(笔记本电脑)相连,集中器通过交换机接入网关。一个集中器采集子网放置在距离网关较近的地方,另一个集中器采集子网放置在较远的地方,并且将两个集中器采集子网设置为不同的通信信道,将一个子网内节点的信道设置为9,另一个子网内节点的信道设置为14,以防止采集节点之间的相互干扰。

4.2 网关获取地址的验证

网关上电后,向主站发送地址查询主站的行政区划码A1和管理的网关数量配置自身地址,通过串口调试助手打印网关地址信息。打印结果为00000001,前两个字节为行政区划码A1,与主站保持一致;由于在网关接入主站时主站仅有网关这一个节点,因此终端地址A2为0001,其打印信息如图5所示。

关于基于密度聚类的能耗数据采集网关的设计

4.3 异常分析模块的验证

将用电数据进行分段,并归一化至温度为25 ℃的情况下,通过KNN分布算法和数据统计算法实现对参数Eps与MinPts的自行计算,提高了网关的运行效率。

根据不同日期类型和用户的用电习惯将一天的用电数据进行分段划分,分别对工作日和周末的不同时间段的用电数据进行聚类,并将节假日通过节假日因子归并为周末进行聚类,采用DBSCAN算法能够准确判断新读入的用电信息是否为噪声点。通过决策树C4.5算法对历史数据分时段和日期类型进行训练,能够准确判定噪声点的异常用电行为。

以工作日、周末和节假日对用电日期进行归类,并将节假日归并为周末,使得在各自的用电类别中人们的用电习惯具有较高的相似性,采用决策树C4.5算法可以得到更为准确的结果。将周末和工作日的用电数据根据人们的用电习惯的不同分为不同的区间单元,使得在各个时段内用电数据波动幅度较小,提高了DBSCAN算法的准确性。

5 结论

本网关结合用电信息采集网络特征,基于相关电网规约构造数据查询帧,配置网关自身地址,实现网关对集中器的接入管理。通过对外扩存储拓展程序、SQLite3数据库程序、BOA服务器程序的设计和移植以及异常检测单元块的设计,完成网关在数据存储和异常检测功能。本文所采用的查询主站地址池方法可以高效地配置网关自身地址;网关采用SQLite3数据库实现对能耗数据的有效存储,通过采用DBSCAN算法和决策树C4.5算法实现对采集数据的异常用电行为的判断,解决了主站对能耗数据分析滞后的问题。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据采集
    +关注

    关注

    38

    文章

    6053

    浏览量

    113618
  • 网关
    +关注

    关注

    9

    文章

    4444

    浏览量

    51053
  • 集中器
    +关注

    关注

    0

    文章

    30

    浏览量

    16337
收藏 人收藏

    评论

    相关推荐

    工业数据采集智能网关盘点

    工业数据采集智能网关通常也被叫做工业物联网智能网关、无线数据采集网关、通讯采集
    发表于 10-26 19:03

    PLC数据采集网关有哪些作用,PLC数据采集网关如何正确进行使用?

     PLC数据采集网关是一款安全、可靠、稳定的物联网终端产品,网关最为主要的作用是用来采集各类工业设备的实时数据,PLC
    发表于 01-21 18:58

    基于网格的多密度算法

    提出了一种多密度网格算法GDD。该算法主要采用密度阈值递减的多阶段技术提取不同
    发表于 08-27 14:35 11次下载

    基于ZigBee技术的大型公建能耗数据采集系统嵌入式网关设计

    基于ZigBee技术的大型公建能耗数据采集系统嵌入式网关设计
    发表于 09-25 10:43 6次下载
    基于ZigBee技术的大型公建<b class='flag-5'>能耗</b><b class='flag-5'>数据采集</b>系统嵌入式<b class='flag-5'>网关</b>设计

    基于网格的快速搜寻密度峰值的算法优化研究

    CFSFDP是基于密度的新型算法,可非球形数据集,具有
    发表于 11-21 15:08 15次下载

    基于层次划分的密度优化算法

    针对传统的算法对数据集反复,且在大型数据集上计算效率欠佳的问题,提出一种基于层次划分的最
    发表于 12-17 11:27 0次下载
    基于层次划分的<b class='flag-5'>密度</b>优化<b class='flag-5'>聚</b><b class='flag-5'>类</b>算法

    基于密度DBSCAN的算法

    本文开始介绍了算法概念,其次阐述了算法的分类,最后详细介绍了算法中
    的头像 发表于 04-26 10:56 2.2w次阅读
    基于<b class='flag-5'>密度</b>DBSCAN的<b class='flag-5'>聚</b><b class='flag-5'>类</b>算法

    物联网数据采集网关、物联网远程数据采集网关的应用

    物通博联全新推出的WG593工业数据采集网关能够适用不同工业环境,在整个物联网的系统之中远程数据采集网关能顾发挥很大用处,物联网远程数据采集
    发表于 01-19 15:36 1324次阅读

    数据采集网关怎么采集数据?(数据采集流程)

    的部件,它可以使物与物之间的信息可以交换,收发,数据上下载,数据传输,远程管理,远程控制,远程控制等。通过数采网关,可采集生产相关的设备、能耗
    的头像 发表于 12-13 15:55 1318次阅读
    <b class='flag-5'>数据采集</b><b class='flag-5'>网关</b>怎么<b class='flag-5'>采集数据</b>?(<b class='flag-5'>数据采集</b>流程)

    数据采集网关怎么采集数据

    数据采集网关怎么采集数据?(数据采集流程)
    发表于 01-12 09:35 898次阅读

    基于数据采集网关的医院能耗在线监测系统

    ,远程监控能耗数据,成为管理部门的必须解决的问题,对社会经济、环境发展都有重要的意义。 物通博联能耗在线监测系统以数据采集网关和物联网云平台
    发表于 03-06 10:40 336次阅读
    基于<b class='flag-5'>数据采集</b><b class='flag-5'>网关</b>的医院<b class='flag-5'>能耗</b>在线监测系统

    PLC数据采集工业网关价格多少钱?

    随着工业自动化和智能制造的发展,数据采集和处理变得越来越重要。PLC数据采集和工业网关是工业自动化中的重要组成部分,数据采集工业网关作为连接
    的头像 发表于 04-28 13:45 1715次阅读
    PLC<b class='flag-5'>数据采集</b>工业<b class='flag-5'>网关</b>价格多少钱?

    RS485数据采集网关如何采集数据

    物通博联RS485数据采集网关如何采集数据?1、现场设备边缘安装物通博联RS485数据采集网关,通过485接口与设备连接,
    的头像 发表于 10-25 16:48 1604次阅读
    RS485<b class='flag-5'>数据采集</b><b class='flag-5'>网关</b>如何<b class='flag-5'>采集数据</b>?

    多串口数据采集网关有什么功能

    ),可以广泛应用于智能工厂、环境监测、智慧水务、能耗监测、智能装备等领域。   功能特点 1、多个串口设计 WG系列多串口数据采集网关具备多个型号,搭配不同数量的串口可以同时连接多个设备和传感器,即插即用,方便
    的头像 发表于 06-25 15:48 637次阅读
    多串口<b class='flag-5'>数据采集</b><b class='flag-5'>网关</b>有什么功能

    数据采集网关:工业数据采集上云

    数据采集网关,以其高效、便捷的特点,成为了现代工业物联网数据采集处理的重要工具。它是连接不同数据源和数据接收设备的桥梁,将各种形式和格式的
    的头像 发表于 12-12 16:46 783次阅读
    <b class='flag-5'>数据采集</b><b class='flag-5'>网关</b>:工业<b class='flag-5'>数据采集</b>上云