如何将数据从MySQL迁移到Influxdb中-德赢Vwin官网网

如果以前是将时序数据存放在MySQL，现在为了获取更好的性能和使用可视化工具，我们需要将数据从MySQL迁移到Influxdb中。

这看起来是一个常见场景，经过一番查阅，发现了 GreatLakesEnergy /Mysql-to-influxdb 这个项目。

可惜的是，作者是基于Python2进行开发的，而且用了几个非常难搭建的模块。想在Python3中重新使用这个项目比较困难。所以我Fork了作者的代码进行改造，改造后的代码如下：

https://github.com/Ckend/Mysql-to-influxdb

如果你有这样的迁移需求，可以继续看下面的详细教程。

1.准备

开始之前，你要确保Python和pip已经成功安装在电脑上噢，如果没有，请访问这篇文章：超详细Python安装指南进行安装。如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda

Windows环境下打开Cmd(开始—运行—CMD)，苹果系统环境下请打开Terminal(command+空格输入Terminal)，准备开始输入命令安装依赖。

当然，我更推荐大家用VSCode编辑器，把本文代码Copy下来，在编辑器下方的终端运行命令安装依赖模块，多舒服的一件事啊：Python 编程的最好搭档—VSCode 详细指南。

下载或Git Clone我修改好的代码：
https://github.com/Ckend/Mysql-to-influxdb

解压进入该目录后，输入以下命令安装依赖：

pip install -r requirements.txt

2.迁移配置

在迁移开始前，请在你需要迁移的表里加一个字段 transfered，这个字段用于检测某条数据是否被迁移，默认设为0。一旦迁移完成，这个字段会被设为1.

此外，你需要找到你表里的时间序列字段（time）和分类字段（tag）。

分类字段可能比较难理解，比如说你有一张表记录了每支股票每天的开盘价，那么股票id字段便可理解为一个tag，即下面配置中的siteid_field.

在解压后的目录里新建一个settings.ini, 配置以下信息：

[mysql]
host: mysql host # (本地为127.0.0.1)
port: mysql 端口号 # 3306
username: 用户名
password: 密码
db: 数据库
table: 要迁移的表
check_field: 检测字段
time_field: 时间字段
siteid_field: 分类字段(tag)




[influx]
host: influxdb host # (本地为127.0.0.1)
port: 端口号 # 8086
username: 用户名
password: 密码
db: 要迁移进入的数据库


[server]
interval: 5

配置完上述信息后，执行命令即可开始迁移：

python mysql2influx.py -d -c settings.ini -s

3.迁移是否完成

如何检测迁移任务是否完成，还记得我们刚新增了一个字段 transfered 用于检测某条数据是否被迁移吗？

你只需要在mysql中输入以下sql查询是否还有未被迁移的数据即可：

SELECT count(1) FROM your_table where transfered = 0;

若不为0则说明还有数据未被迁移成功。

不过值得注意的是，迁移脚本里是先进行数据迁移，再回来修改transfered的值。

如果你的数据量非常大，更新MySQL数据有可能会耗时极长，因此查询transfered数量的结果有可能不正确。这点需要特别关注。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

数据

数据

+关注

关注
8

文章
7002

浏览量
88938
代码

代码

+关注

关注
30

文章
4779

浏览量
68519
MySQL

MySQL

+关注

关注
1

文章
804

浏览量
26526

如何将DynamoDB的数据增量迁移到表格存储

何使用 Lambda 将 DynamoDB 的数据增量迁移到表格存储中。Amazon DynamoDB是一个完全托管的NoSQL数据库服务，

发表于 05-24 16:29

如何将EDK planAhead项目迁移到vivado

大家好，我正在将EDK planAhead项目迁移到vivado。在迁移我的一个pcoreblock时，我收到了该错误，并且迁移根本没有发生。“错误：[filemgmt 20-730]

发表于 05-05 16:59

如何将CCSv3.3迁移到CCSv4？

如何将CCSv3.3迁移到CCSv4

发表于 02-25 07:15

如何将SES工程从GNU工具链迁移到Segger工具链上？

的STM32F401RE的GNU工具链项目为例，介绍如何将其迁移到Segger自己的工具链上。#迁移过程1、将链接器改成Segger选中项目文件名，按右键，选择Options，打开项目

发表于 04-21 14:34

请问一下mysql怎么快速迁移到oceanBase啊？

mysql怎么快速迁移到oceanBase啊

发表于 05-30 17:04

如何将CubeMX项目从一系列MCU迁移到新系列的MCU？

如何将 CubeMX 项目从一系列 MCU 迁移到新系列的 MCU？

发表于 01-16 07:02

如何将项目从Arm Compiler 5迁移到Arm Compiler 6

按照本教程中的步骤，将现有的Arm Compiler 5裸机项目迁移到Arm Compiler 6裸机项目。完成迁移后，就可以重新构建您的可执行并在DS-5提供的固定虚拟平台(FVP)

发表于 08-02 14:42

Uber为什么从Postgres迁移到MySQL

。特别是在之前一些使用Postgres的案例中，现在则改用Schemaless（一个基于MySQL的全新数据库分片）。本文将探索Postgres的缺陷，解释

发表于 09-30 14:45 •4次下载

Uber为什么<b class='flag-5'>从</b>Postgres<b class='flag-5'>迁移到</b><b class='flag-5'>MySQL</b>

轻松上云系列之二：其他云数据迁移至阿里云

本文档围绕如何将您其他云厂商上的数据迁移到阿里云，提供了多个场景的实践方案。文档合集AWS 数据迁移至阿里云Amazon S3

发表于 12-19 16:16 •424次阅读

如何将项目从VDK迁移到µC/OS-III中

本培训模块将一步一步地说明如何将一个项目从VDK (VisualDSP++ Kernel)迁移到µC/OS-III™

发表于 07-12 06:10 •2158次阅读

如何将Hadoop迁移到云平台中？

希望实现数据基础设施的现代化并将Hadoop迁移到云平台中吗？以下是组织在数据迁移之前需要问的五个问题：

发表于 05-05 16:59 •854次阅读

如何将Keil μVision工程迁移到SEGEGR Embedded Studio？

和GCC，也支持外部工具链，如Clang/LLVM、IAR或ARM/KEIL编译器。我们以一个基于Keil μVision 5.32的项目为例，介绍如何将其迁移到SES 中。

发表于 01-13 11:24 •2274次阅读

如何将LPC84x迁移到LPC86x

德赢Vwin官网网站提供《如何将LPC84x迁移到LPC86x.pdf》资料免费下载

发表于 08-16 16:56 •0次下载

<b class='flag-5'>如何将</b>LPC84x<b class='flag-5'>迁移到</b>LPC86x

如何将MS访问数据转换为MySQL

借助dbForgeStudio for MySQL，您可以轻松地将数据从MicrosoftAccess迁移到

发表于 01-23 13:47 •421次阅读

<b class='flag-5'>如何将</b>MS访问<b class='flag-5'>数据</b>转换为<b class='flag-5'>MySQL</b>

如何将自定义逻辑从FPGA/CPLD迁移到C2000™微控制器

德赢Vwin官网网站提供《如何将自定义逻辑从FPGA/CPLD迁移到C2000™微控制器.pdf》资料免费下载

发表于 09-23 12:36 •0次下载

搜索历史

如何将数据从MySQL迁移到Influxdb中