1 ChunJun基于Flink的数据集成工具-电子电路图,电子技术资料网站 - 德赢Vwin官网

德赢Vwin官网 App

硬声App

0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示
vwin889
德赢Vwin官网 网>电子资料下载>电子资料>ChunJun基于Flink的数据集成工具

ChunJun基于Flink的数据集成工具

2022-06-14 | zip | 56.14 MB | 次下载 | 2积分

资料介绍

授权协议 Apache-2.0
开发语言 Java
操作系统 跨平台
软件类型 开源软件
所属分类 数据库相关

软件简介

ChunJun是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如binlog,Kafka等。同时ChunJun也是一个支持原生FlinkSql所有语法和特性的计算框架。目前ChunJun在实际应用过程中已服务了上百家客户,经过多次迭代与沉淀,积累了大量的客户案例。

ChunJun主要应用于大数据开发平台的数据同步/数据集成模块,通常采用将底层高效的同步插件和界面化的配置方式相结合的方式,使大数据开发人员可简洁、快速的完成数据同步任务开发,实现将业务数据库的数据同步至大数据存储平台,从而进行数据建模开发,以及数据开发完成后,将大数据处理好的结果数据同步至业务的应用数据库,供企业数据业务使用。

Chunjun目前包含下面这些特性:

  • 大部分插件支持并发读写数据,可以大幅度提高读写速度;

  • 部分插件支持失败恢复的功能,可以从失败的位置恢复任务,节约运行时间;失败恢复

  • 关系数据库的Source插件支持间隔轮询功能,可以持续不断的采集变化的数据;间隔轮询

  • 部分数据库支持开启Kerberos安全认证Kerberos

  • 可以限制source的读取速度,降低对业务数据库的影响;

  • 可以记录sink插件写数据时产生的脏数据;

  • 可以限制脏数据的最大数量;

  • 支持多种运行模式;

  • 同步任务支持执行flinksql语法的transformer操作;

  • sql任务支持和flinkSql自带connectors共用

Chunjun目前支持下面这些数据库:

  Database Type Source Sink Lookup
Batch Synchronization MySQL doc doc doc
  TiDB   参考mysql 参考mysql
  Oracle doc doc doc
  SqlServer doc doc doc
  PostgreSQL doc doc doc
  DB2 doc doc doc
  ClickHouse doc doc doc
  Greenplum doc doc  
  KingBase doc doc  
  MongoDB doc doc doc
  SAP HANA doc doc  
  ElasticSearch7 doc doc doc
  FTP doc doc  
  HDFS doc doc  
  Stream doc doc  
  Redis   doc doc
  Hive   doc  
  Hbase doc doc doc
  Solr doc doc  
  File doc    
  StarRocks   doc  
Stream Synchronization Kafka doc doc  
  EMQX doc doc  
  MySQL Binlog doc    
  Oracle LogMiner doc    
  Sqlserver CDC doc    

 

 

下载该资料的人也在下载 下载该资料的人还在阅读
更多 >

评论

查看更多

下载排行

本周

  1. 1山景DSP芯片AP8248A2数据手册
  2. 1.06 MB  |  532次下载  |  免费
  3. 2RK3399完整板原理图(支持平板,盒子VR)
  4. 3.28 MB  |  339次下载  |  免费
  5. 3TC358743XBG评估板参考手册
  6. 1.36 MB  |  330次下载  |  免费
  7. 4DFM软件使用教程
  8. 0.84 MB  |  295次下载  |  免费
  9. 5元宇宙深度解析—未来的未来-风口还是泡沫
  10. 6.40 MB  |  227次下载  |  免费
  11. 6迪文DGUS开发指南
  12. 31.67 MB  |  194次下载  |  免费
  13. 7元宇宙底层硬件系列报告
  14. 13.42 MB  |  182次下载  |  免费
  15. 8FP5207XR-G1中文应用手册
  16. 1.09 MB  |  178次下载  |  免费

本月

  1. 1OrCAD10.5下载OrCAD10.5中文版软件
  2. 0.00 MB  |  234315次下载  |  免费
  3. 2555集成电路应用800例(新编版)
  4. 0.00 MB  |  33566次下载  |  免费
  5. 3接口电路图大全
  6. 未知  |  30323次下载  |  免费
  7. 4开关电源设计实例指南
  8. 未知  |  21549次下载  |  免费
  9. 5电气工程师手册免费下载(新编第二版pdf电子书)
  10. 0.00 MB  |  15349次下载  |  免费
  11. 6数字电路基础pdf(下载)
  12. 未知  |  13750次下载  |  免费
  13. 7电子制作实例集锦 下载
  14. 未知  |  8113次下载  |  免费
  15. 8《LED驱动电路设计》 温德尔著
  16. 0.00 MB  |  6656次下载  |  免费

总榜

  1. 1matlab软件下载入口
  2. 未知  |  935054次下载  |  免费
  3. 2protel99se软件下载(可英文版转中文版)
  4. 78.1 MB  |  537798次下载  |  免费
  5. 3MATLAB 7.1 下载 (含软件介绍)
  6. 未知  |  420027次下载  |  免费
  7. 4OrCAD10.5下载OrCAD10.5中文版软件
  8. 0.00 MB  |  234315次下载  |  免费
  9. 5Altium DXP2002下载入口
  10. 未知  |  233046次下载  |  免费
  11. 6电路仿真软件multisim 10.0免费下载
  12. 340992  |  191187次下载  |  免费
  13. 7十天学会AVR单片机与C语言视频教程 下载
  14. 158M  |  183279次下载  |  免费
  15. 8proe5.0野火版下载(中文版免费下载)
  16. 未知  |  138040次下载  |  免费