Elasticsearch 數據同步工具 Elasticsearch-datatran 6.1.0 發佈,Elasticsearch-datatran 是由 bboss 開源的一款將各種數據源中的海量數據同步到 Elasticsearch 的高效數據同步工具。
v6.1.0功能改進
如果在程序裡面配置的增量字段類型發生改變,要把增量狀態表對應的類型調整為最新的字段類型設置了類型後,就按照類型來,不再按照設置的日期和數字字段名稱來區分:增加setLastValueColumn方法,廢棄setDateLastValueColumn和setNumberLastValueColumn兩個方法DB-DB數據同步工具:增加在作業中直接指定sql語句的功能修復數據同步bug:數據庫到數據庫跨庫同步無效可以通過ImportBuilder組件設置geoip數據庫地址,使用案例: importBuilder.setGeoipDatabase("E:/workspace/hnai/terminal/geolite2/GeoLite2-City.mmdb"); importBuilder.setGeoipAsnDatabase("E:/workspace/hnai/terminal/geolite2/GeoLite2-ASN.mmdb");5.數據同步增加db-db數據同步spring boot案例工程:
https://github.com/bbossgroups/db-db-job
Elasticsearch-datatran功能特點
1.支持多種數據源之間的數據同步
數據庫表數據同步到Elasticsearch數據庫表數據同步到數據庫表Elasticsearch數據同步到數據庫表Elasticsearch數據同步到ElasticsearchMongodb數據同步到ElasticsearchMongodb數據同步到數據庫表從Kafka接收數據並導入Elasticsearch增刪改數據同步到elasticsearchHBase數據同步到Elasticsearch2.支持增刪改數據同步
4.支持的數據庫和消息中間件類型
數據庫: mysql,maridb,postgress,oracle ,sqlserver,db2,tidb,hive,mongodb、HBase、elasticsearch、達夢等
消息中間件:kafka 1x,kafka 2x
5.Elasticsearch版本兼容性
Elasticsearch 1.x,2.x,5.x,6.x,7.x,+
6.支持海量PB級數據同步導入Elasticsearch
7.支持將ip轉換為對應的運營商/省份城市/經緯度座標位置信息
8.支持設置數據bulk導入任務結果處理回調函數,對每次bulk任務的結果進行成功和失敗反饋,然後針對失敗的bulk任務通過error和exception方法進行相應處理
9.支持多種定時任務執行引擎
10.基於java語言開發和發佈數據同步作業
bboss elasticsearch數據同步工具另一個顯著的特色就是直接基於java語言來編寫數據同步作業程序,基於強大的java語言和第三方工具包,能夠非常方便地加工和處理需要同步的源數據,然後將最終的數據保存到目標庫(Elasticsearch或者數據庫);同時也可以非常方便地在idea或者eclipse中調試和運行同步作業程序,調試無誤後,通過bboss提供的gradle打包構建腳本,即可發佈出可部署到生產環境的同步作業包。
11.支持兩種作業運行方式
嵌入到應用中運行,基於quartz和jdk timer調度的作業都可以運行在這種模式下,參考文檔:spring boot運行案例獨立發佈包運行,基於quartz和xxl-job,jdk timer調度的作業都可以運行在這種模式下,參考文檔:作業發佈更新說明:https://esdoc.bbossgroups.com/#/changelog