Elasticsearch 數據同步工具 Elasticsearch-datatran 6.1.0 發佈，Elasticsearch-datatran 是由 bboss 開源的一款將各種數據源中的海量數據同步到 Elasticsearch 的高效數據同步工具。
v6.1.0功能改進
- 如果在程序裡面配置的增量字段類型發生改變，要把增量狀態表對應的類型調整為最新的字段類型設置了類型後，就按照類型來，不再按照設置的日期和數字字段名稱來區分：增加setLastValueColumn方法，廢棄setDateLastValueColumn和setNumberLastValueColumn兩個方法
- DB-DB數據同步工具：增加在作業中直接指定sql語句的功能
- 修復數據同步bug：數據庫到數據庫跨庫同步無效
- 可以通過ImportBuilder組件設置geoip數據庫地址，使用案例： importBuilder.setGeoipDatabase("E:/workspace/hnai/terminal/geolite2/GeoLite2-City.mmdb"); importBuilder.setGeoipAsnDatabase("E:/workspace/hnai/terminal/geolite2/GeoLite2-ASN.mmdb");
5.數據同步增加db-db數據同步spring boot案例工程：
https://github.com/bbossgroups/db-db-job
Elasticsearch-datatran功能特點
1.支持多種數據源之間的數據同步
- 數據庫表數據同步到Elasticsearch
- 數據庫表數據同步到數據庫表
- Elasticsearch數據同步到數據庫表
- Elasticsearch數據同步到Elasticsearch
- Mongodb數據同步到Elasticsearch
- Mongodb數據同步到數據庫表
- 從Kafka接收數據並導入Elasticsearch
- 增刪改數據同步到elasticsearch
- HBase數據同步到Elasticsearch
2.支持增刪改數據同步
3.支持多種數據導入方式
- 批量數據導入
- 批量數據多線程並行導入
- 定時全量（串行/並行）數據導入
- 定時增量（串行/並行）數據導入
4.支持的數據庫和消息中間件類型
數據庫： mysql,maridb，postgress,oracle ,sqlserver,db2,tidb,hive，mongodb、HBase、elasticsearch、達夢等
消息中間件：kafka 1x,kafka 2x
5.Elasticsearch版本兼容性
Elasticsearch 1.x,2.x,5.x,6.x,7.x,+
6.支持海量PB級數據同步導入Elasticsearch
7.支持將ip轉換為對應的運營商/省份城市/經緯度座標位置信息
8.支持設置數據bulk導入任務結果處理回調函數，對每次bulk任務的結果進行成功和失敗反饋，然後針對失敗的bulk任務通過error和exception方法進行相應處理
9.支持多種定時任務執行引擎
- jdk timer （內置）
- quartz
- xxl-job分佈式調度引擎，基於分片調度機制實現海量數據快速同步能力
10.基於java語言開發和發佈數據同步作業
bboss elasticsearch數據同步工具另一個顯著的特色就是直接基於java語言來編寫數據同步作業程序，基於強大的java語言和第三方工具包，能夠非常方便地加工和處理需要同步的源數據，然後將最終的數據保存到目標庫（Elasticsearch或者數據庫）；同時也可以非常方便地在idea或者eclipse中調試和運行同步作業程序，調試無誤後，通過bboss提供的gradle打包構建腳本，即可發佈出可部署到生產環境的同步作業包。
11.支持兩種作業運行方式
- 嵌入到應用中運行，基於quartz和jdk timer調度的作業都可以運行在這種模式下，參考文檔：spring boot運行案例
- 獨立發佈包運行，基於quartz和xxl-job，jdk timer調度的作業都可以運行在這種模式下，參考文檔：作業發佈
更新說明：https://esdoc.bbossgroups.com/#/changelog
