Mongodb之元數據提取

前期準備

1、元數據理解

元數據是描述信息資源或數據等對象的數據,其使用目的在於:識別資源;評價資源;追蹤資源在使用過程中的變化;實現簡單高效地管理大量網絡化數據;實現信息資源的有效發現、查找、一體化組織和對使用資源的有效管理。最簡單的定義是“描述數據的數據”(data about data)。說得再通俗一點,比如ORACLE描述表、字段之類的數據。

2、BI Connector 工具

https://docs.mongodb.com/bi-connector/master/local-quickstart/

思路

本地安裝 Mongodb,再安裝BI工具,生成DRDL文件,再通過解析DRDL文件即可獲取集合、字段信息。

實踐

1、window 借用BI生成DRDL文件命令

D:\database\mongodb\mongodb-bi\bin\ .\mongodrdl -d test -u ming -o schema.drdl 執行test數據庫下生成文件,ming為用戶名,記得賦讀取權限

2、解析DRDL文件

a、生成的DRDL文件內容是YAML(在springcloud一些配置文件有出現,不懂去百度吧)格式,內容如下:

Mongodb之元數據提取

實際上BI工具是將MONGODB轉成MYSQL之類的關係型數據庫,所以有TABLE、COLUMN、SQLTYPE字眼出現。

b、代碼解析過程:

Mongodb之元數據提取

Mongodb之元數據提取

Mongodb之元數據提取

Mongodb之元數據提取

價值

這東西仁者見仁智者見智,在大型公司比如:華為、銀行等公司解決“有哪些數據”、“數據存儲有多少”、“數據流中的血緣關係”、“如何找到我需要的數據”、“如何使用數據”和“數據的生產進度”,並對上游線上業務庫的同步進度和元信息變更進行監控,及時進行影響分析及預警。技多不壓身,懂點混口飯吃還是可以的!!!

注:歡迎轉發、收藏,嚴禁COPY至其他平臺發佈,請尊重原創!!!!


分享到:


相關文章: