Nifi 作为一个数据流处理引擎，在我这边的工作中扮演了一个极其重要的角色。
因为很多时候，处理 同步数据， 删除 hdfs上的历史分区数据，管理数据库的分区，查看job的运行任务，都作为一个很好的助手，最重要的是，它免费，不花钱，而且有用，哈哈。
我这边先给大家 介绍 Nifi 如何 管理数据库的分区表的事情。
相信大家都知道 oracle的分区表，是需要有分区，数据写入的时候才会正常，而一般dba对表的分区建立都是一年一次，帮你们建立一年的分区，等过年期间，dba会再次统计分区表 和 建立分区。
而我在公司中作为 每天和大数据打交道的人，自己分析后的数据，通过spark运行后，也会写入oracle中，而针对一些明细的数据，会保留近3个月的数据。
那么问题来了，将近上亿的数据，为了查询没有压力，我这边的考虑是：
1---建立分区表
2---建立索引
3---定期删除历史分区 和 建立未来的分区。
先给大家看下我配置的nifi的图片吧，毕竟现在流行有图有真相。
下一篇章，我为大家讲解，如何配置 分区表自动化管理。
配置的核心就是：
1:生成对应表的分区sql语句
2:一共是两句，一是删除分区，二是建立分区
3:删除分区的时候判断此时的分区是否是最小的分区
4:添加分区的时候判断此时的分区是否已经存在。
5:执行sql语句。
分享到:
閱讀更多 豆豆杭哲 的文章
