技巧、Antlr4入門

Antlr4 是一個強大的解析器的生成器，可以用來讀取、處理、執行或翻譯結構化文本，ANTLR可以從語法上來生成一個可以構建和遍歷解析樹的解析器，最出名的Spark計算引擎2.x就是用它來解析SQL的，是一個牛到沒朋友的傢伙。

先來看看它大概的解析規則

IDEA測試

IDEA語法分析插件

下載 antlr-v4-grammar-plugin

插件安裝

antlr-v4-grammar分析插件

g4語法文件使用的是sparkSQL的 SqlBase.g4 文件進行改造的 ArcSql.g4

右鍵選中 multiStatement 進行測試

antlr4

測試SQL語法樹

antlr4-SQL-測試

生成解析配置

antlr4-生成解析代碼

1. 右鍵ArcSQL.g4文件，在下拉選項Configure ANTLR即可出來。
2. 第一個Output directory...要寫上輸出代碼的路徑。
3. 比如把它放到當前項目的antlr4的包中/dounine/github/arc/src/main/scala/com/dounine/arc/antlr4
4. 右鍵ArcSQL.g4文件，選中Generate ANTLR Recognizer即可生成
5. 會生成如下幾個文件

ArcSQL.interp
ArcSQL.tokens
ArcSQLBaseListener
ArcSQLBaseVisitor
ArcSQLLexer
ArcSQLLexer.interp
ArcSQLLexer.tokens
ArcSQLListener
ArcSQLParser
ArcSQLVisitor

代碼測試

依賴

compile group: 'org.antlr', name: 'antlr4', version: '4.7.2'

被動模式(樹解析到節點了通知)

val loadLexer = new ArcSQLLexer(CharStreams.fromString(
 """
 select toUp(name) from log;
 """))
val tokens = new CommonTokenStream(loadLexer)
val parser = new ArcSQLParser(tokens)
val ctx = parser.multiStatement()
val listener = new ArcSQLBaseListener() {
 override def exitQuerySpecification(ctx: ArcSQLParser.QuerySpecificationContext): Unit = {
 val input = ctx.start.getTokenSource.asInstanceOf[ArcSQLLexer]._input
 val start = ctx.start.getStartIndex
 val stop = ctx.stop.getStopIndex 

 val interval = new Interval(start, stop)
 val sqlText = input.getText(interval)
 println("表名 => " + ctx.tableAlias().strictIdentifier().getText)
 println("完整SQL =>" + sqlText)
 }
 }
ParseTreeWalker.DEFAULT.walk(listener, ctx)

輸出(在ctx中還有很多關於sql樹信息)

表名 => log
完整SQL =>select toUp(name) from log

主動模式(主動去要數據)

val vistor = new ArcSQLBaseVisitor[Unit] {
 override def visitQuerySpecification(ctx: QuerySpecificationContext): Unit = {
 val input = ctx.start.getTokenSource.asInstanceOf[ArcSQLLexer]._input
 val start = ctx.start.getStartIndex
 val stop = ctx.stop.getStopIndex
 val interval = new Interval(start, stop)
 val sqlText = input.getText(interval)
 println("表名 => " + ctx.tableAlias().strictIdentifier().getText)
 println("完整SQL =>" + sqlText)
 }
}
vistor.visit(ctx)

最後

每天發佈更多新鮮有含量的技術文章、總有一款適合你。

快關注我、把我打包帶走、每天提醒你學習一手技術。

閱讀更多 IT實戰聯盟 的文章

關鍵字: 牛到 解析器 編譯器