想了解JavaANTLR:有一个简单的例子吗?的新动态吗?本文将为您提供详细的信息,我们还将为您解答关于javaccantlr的相关问题,此外,我们还将为您介绍关于ANTLR4$channel=隐藏和
想了解Java ANTLR:有一个简单的例子吗?的新动态吗?本文将为您提供详细的信息,我们还将为您解答关于javacc antlr的相关问题,此外,我们还将为您介绍关于ANTLR 4 $ channel =隐藏和选项、ANTLR BNF语法表示法中的epsilon等效项是什么?、Antlr v4 线程安全模式、ANTLR 使用符号作为令牌名称的新知识。
本文目录一览:- Java ANTLR:有一个简单的例子吗?(javacc antlr)
- ANTLR 4 $ channel =隐藏和选项
- ANTLR BNF语法表示法中的epsilon等效项是什么?
- Antlr v4 线程安全模式
- ANTLR 使用符号作为令牌名称
Java ANTLR:有一个简单的例子吗?(javacc antlr)
如何解决Java ANTLR:有一个简单的例子吗??
注意:此答案适用于ANTLR3!如果你正在寻找ANTLR4的示例,那么此问答将演示如何使用ANTLR4创建简单的表达式解析器和评估器。
你首先创建一个语法。下面是一个小语法,可用于评估使用4个基本数学运算符构建的表达式:+,-,*
和/
。你也可以使用括号对表达式进行分组。
请注意,此语法只是一个非常基本的语法:它不处理一元运算符(负号:-1 + 9)或小数,如.99(无前导数字),仅列举两个缺点。这只是你可以自己进行工作的一个示例。
这是语法文件Exp.g的内容:
grammar Exp;
/* This will be the entry point of our parser. */
eval
: additionExp
;
/* Addition and subtraction have the lowest precedence. */
additionExp
: multiplyExp
( ''+'' multiplyExp
| ''-'' multiplyExp
)*
;
/* Multiplication and division have a higher precedence. */
multiplyExp
: atomExp
( ''*'' atomExp
| ''/'' atomExp
)*
;
/* An expression atom is the smallest part of an expression: a number. Or
when we encounter parenthesis, we''re making a recursive call back to the
rule ''additionExp''. As you can see, an ''atomExp'' has the highest precedence. */
atomExp
: Number
| ''('' additionExp '')''
;
/* A number: can be an integer value, or a decimal value */
Number
: (''0''..''9'')+ (''.'' (''0''..''9'')+)?
;
/* We''re going to ignore all white space characters */
WS
: ('' '' | ''\t'' | ''\r''| ''\n'') {$channel=HIDDEN;}
;
(解析器规则以小写字母开头,而词法分析器规则以大写字母开头)
创建语法后,你需要从中生成一个解析器和词法分析器。下载ANTLR jar
,并将其存储在与语法文件相同的目录中。
在shell /
命令提示符下执行以下命令:
java -cp antlr-3.2.jar org.antlr.Tool Exp.g
它不应产生任何错误消息,并且现在应生成文件ExpLexer.java,ExpParser.java和Exp.tokens
。
要查看它们是否正常运行,请创建以下测试类:
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTlrstringStream in = new ANTlrstringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
parser.eval();
}
}
并编译:
// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java
// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java
然后运行它:
// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo
// Windows
java -cp .;antlr-3.2.jar ANTLRDemo
如果一切顺利,则不会在控制台上打印任何内容。这意味着解析器未发现任何错误。当你更改”12(5-6)”到”12(5-6”,然后重新编译并运行它,应该有打印的情况如下:
line 0:-1 mismatched input ''<EOF>'' expecting '')''
好的,现在我们想向语法中添加一些Java代码,以便解析器实际执行一些有用的操作。添加代码可以通过将完成{,并}与里面的一些普通的Java代码你的语法内。
但首先:语法文件中的所有解析器规则应返回原始双精度值。你可以通过returns [double value]在每个规则之后添加:
grammar Exp;
eval returns [double value]
: additionExp
;
additionExp returns [double value]
: multiplyExp
( ''+'' multiplyExp
| ''-'' multiplyExp
)*
;
// ...
这几乎不需要解释:每个规则都将返回一个双精度值。现在要与double value
代码块内的返回值(不在普通Java代码块内{...}
)进行“交互” ,你需要在$
前面添加一个美元符号value
:
grammar Exp;
/* This will be the entry point of our parser. */
eval returns [double value]
: additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
;
// ...
这是语法,但现在添加了Java代码:
grammar Exp;
eval returns [double value]
: exp=additionExp {$value = $exp.value;}
;
additionExp returns [double value]
: m1=multiplyExp {$value = $m1.value;}
( ''+'' m2=multiplyExp {$value += $m2.value;}
| ''-'' m2=multiplyExp {$value -= $m2.value;}
)*
;
multiplyExp returns [double value]
: a1=atomExp {$value = $a1.value;}
( ''*'' a2=atomExp {$value *= $a2.value;}
| ''/'' a2=atomExp {$value /= $a2.value;}
)*
;
atomExp returns [double value]
: n=Number {$value = Double.parseDouble($n.text);}
| ''('' exp=additionExp '')'' {$value = $exp.value;}
;
Number
: (''0''..''9'')+ (''.'' (''0''..''9'')+)?
;
WS
: ('' '' | ''\t'' | ''\r''| ''\n'') {$channel=HIDDEN;}
;
并且由于我们的eval规则现在返回了double,因此将你的ANTLRDemo.java更改为:
import org.antlr.runtime.*;
public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTlrstringStream in = new ANTlrstringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
System.out.println(parser.eval()); // print the value
}
}
再次(重新)从语法(1)中生成一个新的词法分析器和解析器,编译所有类(2)并运行ANTLRDemo(3):
// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java // 2
java -cp .:antlr-3.2.jar ANTLRDemo // 3
// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java // 2
java -cp .;antlr-3.2.jar ANTLRDemo // 3
现在你将看到表达式的结果12*(5-6)
打印到控制台上!
再次:这是一个非常简短的解释。我鼓励你浏览ANTLR Wiki,阅读一些教程和/或使用我刚刚发布的内容。
祝好运!
编辑:
这篇文章展示了如何扩展上面的示例,以便Map<String, Double>
可以提供一个在所提供的表达式中包含变量的a。
为了使此代码与当前版本的Antlr(2014年6月)一起使用,我需要进行一些更改。ANTlrstringStream
需要变为ANTLRInputStream
,返回值需要从更改parser.eval()
为parser.eval().value
,并且我需要最后删除该WS子句,因为$channel
不再允许诸如lexer操作中的属性值出现。
解决方法
我想开始使用ANTLR,但是花了几个小时在antlr.org网站上回顾了这些示例之后,我仍然对Java语法没有一个清晰的了解。
是否有一些简单的示例,例如使用ANTLR实现的四运算计算器,经过解析器定义,一直到Java源代码?
ANTLR 4 $ channel =隐藏和选项
决定从v3切换到v4后,我需要有关ANTLR 4语法的帮助。我对ANTLR的经验不是很丰富,如果我的问题很愚蠢,我真的很抱歉;)
在v3中,我使用以下代码来检测Java风格的注释:
COMMENT : ''//'' ~(''\n''|''\r'')* ''\r''? ''\n'' {$channel=HIDDEN;} | ''/*'' ( options {greedy=false;} : . )* ''*/'' {$channel=HIDDEN;} ;
在v4中,没有特定于规则的选项。动作(移至隐藏通道)也无效。
有人可以给我提示如何在ANTLR v4中做到吗?
答案1
小编典典相当于v4的样子:
COMMENT : ( ''//'' ~[\r\n]* ''\r''? ''\n'' | ''/*'' .*? ''*/'' ) -> channel(HIDDEN) ;
这会将所有单行和多行注释添加到HIDDEN
频道上。但是,如果您不对这些HIDDEN
-token
做任何事情,那么您也可以选择skip
这些令牌,如下所示:
COMMENT : ( ''//'' ~[\r\n]* ''\r''? ''\n'' | ''/*'' .*? ''*/'' ) -> skip ;
注意,要告诉词法分析器或解析器匹配不贪心,您不再使用options {greedy=false;}
,而是?
像许多regex实现一样附加一个。
ANTLR BNF语法表示法中的epsilon等效项是什么?
在利用ANTLR 3.3的过程中,我正在更改当前语法以支持不带括号的输入。这是我的语法的第一个版本:
grammar PropLogic; NOT : ''!'' ; OR : ''+'' ; AND : ''.'' ; IMPLIES : ''->'' ; SYMBOLS : (''a''..''z'') | ''~'' ; OP : ''('' ; CP : '')'' ; prog : formula EOF ; formula : NOT formula | OP formula( AND formula CP | OR formula CP | IMPLIES formula CP) | SYMBOLS ; WHITESPACE : ( ''\t'' | '' '' | ''\r'' | ''\n''| ''\u000C'' )+ { $channel = HIDDEN; } ;
然后我以这种方式更改了它以支持适当的功能:
grammar PropLogic; NOT : ''!'' ; OR : ''+'' ; AND : ''.'' ; IMPLIES : ''->'' ; SYMBOL : (''a''..''z'') | ''~'' ; OP : ''('' ; CP : '')'' ; EM : '''' ;prog : formula EOF ;formula : OP formula( AND formula CP | OR formula CP | IMPLIES formula CP) | ( NOT formula | SYMBOL )( AND formula | OR formula | IMPLIES formula | EM ) ;WHITESPACE : ( ''\t'' | '' '' | ''\r'' | ''\n''| ''\u000C'' )+ { $channel = HIDDEN; } ;
但是我一直面临以下错误:
error<100>: syntax error: invalid char literal: ''''error<100>: syntax error: invalid char literal: ''''
有人知道我该如何克服这个错误?
答案1
小编典典您的EM
令牌:
EM : '''' ;
无效:您无法在lexer规则中匹配空字符串。
要匹配epsilon(什么都没有),您应该执行以下操作:
rule : A | B | /* epsilon */ ;
当然,/* epsilon */
可以安全删除评论。
请注意,当您按照当前语法那样进行操作时,ANTLR会抱怨可能存在使用多个替代规则进行匹配的规则。这是因为您的语法不明确。
Antlr v4 线程安全模式
如何解决Antlr v4 线程安全模式?
我的代码是这样写的:
- 首先我用蚂蚁创建例程池:
var pool,_ = ants.NewPoolWithFunc(5,func(commitDiff interface{}) {
AnalyzeCommitDiff(commitDiff.(diffParsedType))
})
*函数 AnalyzeCommitDiff() 包含我的 antlr_analysis 函数
- 然后我写了这些:
var (
lexerPool *sync.Pool = &sync.Pool{New: func() interface{} {
return javaparser.NewJavaLexer(nil)
}}
parserPool *sync.Pool = &sync.Pool{New: func() interface{} {
return javaparser.NewJavaParser(nil)
}}
newTreeShapeListener *sync.Pool = &sync.Pool{New: func() interface{} {
return new(TreeShapeListener)
}}
)
func executeJava(diffText string) javaparser.AnalysisInfoType {
input := antlr.NewInputStream(diffText)
lexer := lexerPool.Get().(*javaparser.JavaLexer)
defer lexerPool.Put(lexer)
lexer.SetInputStream(input)
stream := antlr.NewCommonTokenStream(lexer,0)
p := parserPool.Get().(*javaparser.JavaParser)
defer parserPool.Put(p)
p.SetTokenStream(stream)
//p.AddErrorListener(antlr.NewDiagnosticErrorListener(true))
p.BuildParseTrees = true
p.GetInterpreter().SetPredictionMode(antlr.PredictionModesll)
tree := p.compilationunit()
listener := newTreeShapeListener.Get().(*TreeShapeListener)
defer newTreeShapeListener.Put(listener)
antlr.ParseTreeWalkerDefault.Walk(listener,tree)
return javaparser.Infos
}
但由于不是线程安全的,显然存在问题。 如何使我的代码线程安全? 谁能给我举个例子?
解决方法
线程池不适用于 ANTLR4。出于性能原因,除了解析器或词法分析器访问共享 DFA 的一处之外,没有额外的线程处理。
因此,您可以使用线程的唯一方法是将词法分析器/解析器实例关联到一个线程,并仅从该单个线程访问它。每个解析器实例使用一个专用线程,并且永远不要在线程之间共享词法分析器/解析器。
ANTLR 使用符号作为令牌名称
那是不可能的。规则名称必须以下划线或字母开头,后跟零个或多个下划线、字母或数字。因此,'('
或其任何变体都不是有效的规则名称。
今天关于Java ANTLR:有一个简单的例子吗?和javacc antlr的介绍到此结束,谢谢您的阅读,有关ANTLR 4 $ channel =隐藏和选项、ANTLR BNF语法表示法中的epsilon等效项是什么?、Antlr v4 线程安全模式、ANTLR 使用符号作为令牌名称等更多相关知识的信息可以在本站进行查询。
本文标签: