通过 Goyacc 构建 Elasticsearch Querystring 解析器 - 领域特定语言语法分析实践

1go get -u golang.org/x/tools/cmd/goyacc

 1searchLogicPart:
 2searchLogicSimplePart {
 3    $$ = $1
 4}
 5|
 6searchLogicSimplePart tAND searchLogicPart {
 7    $$ = NewAndCondition($1, $3)
 8}
 9|
10searchLogicSimplePart tOR searchLogicPart {
11    $$ = NewOrCondition($1, $3)
12};

• L1 被定义的 expr 的名称，本例中 expr 的名称为 searchLogicPart，在其他位置上将通过这个名称来引用这个 expr 及其格式定义。
• L2-L4、L6-L8、L10-L12 expr 语法规则，以 L6-L8 部分为例，由两个部分构成：
• L6 匹配格式，本语句由三个部分构成，分别是：
• 一个 searchLogicSimplePart expr，在「附录一:L66」处定义，逻辑语句的单一元素，或 NOT 逻辑元素，或使用括号强制优先结合的若干元素集合。
• 一个 tAND expr，实际上为 token，在 lexer 中分析并给出的类型，源码中为AND。
• 一个 searchLogicPart expr，即本段落中定义的语句。
• L7 行为（action），即匹配完成后对匹配到的元素进行的行为，在匹配格式后以 {、} 包围
• 实际上是代码生成模板，以目标语言（Golang）完成
• $$ 将生成为当前 expr 的 union 中对应的字段
• 例如 L7 中的 $$，因 searchLogicPart 在 type 声明中，使用的 type 是 q（见「附录一:L20」），因此将生成为 yyVAL.q。
• 以此类推，$1、$3 分别将生成为第一个匹配项和第三个匹配项对应的类型字段，也即第一和第三匹配项的值，根据类型定义，即 yyDollar[1].q 和 yyDollar[3].q。
• L7 在目标代码中，将生成为 yyVAL.q = NewAndCondition(yyDollar[1].q, yyDollar[3].q)，NewAndCondition 为另行定义的函数。也即使用匹配到的第一个项和第三个项，构成一个 AND 逻辑组合条件。
• 行为可以由不定行代码生成模板构成。
• L5、L9 使用 | 分隔 expr 可能的语法规则，也就是说，将匹配三种规则中的任意一种。
• L12 一个 expr 语法规则定义完成后，使用 ; 作为结尾。需要额外注意的点：
• 对语法的定义不应当有二义性，也不可以对不定个数的元素进行匹配。
• 在有需要的场景下，可以直接操作 parser 函数上下文中含有的其他变量。
• 如 AST 根的输出，「附录一:L27」语句。
  
  

  1%{
  2package querystring
  3%}
  4
  5%union {
  6    s   string
  7    n   int
  8    q   Condition
  9}
 10
 11%token tSTRING tPHRASE tNUMBER
 12%token tAND tOR tNOT tTO tPLUS tMINUS tCOLON
 13%token tLEFTBRACKET tRIGHTBRACKET tLEFTRANGE tRIGHTRANGE
 14%token tGREATER tLESS tEQUAL
 15
 16%type <s>                tSTRING
 17%type <s>                tPHRASE
 18%type <s>                tNUMBER
 19%type <s>                posOrNegNumber
20%type <q>                searchBase searchParts searchPart searchLogicPart searchLogicSimplePart
 21%type <n>                searchPrefix
 22
 23%%
 24
 25input:
 26searchParts {
 27    yylex.(*lexerWrapper).query = $1
 28};
 29
 30searchParts:
 31searchPart searchParts {
 32    $$ = NewAndCondition($1, $2)
 33}
 34|
 35searchPart {
 36    $$ = $1
 37};
 38
 39searchPart:
 40searchPrefix searchBase {
 41    switch($1) {
 42    case queryMustNot:
 43        $$ = NewNotCondition($2)
 44    default:
 45        $$ = $2
 46    }
 47}
 48|
 49searchLogicPart {
 50    $$ = $1
 51};
 52
 53searchLogicPart:
 54searchLogicSimplePart {
 55    $$ = $1
 56}
 57|
 58searchLogicSimplePart tAND searchLogicPart {
 59    $$ = NewAndCondition($1, $3)
 60}
 61|
 62searchLogicSimplePart tOR searchLogicPart {
 63    $$ = NewOrCondition($1, $3)
 64};
 65
 66searchLogicSimplePart:
 67searchBase {
 68    $$ = $1
 69}
 70|
 71tLEFTBRACKET searchLogicPart tRIGHTBRACKET {
 72    $$ = $2
 73}
 74|
 75tNOT searchLogicSimplePart {
 76    $$ = NewNotCondition($2)
 77};
 78
 79searchPrefix:
 80tPLUS {
 81    $$ = queryMust
 82}
 83|
 84tMINUS {
 85    $$ = queryMustNot
 86};
 87
 88searchBase:
 89tSTRING {
 90    $$ = newStringCondition($1)
 91}
 92|
 93tNUMBER {
 94    $$ = NewMatchCondition($1)
 95}
 96|
 97tPHRASE {
 98    phrase := $1
 99    q := NewMatchCondition(phrase)
100    $$ = q
101}
102|
103tSTRING tCOLON tSTRING {
104    q := newStringCondition($3)
105    q.SetField($1)
106    $$ = q
107}
108|
109tSTRING tCOLON posOrNegNumber {
110    val := $3
111    q := NewNumberRangeCondition(&val, &val, true, true)
112    q.SetField($1)
113    $$ = q
114}
115|
116tSTRING tCOLON tPHRASE {
117    q := NewMatchCondition($3)
118    q.SetField($1)
119    $$ = q
120}
121|
122tSTRING tCOLON tGREATER posOrNegNumber {
123    val := $4
124    q := NewNumberRangeCondition(&val, nil, false, false)
125    q.SetField($1)
126    $$ = q
127}
128|
129tSTRING tCOLON tGREATER tEQUAL posOrNegNumber {
130    val := $5
131    q := NewNumberRangeCondition(&val, nil, true, false)
132    q.SetField($1)
133    $$ = q
134}
135|
136tSTRING tCOLON tLESS posOrNegNumber {
137    val := $4
138    q := NewNumberRangeCondition(nil, &val, false, false)
139    q.SetField($1)
140    $$ = q
141}
142|
143tSTRING tCOLON tLESS tEQUAL posOrNegNumber {
144    val := $5
145    q := NewNumberRangeCondition(nil, &val, false, true)
146    q.SetField($1)
147    $$ = q
148}
149|
150tSTRING tCOLON tGREATER tPHRASE {
151    phrase := $4
152    q := NewTimeRangeCondition(&phrase, nil, false, false)
153    q.SetField($1)
154    $$ = q
155}
156|
157tSTRING tCOLON tGREATER tEQUAL tPHRASE {
158    phrase := $5
159    q := NewTimeRangeCondition(&phrase, nil, true, false)
160    q.SetField($1)
161    $$ = q
162}
163|
164tSTRING tCOLON tLESS tPHRASE {
165    phrase := $4
166    q := NewTimeRangeCondition(nil, &phrase, false, false)
167    q.SetField($1)
168    $$ = q
169}
170|
171tSTRING tCOLON tLESS tEQUAL tPHRASE {
172    phrase := $5
173    q := NewTimeRangeCondition(nil, &phrase, false, true)
174    q.SetField($1)
175    $$ = q
176}
177|
178tSTRING tCOLON tLEFTRANGE posOrNegNumber tTO posOrNegNumber tRIGHTRANGE {
179    min := $4
180    max := $6
181    q := NewNumberRangeCondition(&min, &max, true, true)
182    q.SetField($1)
183    $$ = q
184}
185|
186tSTRING tCOLON tLEFTRANGE tPHRASE tTO tPHRASE tRIGHTRANGE {
187    min := $4
188    max := $6
189    q := NewTimeRangeCondition(&min, &max, true, true)
190    q.SetField($1)
191    $$ = q
192};
193
194posOrNegNumber:
195tNUMBER {
196    $$ = $1
197}
198|
199tMINUS tNUMBER {
200    $$ = "-" + $2
201};