FWIW, die Dinger heissen "proto regexes", und ich habe
hier ein bisschen darüber geschrieben (Englisch).

Im wesentlichen bilden alle tokens der Form

eine benannte Regex namens foo, die alle einzelnen proto-regexes mit einem logischen Oder (also '|') verbindet.

Das ist, wenn man von der Grammatik erbt, einfacher zu erweitern: man kann weitere Alternativen hinzufügen, ohne alle bisherigen aufzuzählen.

Ausserdem kann man mit jedem Token eine sogennante "action method" verbinden, die ausgeführt wird, wenn das token matcht. Bei proto regexes kann man jeder einzelnen Alternative eine action method geben, spart sich also ein großes switch-statement.