Rewrite the scanner using a generator

O scanner, ou analisador léxico, foi escrito de forma não automatizada.
Isto é um problema para a evolução no suporte à linguagem.
Portanto, ele deve ser reescrito com uma ferramenta geradora como: flex, ragel, re2c, ou a que for melhor.  