该编译器的词法分析部分能够识别以 PASCAL 语言编写的源程序，并进行词法分析给出分析结果。该词法分析器能够实现：有正确的单词流输出（类型码、坐标、单词的值）；能够检查词法是否有错误(输出词法错误如果没有错误，返回 0，如果有错误，需要报告词法错误在源程序中的位置。能够越过错误，分解下一个单词，直到源程序结束)；能够过滤空格、Tab、回车、识别注释，并去掉注释；整数能够处理越界(整数一旦超过 65535，则自动识别为 65535)，标识符识别前 8 位（标识符一旦超过 8，则自动识别为 8 位