该编译器的词法分析部分能够识别以 PASCAL 语言编写的源程序,并进行词法分析给出分析结果。该词法分析器能够实现:有正确的单词流输出(类型码、坐标、单词的值);能够检查词法是否有错误(输出词法错误如果没有错误,返回 0,如果有错误,需要报告词法错误在源程序中的位置。能够越过错误,分解下一个单词,直到源程序结束);能够过滤空格、Tab、回车、识别注释,并去掉注释;整数能够处理越界(整数一旦超过 65535,则自动识别为 65535),标识符识别前 8 位(标识符一旦超过 8,则自动识别为 8 位