Технологии компиляции

Создание программы лексического анализатора (лексера)

Цель реализовать программу лексического анализатора. Для создания программы мы пользуемся готовыми инструментами программа генерации лексического анализатора flex и библиотеками Питона PLY (https://www.dabeaz.com/ply/)

Сканер преобразует исходный файл исходной программы в серию токенов, содержащих информацию, которая будет использоваться на более поздних этапах компиляции.

Сканер должен обрабатывать преобразования из литералов с целыми и действительными значениями в целые и числовые данные с действительными значениями.

То есть, последовательность символов 3.1415E+3, при сканировании необходимо преобразовать в double с этим значением. Целое число 137, необходимо преобразовать в целое число.

Можно предположить, что любой числовой литерал, целочисленный или действительный, может быть преобразован в соответствующий тип без ошибок, и поэтому можно не беспокоиться о литералах, которые переполняются или теряют значение.

Наш ЯП использует комментарии, такие же, как в C++. • Однострочный комментарий начинается с // и продолжается до конца строки. • Многострочные комментарии начинаются с /* и заканчиваются первым последующим */.

В комментарии допускается любой символ, кроме последовательности */, которая завершает текущий комментарий.

Многострочные комментарии не вкладывают друг в друга.

Сканер должен принимать любые комментарии из входного потока и игнорировать их.

Если файл заканчивается незавершенным комментарием, сканер должен сообщить об ошибке.

Наш ЯП использует следующие операторы и знаки препинания: + - * / % < >= = == != && || ! ; , . [ ] ( ) { } []

Обратите внимание, что [, ] и [] — это три разных токена, и что для оператора [] (используемого для объявления переменной типа массива), а также для других двухсимвольных операторов между двумя символами не должно быть пробела. Каждый одно-символьный оператор имеет тип маркера, равный его значению ASCII, в то время как много-символьные операторы имеют связанные с ними именованные типы маркеров. Например, для [] - тип токена T_Dims, || - тип токена T_Or.