Модуль токенизации Tokenizer

• Введение
• Установка и настройка
  • Установка
• Предопределённые константы
• Примеры
• PhpToken — Класс PhpToken
  • PhpToken::__construct — Создаёт объект PhpToken
  • PhpToken::getTokenName — Возвращает имя токена
  • PhpToken::is — Проверяет, соответствует ли токен указанному типу
  • PhpToken::isIgnorable — Сообщает, будет ли токен игнорироваться парсером PHP
  • PhpToken::__toString — Возвращает текстовое содержимое токена
  • PhpToken::tokenize — Разбирает заданную строку, содержащую программу на PHP, на массив объектов PhpToken
• Функции PHP-лексера (tokenizer)
  • token_get_all — Разбивает исходный код на PHP-лексемы
  • token_name — Получает символическое название PHP-лексемы