Folgend ein einfaches Beispiel, dass den Tokenizer verwendet um eine PHP-Datei einzulesen, alle Kommentare zu entfernen und den reinen Quelltext auszugeben.
Beispiel #1 Kommentare mit Hilfe des Tokenizers entfernen
<?php
$source = file_get_contents('example.php');
$tokens = token_get_all($source);
foreach ($tokens as $token) {
    if (is_string($token)) {
        // einfaches 1-Zeichen Token
        echo $token;
    } else {
        // Token Array
        list($id, $text) = $token;
 
        switch ($id) { 
            case T_COMMENT: 
            case T_DOC_COMMENT:
                // Kommentare ignorieren
                break;
            default:
                // alle anderen -> unverändert beibehalten
                echo $text;
                break;
        }
    }
}
?>