3.16 標準モジュール token

 

このモジュールは、解析木(terminal tokens)のleaf nodesの値を表す定数を提供します。文法のコンテキストの名前の定義は、パイソンの配付物の中の"Grammar/Grammar"ファイルを参照して下さい。名前がマッピングされている特定の数値は、パイソンのバージョンによって変わるかも知れません。

このモジュールもまた、１つのデータオブジェクトといくつかの関数を提供します。関数は、パイソンＣヘッダーファイルの定義を反映します。

tok_name

このモジュールで定義された定数の数値をマッピングしている辞書で、名前の文字列に戻し、より人間が分かりやすい解析木の表現を作る。

ISTERMINAL (x)

terminal token valuesの場合は、trueを返します。

ISNONTERMINAL (x)

non-terminal token valuesの場合は、trueを返します。

ISEOF (x)

xが入力の終わりである場合は、trueを返します。

参照:

parserモジュール   (２番目の例がこのモジュールを使っています)