\section{\module{tokenize} ---
         Python�������Τ���Υȡ����ʥ���}

\declaremodule{standard}{tokenize}
\modulesynopsis{Python�����������ɤΤ���λ�����ϴ}
\moduleauthor{Ka Ping Yee}{}
\sectionauthor{Fred L. Drake, Jr.}{fdrake@acm.org}


\module{tokenize}�⥸�塼���Python�Ǽ������줿Python�����������ɤλ�����ϴ���󶡤��ޤ�������ˡ����Υ⥸�塼��λ�����ϴ�ϥȡ�����Ȥ��ƥ����Ȥ��֤��ޤ����������뤳�Ȥǡ������꡼����ɽ���Τ���Υ���饤����ޤ�``�ץ�ƥ��ץ��''��������뤿��������ˤʤ�ޤ���

���Υ���ȥ�ݥ���Ȥϥ����ͥ졼���Ǥ�:

\begin{funcdesc}{generate_tokens}{readline}
  \function{generate_tokens()}�����ͥ졼���ϰ�Ĥΰ���\var{readline}ɬ�פȤ��ޤ�����������Ȥ߹��ߥե����륪�֥������Ȥ�\method{readline()}�᥽�åɤ�Ʊ�����󥿥ե��������󶡤���ƤӽФ���ǽ���֥������ȤǤʤ���Фʤ�ޤ���(��~\ref{bltin-file-objects}�򻲾�)�����δؿ���ƤӽФ��٤ˡ�ʸ����Ȥ������Ϥ����Ԥ��֤��٤��Ǥ���

  �����ͥ졼���Ϥ����Υ��С�����5���ǤΥ��ץ���֤��ޤ�: �ȡ����󷿡��ȡ�����ʸ���󡢥�������ǥȡ����󤬻Ϥޤ�Ԥ���򼨤�������2���ǤΥ��ץ�\code{(\var{srow}, \var{scol})}����������ǥȡ����󤬽����Ԥ���򼨤�������2���ǤΥ��ץ�\code{(\var{srow}, \var{scol})}�������ơ��ȡ����󤬸��Ĥ��ä��ԡ��Ϥ����Ԥ�\emph{����}�Ԥǡ���³�Ԥ��ޤޤ�ޤ���
  \versionadded{2.2}
\end{funcdesc}

���Ť�����ȥ�ݥ���Ȥϸ����ߴ����Τ���˻Ĥ���Ƥ��ޤ�:

\begin{funcdesc}{tokenize}{readline\optional{, tokeneater}}
  \function{tokenize()}�ؿ�����ĤΥѥ�᡼������ޤ�: ��Ĥ����ϥ��ȥ꡼���ɽ������Ĥ�\function{tokenize()}�Τ���ν��ϥᥫ�˥����Ϳ���ޤ���
  .

  �ǽ�Υѥ�᡼��\var{readline}���Ȥ߹��ߥե����륪�֥������Ȥ�\method{readline()}�᥽�åɤ�Ʊ�����󥿥ե��������󶡤���ƤӽФ���ǽ���֥������ȤǤʤ���Фʤ�ޤ���(��~\ref{bltin-file-objects}�򻲾�)�����δؿ���ƤӽФ��٤ˡ�ʸ����Ȥ������Ϥ����Ԥ��֤��٤��Ǥ���

  �����ܤΥѥ�᡼��\var{tokeneater}��ƤӽФ���ǽ���֥������ȤǤʤ���Фʤ�ޤ��󡣤��줾��Υȡ�������Ф��ƸޤĤΰ����ȤȤ�˰��ٸƤӽФ���ޤ���������\function{generate_tokens()}���������륿�ץ���б����ޤ���
\end{funcdesc}


\function{tokenize()}��\var{tokeneater}�ؿ����Ϥ���ǽ���Τ�����Ĥ��ɲäΥȡ����󷿤��ͤΤ褦�ˡ�\refmodule{token}�⥸�塼�뤬�󶡤��뤹�٤Ƥ������\module{tokenize}���饨�����ݡ��Ȥ���ޤ�:

\begin{datadesc}{COMMENT}
  �����Ȥ�ɽ������˻Ȥ���ȡ������͡�
\end{datadesc}
\begin{datadesc}{NL}
  �����ǤϤʤ����Ԥ�ɽ������˻Ȥ���ȡ������͡�NEWLINE�ȡ������Python�����ɤ������Ԥν�����ɽ���ޤ���NL�ȡ�����ϥ����ɤ������Ԥ�ʣ����ʪ���Ԥˤ錄�ä�³���Ƥ���Ȥ��˺���ޤ���
\end{datadesc}
