Python nltk.tokenize模块，常用函数和类
下面列出了Python nltk.tokenize 模块中定义的常用函数和类，我们从259个开源Python项目中，按照使用频率进行了排序。
| 函数和类 | 使用项目数 |
|---|---|
| 1. word_tokenize() | 用在(128)个项目中 |
| 2. sent_tokenize() | 用在(61)个项目中 |
| 3. RegexpTokenizer() | 用在(50)个项目中 |
| 4. TweetTokenizer() | 用在(35)个项目中 |
| 5. wordpunct_tokenize() | 用在(30)个项目中 |
| 6. WordPunctTokenizer() | 用在(17)个项目中 |
| 7. WhitespaceTokenizer() | 用在(13)个项目中 |
| 8. TreebankWordTokenizer() | 用在(13)个项目中 |
| 9. line_tokenize() | 用在(8)个项目中 |