1. 模块列表
  2. nltk.tokenize模块常用函数和类

Python nltk.tokenize模块，常用函数和类

下面列出了Python nltk.tokenize 模块中定义的常用函数和类，我们从259个开源Python项目中，按照使用频率进行了排序。

函数和类 使用项目数
1. word_tokenize() 用在(128)个项目中
2. sent_tokenize() 用在(61)个项目中
3. RegexpTokenizer() 用在(50)个项目中
4. TweetTokenizer() 用在(35)个项目中
5. wordpunct_tokenize() 用在(30)个项目中
6. WordPunctTokenizer() 用在(17)个项目中
7. WhitespaceTokenizer() 用在(13)个项目中
8. TreebankWordTokenizer() 用在(13)个项目中
9. line_tokenize() 用在(8)个项目中