We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
There was an error while loading. Please reload this page.
1 parent 5352099 commit 572fbffCopy full SHA for 572fbff
README.md
@@ -43,7 +43,7 @@ func main() {
43
44
fmt.Println(mm.Get(text)) //[gotokenizer 是 一款 基于 字典 和 Bigram 模型 纯 go 语言 编写 的 分词器 , 支持 6 种 分词 算法 。 支持 stopToken 过滤 和 自定义 word 过滤 功能 。] <nil>
45
46
- // enabled stop tokens
+ // enabled filter stop tokens
47
mm.EnabledFilterStopToken = true
48
mm.StopTokens = gotokenizer.NewStopTokens()
49
stopTokenDicPath := "/Users/xujiajun/go/src/github.com/xujiajun/gotokenizer/data/zh/stop_tokens.txt"
0 commit comments