transformer 中 tokenizer.tokenize() 和 tokenizer.encoder()
tokenizer.tokenize() ：使用 tokenize() 函数对文本进行 tokenization（分词）之后，返回的分词的 token 词。tokenizer.encoder()：encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示。
·
tokenizer.tokenize() ：
使用 tokenize() 函数对文本进行 tokenization（分词）之后，返回的分词的 token 词。
tokenizer.encoder()：
encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示。
有“AI”的1024 = 2048，欢迎大家加入2048 AI社区
更多推荐
1
0- 0
已为社区贡献31条内容
所有评论(0)