接口的使用
com.alibaba.dashscope.tokenizers.Tokenizer

使用Tokenizer的程序包

程序包	说明
com.alibaba.dashscope.tokenizers

com.alibaba.dashscope.tokenizers中Tokenizer的使用

实现Tokenizer的com.alibaba.dashscope.tokenizers中的类

限定符和类型	类和说明
class	QwenTokenizer BPE encode and decode, implementation reference https://github.com/openai/tiktoken and https://github.com/karpathy/minbpe

返回Tokenizer的com.alibaba.dashscope.tokenizers中的方法

限定符和类型	方法和说明
static Tokenizer	TokenizerFactory.qwen()