类的使用
com.alibaba.dashscope.exception.NoSpecialTokenExists

使用NoSpecialTokenExists的程序包

程序包	说明
<Unnamed>
com.alibaba.dashscope.tokenizers

<Unnamed>中NoSpecialTokenExists的使用

抛出NoSpecialTokenExists的<Unnamed>中的方法

限定符和类型	方法和说明
static void	QwenLocalTokenizerUsage.testEncode()

com.alibaba.dashscope.tokenizers中NoSpecialTokenExists的使用

抛出NoSpecialTokenExists的com.alibaba.dashscope.tokenizers中的方法

限定符和类型	方法和说明
List<Integer>	QwenTokenizer.encode(String text, String allowedSpecial) Encode the input text, handles special tokens.
List<Integer>	Tokenizer.encode(String text, String allowedSpecial) Encode the input text, handles special tokens.