大模型中的"tokens"指的是模型处理的输入文本中的单词、标点符号或其他文本单元。
在计算机领域中,token 通常是指一串字符或符号,比如微信公众平台的密钥,就被称作一个 token,其实就是一长串的字符。而在人工智能领域,尤其是自然语言处理...