一个视频了解Token

红星新闻 2026-03-30 18:37
什么是Token?Token是人工智能大模型理解和生成语言的最小语义单元。1汉字≈1-2个Token,标点单独计算。3月24日,人民日报发文《“Token”中文名定了:词元》。到今年3月,我国日均词元调用量已超过140万亿。复旦大学计算与智能创新学院教授、上海创智学院全时导师邱锡鹏早在2021年就将Token译为"词元"。近日,邱锡鹏教授接受红星新闻采访,一个视频带你看懂什么是Token。