[huggingface/transformers] [Mistral] Add native tekken tokenizer support to AutoTokenizer (#47507
github:huggingface/transformers · 2026-08-05
该PR为Mistral添加原生tekken分词器支持到AutoTokenizer，通过MistralConverter和MistralCommonBackend实现tekken.json的检测、转换与
AutoTokenizer extendsMistralConverter based_onMistralCommonBackend related_totekken tokenizer based_on
⚠ 该技术的局限性
- 需要安装mistral-common且版本不低于1.11.7才能自动生成聊天模板
- tekken.json缺失或mistral-common未安装时可能回退，存在词汇表差异风险
⚖ 潜在伦理风险
- 分词器转换过程中词汇表差异可能导致模型对某些文本处理不一致，进而影响输出的公平性
引用依据（RAG 校验通过）：
“Add native Mistral "tekken" tokenizer support”
“requires mistral-common>=1.11.7”
“Fix push_to_hub dropping the copied tekken.json”