Transformers v5 分词器重构解读：更简单、透明的模块化设计

Transformers v5 将分词器架构与已训练的词表、合并规则分离，让分词器更易检查、定制和从零训练。文章解释了分词流程、后端与类层次，并对比 v4 的快慢双实现与 v5 每个模型单文件、优先使用 Rust 后端的设计，说明 PythonBackend 和 SentencePieceBackend 仍被保留。