当我们与聊天机器人对话时，很少有人会思考一个有趣的问题：这些机器人是如何理解我们的文字的？事实上，在机器人能够理解我们说什么之前，它们需要先把我们的文字"切碎"成小块，就像厨师在烹饪前需要先把食材切成合适的大小一样。这个过程叫做"分词"，而负责这项工作的工具叫做"分词器"。