3. AI如何通过“切割术”理解我们的语言：探索大语言模型时代的语言不平等问题
输入“/”快速插入内容
3. AI如何通过“切割术”理解我们的语言：探索大语言模型时代的语言不平等问题
3. AI如何通过“切割术”理解我们的语言：探索大语言模型时代的语言不平等问题
用户5980用户5980
用户2347用户2347用户6100用户61002023年9月15日修改
来源： Richard 檬查查
原文地址：
https://mp.weixin.qq.com/s?__biz=MzAwNDA1MTA1NQ==&mid=2247484170&idx=1&sn=df96176b79533579db12e6bb5153246e&chksm=9b309a0aac47131cd257a6f6cf6d74636cf0fa167335f1eb7ce4c0578c79e516c20b23d95cd3&scene=178&cur_album_id=2900517289240985604#rd
在AI领域，大语言模型已经取得了惊人的进步，可以执行包括翻译、文本生成和情感分析等多种任务。但当我们在和这些基于大语言模型的AI对话时，例如ChatGPT，你是否有想过AI是如何理解我们所说的语言的呢？其秘密在于一个可以被称为"切割术"（Tokenization）的过程。然而，并非所有语言在这个“切割化”的过程中都被平等对待…
AI的“切割术”
所谓的“切割术”，你可以把它想象成是一个把一段话分割成一个一个标记块(token)的过程，这些token可以是单词、数字，或者标点符号等。例如在英语中，"Hello, World"会被分解为三个标记块(token)：“Hello”，“,”和“World”，正如下图中下半部分出现的三个不同的颜色块。AI正是通过这样的“切割术”将我们对其说的话进行了处理后，才能更好地进行理解和回答。
“切割术”针对不同语言的不平等
但是，这套“切割术”在处理不同语言时，情况会变得复杂。对于英语，一个单词通常会被视为一个标记块（token）。但在其他语言中，同样的信息很可能需要更多的token来表示。具体来说，以下面的两个对比截图为例：
•
当使用英文时，所需要的标记块（token）数是最少的。我们也可以将同样信息下，其他语言所需的token数是英文的多少倍来判断其他语言的“被切割效率”；
•
西班牙语、法语、德语等常见拉丁语系语言所需要的token数略微比英文多一点，效率上属于第二梯队，大约是英文的1.4-1.5倍；
•
中文的整体表现其实还不错，所需要的token数大约是英文的1.7倍，而且很有趣的是简体中文的效率会略微高于繁体中文；
•
日语和韩语的效率差不多，低于中文，大约是2.1-2.2倍；
•
再来一个最极端的例子，如果是缅甸语，倍数会达到惊人的10倍这个数值！
为什么会出现这种“不平等”的情况
这种通用型技术在处理不同语言中的不平等情况其实很早前就存在了。以百年前的革命性技术-电报为例，这套基于”莫尔斯电码“的技术在处理不同语言之间速度和成本就存在巨大差异。例如将一条信息编码和传输到中文（与英文等效的信息相比）需要：
•
两倍的成本；
•
15-20倍的时间；
其背后的原因是因为电报最早主要就是为了英文所设计的，因此优先考虑了传输英文时的性价比。但是，中文作为一种形意文字的语言，比较难直接套用这套规则。后来是一个名叫维吉耶的法国人为汉字设计了一个映射系统，将其映射到莫尔斯电码上 - 每个汉字都被映射到一个四位编号上，然后再被翻译成莫尔斯电码。因为这需要在代码本中查找编号，所以从耗时角度和传输成本角度都是比较高的。