（来源：上观新闻）
让我们🤡⚽用一个🔮简化示例说🕯明，假设训练语料📶包含以下词汇及👨🦲出现频率： “h🤓🎾ug”：1👏➖0次 “🍦⏳pug”🤶：5次 👵👨💻“pun”：12💜✖次 “bun”🇳🇨🔂：4次 🤥🇲🇫“hugs”🧗♂️：5次⚰🔂 第一步：将🤚所有词拆分为字符3️⃣⤴，添加结💇♂️📛束符 “🍜hug”🍮🇱🇻 → ♊🤭“h u🇦🇩 g ” “p👨❤️👨ug” → 😕“p u g 👨💼” “pu🇵🇾👈n” → “p🛍🍡 u n ” “👩🔬🇾🇪bun”🎀🎗 → “b🍇 u n ” “🎹🙎hugs🇹🇨” → “🇺🇦🛃h u g s 🦗🐷” 初始词汇表仅🤼♂️包含基础字符☑👇：{b, g, ⚓h, n, 👩⚖️🌕p, s, ☝u, } 第二步💟✨：统计相邻🈵😜字符对🗺的出现频率🇳🇿✒ “u 👀🎢g”：15次👨🦰（来自“hu💔g”的10次 +🏺 “hugs🔕”的5次🇨🇴） “u⛑🔉 n”：16🇳🇮次（来自“pun🃏🏬”的12次 +🍺 “b🇪🇷👨👧un”的4🇦🇿次） “p 🐺😀u”：1🔠🔓7次（来🇹🇴国产欧美日韩图片在线人成自“pug”的🇪🇭5次 + “p🇲🇽un”的1🤦♀️🍿2次） 第三步：🍾合并最高频字🚵♀️📭符对 假设“🛠📿p u”频率最高🐄（17次），创建💤新符号“pu”，🥞 词汇表扩展为👩👧👧：{b, 😟👄g, h, 🍄n, p🍦, s, u,🌉 , p🌔u} 第四步：🦏迭代重复 继续🇳🇮统计新🌧语料中的字符对😳频率，合并🦇下一个最高频对，🔓直到达到预🦔🍇设的词汇🙅表大小（🧴🔢如GPT-2为5🌥🇧🇧0,2🇸🇳57个tok🇲🇩en）🚈🚶。
你说话，智能🐝体执行，结果🎴↖直接变成基础📨设施🧒♑。此举剑指行业痛🏅🍺点🇸🇲。根据Hir🙏o F📮inance自🐐🃏己的说法，这家公🧭司最初的愿景🇪🇺，是做🤢❓一个“✴😽AI个人CF🖌O”🎖。2023🇲🇸年，贺久恒在美国👫🎥分享自己的博士论🚰🕘文研究成果（图：🛍受访者提供😑🇸🇦） “围棋世界💛的改变有Alp🍏haGo这🌇个标志性事件，😎全世界都看到了🎥🈚那个瞬间🔻🏊♀️。
