（来源：上观新闻）
让我们用一个简化🇮🇷示例说明，假设训🧪🇸🇨练语料包含以🇬🇲下词汇及出现频👩👦🐽率： “hug🏚💍”：1🥑👧0次 “p🍡ug”：5次 💏“pun”：1👦2次 “📨bun”⬛🗝：4次 🇰🇲☹“hugs👷♀️⏸”：5次 第😃💵一步：🤛📰将所有词拆分🇧🇾🇲🇨为字符，添加🗝🙆结束符🤼♀️🇹🇹 “hug🏌🚧” → “🇳🇨h u g 👩👩👦👦” “🥙🎉pug⛎” → “p u🕒🏗 g ” “pu📬☺n” 👑→ “p 😵🖖u n ” 🥠“bun”⚰ → “b🍧 u n ” “🏭🧰hugs” 🕶→ “h u g📷 s ◻👨🎓” 初始词汇表仅😭包含基🕯🇲🇦础字符：{📡🏈b, g, 🕵🕗h, 🤩🇱🇺n, p🦹♂️🕤, s,➗🐫 u, t}🥖 第二步：🙂🔑统计相邻字符对🧸🎖的出现频率 “u😲 g”🇻🇪：15次🍸（来自“hu🔁🐢g”的10次 🇳🇨+ “hu🇨🇨gs”🔥的5次✂） “u😙🧞♀️ n”：16次⏱（来自🇧🇬“pu🕟n”的12次 +🌏🏺 “bun”👬⛈的4次） “p 🧒😦u”：17次（🥨来自“pug”😌的5次🤧 + “🤽♂️pun”的12🇲🇵次） 第三🕋步：合并最🇨🇭高频字符对 假🇬🇪设“p🧔 u”频率最高🎃（17次），创建🐥👗新符号“💆♂️🕐pu”，🙆 词汇表扩展😞为：{b,👩💼🎖 g, h, n🦠, p, s, 🧓🤵u, , 🐾pu}🆘 第四步：迭代✡📝青青久在线视观看视重复 继续统计👩👩👧👧新语料中的字符🥩对频率，合并🚚🥃下一个最高频对🇹🇷🧧，直到达到预设🇨🇨🆗的词汇表大小✨⏩（如GPT🌬🇧🇸-2为50,25🌲🖕7个to💲🍗ken）🎍🚫。
基础设🎹施：AWS 我🇸🇿们在AWS上🍦📧运行，使用自🥒🕯动扩缩容容器🍳🇬🇷服务和🙋🧘♂️熔断回滚机制🥉🎐。。代表算法是Sh🇸🇻🇹🇭or算法⚓。张伟给*️⃣记者举🔮了个例子——🐭💕供应商管理系统、🧷👤财务系统、生产系⬆统各有一套数据😖。未来，研究员、👩🎨☔基金经🇧🇹理们零散低效的🥏🍑信息收集、🇱🇰😠文档归档、🛬😶研究产出等🇦🇸工作，都将在P🚐aiWork🇧🇭🐀上获得系统⛹️♀️👙性效率提升🥕👨👧👧。
