（来源：上观新闻）
我们今天在各🏄☦行各业看🍎✝到的焦虑、适应😥📅和转型，🏌️♀️围棋界在20🇸🇱↗16年之后就已经♉🇪🇺经历过⚡🌤。让我们用一个🔴简化示👨⚖️🌔例说明，👖⛽假设训练语料包含🇬🇵以下词汇及出现💯频率： “hug◻📀”：10次 “p👱♀️ug”：5㊙🔷次 “pun🎪🛋”：12次 🚏“bun”：👨4次 🔜📿“hug🎀👾s”：5次 🐸第一步：🐠🏑将所有词拆分为字🇨🇾符，添❎加结束符🚣♀️ “hu🌽🕸g” → “h🎸🕍 u g🎂 ” “p🧽ug” → “🎅🤼♂️p u g🍏 ” “p🙎♂️un”🇼🇫🐢 → “p u ⚪😇n ” “bun🇺🇸” → “😑🆎b u n💢 ” ⚖🇰🇭“hu💺😽gs” →🇭🇳 “h u g🐁📣 s ” 初始👩👩👦👦🕶词汇表仅包含🥫🈁基础字符：{b,⛱🏣 g, h, n🇯🇲, p, s,👂🇸🇲 u, } 第二🕠步：统计相邻🔤字符对的出现🇹🇬🇹🇷频率 “u 🐯g”：15次（♉来自“hug💣”的10次🤒 + 📰📯“hug◽👩👩👧👧s”的5次📰） “u n”😎：16次（来自“🔺pun”的12次🐏🌀 + “b📊un”😉🎷的4次） 🎺“p u”：1👨👧👦7次（来自“p🎪📼ug”🌲🍶的5次 +1️⃣🔅 “pun”🏃♀️📺的12次） 🌈第三步：合并🤶🖤最高频字符对🥪👄 假设👔🇦🇽“p 🇧🇫♋u”频率最高👩💻📬76精品导航（17次），创建📨新符号“pu🚀”， 词汇表扩展🐢为：{b🇨🇦🇮🇲, g, h,📡ℹ n,🍴🕕 p, s,🖕 u, , p🔎🧮u} 🏢第四步：迭代重🌓复 继续统计新语🎨料中的字符对频🚥率，合并下🦓一个最高频⚽🃏对，直到达到预🔈设的词汇表🧯大小（如GPT📨🦝-2为50,25😈7个token）🍀。
在AI🇨🇷🥮时代的浪潮✉下，像🌵🇼🇸Xicoia💷🎵这样的🍟AI工作室正在🐭🔙全世界出🦜🏵现，新的娱乐和科👼技企业🕺🇹🇳关注的不是📚🖼如何寻找和🎁🍟培养新人，🕒而是用最新的算🕞法来创造AI🍫📦新人，🤪76精品导航杜撰“他/🚴她”的经历，扩🏁充其相关🇵🇬宇宙📭🍻。
