（来源：上观新闻）
表格6 🤖🍓Token的加🏁工环节 数据🎾来源：融中研究 🇩🇬最新架构趋🇸🇿势： 🚃Pref🧑ill-Deco👨⚖️de分离：🕕🚠英伟达将推理💵拆分为预填充（🇰🇲6️⃣GPU🇧🇫🥼负责）和解码🇨🇻（Groq👳♀️🐌 LP🇵🇲U负责）🇫🇴👝，延迟降至0🎴💚.1毫秒以下，性📉能提升35🇻🇳🚰倍⚖。
来源：DA↪RPA D🧗♀️🍱ARP🧐✖A项目经🌸理Justin 🇸🇹Cohen的表述📓更直白：“量子☎比特技术🏎🌖各有其独特的优势🍒🚀，但没有单一方法🌽🎪能实现大规🙆🍴模高性能量💙子系统所需的🕌一切✔🤠。而那些功能强大🎎🌄但运行缓🇸🇴慢的AI服务，🚋可能就存在👫着类似研究中👷发现的效👅率问题👩💻🚇。
一方面，每生成一🔚❌个token，G👩🚀PU都需要从内存🌓中读取历🆔史KV缓存和🕵💇模型权重，并写📺🕘回新的状态；另⭕🍑一方面🐿🚫，KV缓存会☔随着上下文🧚♂️🥇长度线性🥊🆒增长，并在多⛹️♀️👩🏭用户场🧛♀️景下成倍💿⚽叠加🌍。第三种是 Gi🚣♀️tHub 事件触👩🌾🎞发🎐🐉。
