你的位置:九游体育(NineGame Sports)官方网站 > 新闻 > 现金九游体育app平台一种一样将诡计和参数解耦的稀少模子架构-九游体育(NineGame Sports)官方网站
现金九游体育app平台一种一样将诡计和参数解耦的稀少模子架构-九游体育(NineGame Sports)官方网站
时间:2025-08-01 21:09 点击:184 次
鞭牛士 2 月 12 日讯息,据豆包大模子团队讯息,字节进步豆包大模子 Foundation 团队近期建议 UltraMem,一种一样将诡计和参数解耦的稀少模子架构,在保证模子适度的前提下处治了推理的访存问题。据先容现金九游体育app平台,该架构灵验处治了 MoE 推理时高额的访存问题,推理速率较 MoE 架构擢升 2-6 倍,推理老本最高可裁汰 83%。
实践适度标明,考研规模达 2000 万 value 的 UltraMem 模子,在同等诡计资源下可同期达成业界首先的推理速率和模子性能,为构建数十亿规模 value 或 expert 拓荒了新旅途。
据先容,UltraMem 是一种一样将诡计和参数解耦的稀少模子架构,在保证模子适度的前提下处治了推理的访存问题。实践适度标明,在参数和激活条款探究的情况下,UltraMem 在模子适度上越过了 MoE,并将推理速率擢升了 2-6 倍。此外,在常见 batch size 规模下,UltraMem 的访存老本险些与同诡计量的 Dense 模子稀奇。