logo

FreeToken – 本地部署开源端侧 MoE 大模型推理系统

2026-09-09 点击 10
FreeToken 是 UC Berkeley 与 MIT 等机构联合开源的端侧 MoE 大模型推理系统。系统通过全层双缓冲、带宽自适应混合调度、Agent 状态复用及弹性显存热扩缩容等技术,将个人电脑的 CPU、内存、PCIe 与 GPU 统一为弹性计算平台,实现单卡消费级硬件满血运行 Qwen3.6-35B、DeepSeek-V4-Flash 284B 等超大 MoE 模型,让本地部署顶尖 AI 成为现实。
官网:https://www.flashml.ai/
开源:https://github.com/FlashML-org/FreeToken
0%