微软开源 bitnet.cpp：不靠 GPU 本地运行千亿参数 AI 模型

摘要： 北京时间月日传奇中锋穆托姆博因脑癌去世终年岁穆托姆博生涯最后一场比赛发生在年月日在季后赛首轮火箭对阵开拓者的第二场比赛中穆托姆博替补登场仅分秒就与开拓者中锋奥登相撞导致膝盖受伤随后...

北京时间9月30日，NBA传奇中锋穆托姆博因脑癌去世，终年58岁。穆托姆博生涯最后一场比赛发生在2009年4月21日。在NBA季后赛首轮，火箭对阵开拓者的第二场比赛中，穆托姆博替补登场仅1分40秒就与开拓者中锋奥登相撞导致膝盖受伤，随后伤退告别比赛，该场比赛火箭队以4分之差输球，但最终他们以大比分4-2淘汰开拓者晋级西部半决赛。

IT之家 10 月 19 日消息，科技媒体 marktechpost 昨日（10 月 18 日）发布博文，报道称微软公司开源了 bitnet.cpp，这是一个能够直接在 CPU 上运行、超 的 1-bit 大语言模型（LLM）推理框架。

用户通过 bitnet.cpp 框架，不需要借助 GPU，也能在本地设备上运行具有 1000 亿参数的大语言模型，实现 6.17 倍的速度提升，且能耗可以降低 82.2%。

传统大语言模型通常需要庞大的 GPU 基础设施和大量电力，导致部署和维护成本高昂，而小型企业和个人用户因缺乏先进硬件而难以接触这些技术，而 bitnet.cpp 框架通过降低硬件要求，吸引更多用户以更低的成本使用 AI 技术。

bitnet.cpp 支持 1-bit LLMs 的 计算，包含优化内核以最大化 CPU 推理性能，且当前支持 ARM 和 x86 CPU，未来计划扩展至 NPU、GPU 和移动设备。

根据初步 结果，在 ARM CPU 上加速比为 1.37x 至 5.07x，x86 CPU 上为 2.37x 至 6.17x，能耗减少 55.4% 至 82.2%。

bitnet.cpp 的推出，可能重塑 LLMs 的计算范式，减少对硬件依赖，为本地 LLMs（LLLMs）铺平道路。

用户能够在本地运行模型，降低数据发送至外部服务器的需求，增强隐私保护。微软的“1-bit AI Infra”计划也在进一步推动这些模型的工业应用，bitnet.cpp 在这一进程中扮演着重要角色。

IT之家附上参考地址