100B 参数级模型，也能往 CPU 推理方向跑。
This is a dev post classified by Jev as Other (a tool drop), kept by the Dev Radar because it carries real work, not commentary.
这看起来有点离谱，但微软真把它做出来了。 100B 参数级模型，也能往 CPU 推理方向跑。 微软开源的 BitNet，核心不是简单压缩模型，而是从训练阶段就让权重采用三值表示： → -1：翻转符号 → 0：直接跳过 → +1：保留 原本大模型推理里大量的浮点乘法，就被换成更简单的整数加减操作。 这套思路带来的重点也很直白： 1️⃣ CPU 推理速度有明显提升 2️⃣ 能耗大幅下降 3️⃣ 模型越大，这种计算方式的优势越值得关注 4️⃣ 权重只有 3 种取值，所以常被称作 1.58-bit 关键在于，它不是把普通模型训练完再强行压缩，而是从一开始就按照这种架构训练。 所以 BitNet 真正有意思的地方，不是“把模型变小”，而是换一种方式做大模型计算。 以后本地跑大模型，拼的可能不只是显卡有多强，还得看数学和硬件怎么配合。 🔗 https://github.com/microsoft/BitNet
Posted by lumxss (24.7k followers) 3 days ago · 5 likes · 1k views · view the original post on X. Kept by the Dev Radar as Other. Tools mentioned: bitnet.
More dev work like this
- Large Vision Model! #BigData #Analytics #DataScience #AI #MachineLearning #NLProc #LLM… — @gp_pulipaka
- Building a WhatsApp automation bot shouldn’t mean wiring every command into the core. — @DanKornas
- 🤯牛哇！开源圈把 Jev 的「系统一」快思考范式复刻到这个程度了，SemIf 在 JevBench 上 74.7 分，几乎贴着官方 Jev 1.13.0 的… — @NFT_Chen
- I have previously said this: You don't pick an inference engine first. You pick a… — @TheAhmadOsman
- Meet Qwen-Image-2.1, the most balanced and cost-effective image generation model in the… — @alibaba_cloud
- Jev pod tomorrow — @swyx
- 😂笑死！Jev 刚出一周，中文圈圈已经把命名权当地皮抢完了，Jev-Anything！ — @NFT_Chen
- 2.78 万亿参数，单 CPU，8.24GB 内存。 — @bkdgiffug
Every post is read and classified by Jev (TypeSafe): what it is, which market it belongs to, and whether the link is a real tool. 18.9k posts from 4.9k X accounts over the last 21 days, 2.1k tools, 12 markets. Collected every 5 minutes, fully re-ranked every hour — last update 2026-09-21 06:12 UTC. Full method.