MoE - 标签 - Text Matrix

MoE

2026

08-22 Jeff Dean 离开 Google 的第 12.5 小时：一场关于 MoE、Gemini 与自动化科学的临别独白（AASForum 2026 视频精读）

08-05 DeepSeek V4 Flash 单卡 AMD MI300X：ryanzhou 把 vLLM-ROCm 调成 168.6 tok/s 单流 + 64 流 830 tok/s 的工程复盘

07-20 KTransformers：让 CPU-GPU 异构推理跑超大 MoE 的实战框架

07-13 colibrì 引擎拆解：在 25GB RAM 上跑 744B MoE 模型，纯 C 实现，比 vLLM-Moet 快 2.5 倍

06-30 Qwen 3.6 27B 是本地开发的甜蜜点：一份 226 行实测译文 + 工程化拆解

06-25 2×GH200 跑 GLM-5.2：从 2.39 tok/s 到 54.92 tok/s，局部性铁律贯穿全文

06-18 GLM-5 全家桶拆解：从 Vibe Coding 到 Agentic Engineering 的开源旗舰模型

04-27 DeepSeek-V3 的工程取舍：671B 参数的算力账本

04-23 OpenMythos：开源复现 Claude Mythos 架构，Looped Transformer 如何让大模型学会“深度思考”

04-12 MiniMind：从零开始用 3 块钱训练 64M 参数的大语言模型