跳到正文
Text
Matrix
技术笔记
行业快讯
视频精读
财富自由
思考与随笔
搜索
Text
Matrix
搜索
技术笔记
行业快讯
视频精读
财富自由
思考与随笔
LLM推理
2026
09-02
MTPLX：让模型用上自己的 MTP 头——Apple Silicon 上的原生投机解码
06-28
EAGLE-1/2/3 拆解：推测解码省的是大模型前向次数，赚不赚看草稿准确率
06-13
LMCache 深度解析：把 LLM 推理的 KV Cache 从临时状态改造成可复用资产
05-12
MinivLLM：六步搭出一个 Qwen3 推理引擎，再核清四处文档与代码的分岔
04-06
llama.cpp：12.6 万 Star 的纯 C/C++ LLM 推理引擎完全指南
04-06
LiteRT-LM：Google 生产级边缘设备 LLM 推理框架指南