AI平权！清华团队发布AI加速神器，单卡双U轻松驾驭671B大模型！

全民大炼AI的时代来了！运行Deepseek R1/V3的满血Q4_K_M 版本，仅需 14GB 显存和 382GB 内存。

清华大学的kvcache.ai团队发布的ktransformer大模型加载框架v0.3 Preview，提升本地加载满血deepseek 671b的运行效率。

预填充速度性能指标27.79 倍于llama.cpp

解码速度3倍于llama.cpp

github链接：

https://github.com/kvcache-ai/ktransformers

https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepseekR1_V3_tutorial.md

本文链接：https://www.hqyman.cn/post/9025.html 非本站原创文章欢迎转载，原创文章需保留本站地址！