Chipfgdsgsdg/DeepSeek-R1-1.5B-rk3576-w4a16

DeepSeek-R1-Distill-Qwen-1.5B - RK3576 W4A16

✅ 兼容性确认

属性	值
平台	RK3576 ✅
量化	W4A16 ✅
文件大小	1.3 GB
内存需求	~2.5 GB (含Swap)
NPU核心	1-2个

---

📥 使用方法

1. 下载到RK3576设备

huggingface-cli download JiahaoLi/DeepSeek-R1-Distill-Qwen-RK3576 \
  DeepSeek-R1-Distill-Qwen-1.5B_W4A16_RK3576.rkllm \
  --local-dir ./models/DeepSeek-R1-1.5B

2. 运行推理

cd ./models/DeepSeek-R1-1.5B
rkllm DeepSeek-R1-Distill-Qwen-1.5B_W4A16_RK3576.rkllm

3. Python API

from rkllm.api import RKLLM

llm = RKLLM()
llm.load_rkllm("DeepSeek-R1-Distill-Qwen-1.5B_W4A16_RK3576.rkllm")
llm.build(target_platform='rk3576', num_npu_core=2)

# 测试推理
response = llm.inference(["你好"])
print(response)

---

📊 性能预期

指标	预期值
推理速度	15-20 tokens/s
内存占用	~2.5 GB
上下文长度	4096 tokens
量化精度	W4A16 (4-bit权重, 16-bit激活)

---

⚠️ 系统要求

• 硬件: Rockchip RK3576 (6 TOPS NPU)
• 内存: 至少 4 GB RAM + 2 GB Swap
• 驱动: RKNPU v0.9.6+
• 运行时: RKLLM Runtime 1.2.3+

---

🔗 相关链接

• 原始仓库: https://huggingface.co/JiahaoLi/DeepSeek-R1-Distill-Qwen-RK3576
• DeepSeek-R1: https://github.com/deepseek-ai/DeepSeek-R1
• RKLLM Toolkit: https://github.com/airockchip/rknn-llm

---

📝 许可证

MIT License (继承自DeepSeek-R1)

---

标注时间: 2026-08-04 验证状态: ✅ 文件头验证通过 (daee b336)