内容详情
产品发布

22小时前

腾讯混元开源极小端侧量化模型 HY-1.8B-2Bit

2月10日,腾讯混元推出面向消费级硬件场景的极轻量 AI 模型 HY-1.8B-2Bit。

技术与规格:

  • 方案:该模型基于首个产业级 2 比特(2-bit)端侧量化方案,由 HY-1.8B-Instruct 经量化感知训练(QAT)产出。
  • 体积:等效参数量仅 0.3B,存储占用约 300MB (bf16 伪量化权重下),运行内存占用约 600MB。
  • 性能:支持根据任务复杂度切换长/短思维链,在天玑 9500 及 MacBook M4(Arm SME2 技术适配)等移动平台上,生成速度较原始精度模型提升 2-3 倍。

目前 HY-1.8B-2Bit 模型权重已通过 GGUF-int2 等格式在 Hugging Face 与 GitHub 平台开源。

腾讯混元
HY-1.8B-2Bit
HY-1.8B-Instruct
天玑 9500
MacBook M4
端侧模型
模型量化
开源

来源