2月10日,腾讯混元推出面向消费级硬件场景的极轻量 AI 模型 HY-1.8B-2Bit。
技术与规格:
- 方案:该模型基于首个产业级 2 比特(2-bit)端侧量化方案,由 HY-1.8B-Instruct 经量化感知训练(QAT)产出。
- 体积:等效参数量仅 0.3B,存储占用约 300MB (bf16 伪量化权重下),运行内存占用约 600MB。
- 性能:支持根据任务复杂度切换长/短思维链,在天玑 9500 及 MacBook M4(Arm SME2 技术适配)等移动平台上,生成速度较原始精度模型提升 2-3 倍。
目前 HY-1.8B-2Bit 模型权重已通过 GGUF-int2 等格式在 Hugging Face 与 GitHub 平台开源。