天玑9300 AI能力飙升：最高支持330亿参数的AI大语言模型

来源：快科技编辑：非小米时间：2023-11-06 20:33人阅读

快科技11月6日消息，联发科今晚正式发布天玑9300旗舰5G生成式AI移动芯片，支持在端侧生成式AI、游戏、影像等方面定义旗舰新体验。

据介绍，天玑9300集成MediaTek第七代AI处理器APU 790，为生成式AI而设计，其性能和能效得到显著提升，整数运算和浮点运算的性能是前一代的2倍，功耗降低了45%。

APU 790内置了硬件级的生成式AI引擎，可实现更加高速且安全的边缘AI计算，深度适配Transformer模型进行算子加速，处理速度是上一代的8倍，1秒内可生成图片。

同时，基于亿级参数大语言模型特性，MediaTek开发了混合精度INT4量化技术，结合MediaTek特有的内存硬件压缩技术NeuroPilot Compression，可以更高效地利用内存带宽，大幅减少AI大模型对终端内存的占用，支持终端运行10亿、70亿、130亿、最高可达330亿参数的AI大语言模型。

APU 790还支持生成式 AI 模型端侧“技能扩充”技术NeuroPilot Fusion，可以基于基础大模型持续在端侧进行低秩自适应（LoRA，Low-Rank Adaptation）融合，进而赋予基础大模型更加全面的能力。

此外，MediaTek的AI开发平台NeuroPilot构建了丰富的AI生态，支持Android、Meta LIama 2、百度文心一言大模型、百川智能百川大模型等前沿主流AI大模型，完整的工具链助力开发者在端侧快速且高效地部署多模态生成式AI应用，为用户提供文字、图像、音乐等终端侧生成式AI创新体验。