在对比中找出影响模型生成效果最关

本月 15 日,苹果工程师悄悄发布的一篇研究论文,当中详细介绍了一种名为 MM1 的新型生成式 AI 模型的开发过程。 MM1 是一个具有最高 30B(300 亿)参数的多模态 LLM 系列,这是苹果在多模态大模型的最新研究成果。 总的来说,苹果的自研模型在测试效果上,与 Gemini 和 GPT4V 还有一定的差距,也没有在生成结果上表现出如 Sora 一样惊人的效果,更没有探索出一条全新的技术路线。 但是,它能通过控制各种数据变量,键的那几个因素,简单来说,它天生不强大,不过善于观察、实践和总结,在一次次的尝试中,

也能取得不错的成绩MM1

由密集模型和 MoE(混合专家)变体组成,当指令进入 MoE 后,究竟应该去「东市 柬埔寨 電話號碼 买骏马」还是「西市买鞍鞯」,都会被这个指令中心安排的明明白白的。 问题被细化和分类的同时,也提升了计算效率,节约了运行能耗。 这篇论文,代表苹果在 AI 领域探索的阶段性成果,虽然 MM1 没有颠覆行业更没有惊艳世界,但在晦涩难懂的专业术语里还是能看出它们的进步: 我们的工作模式一直是先做工作,然后再谈论工作,而不是在自己面前出言不逊。—— Tim Cook 没有透露过多技术细节的苹果,其实还在盘算着另一步棋:端侧大模型。

早在去年底苹果在名为

闪存中的大型语言模型:在有限内存下高效的大型语言模型 亚美尼亚电话号码列表 推理》的论文中,就提出了大模型落地 iPhone 等「内存有限」设备的方法。 研究人员称,他们通过最新的闪存技术,在 iPhone 和其他内存受限的设备上成功部署了 LLM(大语言模型)。 这个项目被称为 Apple GPT,最大的作用是将 LLM 数据直接存储在闪存中,比如整合在 Siri 内部,相较于传统的运行方法,新技术使 CPU 和 GPU 的推理速度,最大提升了 5 倍和 25 倍。 研究人员称,开发的这些效率型方法使得 AI 模型能够在 iPhone 当前内存的两倍范围内运行。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注