首页 > 业界 > 关键词  > PowerInfer-2最新资讯  > 正文

手机流畅运行470亿大模型:上交大发布LLM手机推理框架PowerInfer-2,提速29倍

2024-06-12 18:06 · 稿源: 量子位公众号

苹果一出手,在手机等移动设备上部署大模型不可避免地成为行业关注焦点。然而,目前在移动设备上运行的模型相对较小(苹果的是3B,谷歌的是2B),并且消耗大量内存,这在很大程度上限制了其应用场景。即使是苹果,目前也需要与OpenAI合作,通过将云端GPT-4o大模型嵌入到操作系统中

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐

热文

  • 3 天
  • 7天