AI对话模型已经可以在手机上本地运行？考验手机内存的时候到了… – 蓝点网 | {$randkws}热点解读 不论是模型还是资料都在本地

早前蓝点网说明了 MLC 团队启动的 WebLLM (MLC LLM)，这个 AI 对话模型没有办事器扶持，在网页上调用 WebGPU API 即使用你的本机 GPU 提供算力扶持，一切资料都是离线的无需忧虑你的对话信息研究。

如今该团队将 MLC LLM 移植到了移动电话上，大模型专题还开发了 iOS Demo 使用，回顾红毯造型汇总也就是说你可以在移动电话上管理大型语言模型，完全离线管理，不论是模型还是资料都在本地。

好讯息是评测显示在 iPhone 14 Pro Max 上是可以正常管理的，速度略微有些慢但还是能接纳的地步，坏讯息是假如移动电话存储较为小的话会崩溃，由于模型管理的快报速递时候，模型资料会被塞到存储里，这会让移动电话存储瞬间被塞满。

在 iPhone 12 Pro 上评测就有些压力了，基础上说存储起步需要 6GB，上海奥斯卡建议收藏备用这么来看安卓机或许更有长处，毕竟如今新的安卓机存储都相当大。

除了 iOS 版外，MLC 团队还启动了 Windows/Linux/Mac 的 CLI 版，即命令行版次，可以在终端里发起询问并获得答案，相对来说在 PC 上使用压力就小一些了，毕竟存储稍微大点。

等等… 我是不是还没提 GPU 难题？是的，存储并非核心，由于不管是 iPhone 还是安卓还是 PC 都必须扶持 GPU 加速，移动电话上还好，在 PC 上使用者或许需要升级驱动程序，例如 Vulkan 驱动程序。

有兴趣的使用者可以试试这个 AI 模型，蓝点网评测感受还可以，中文扶持也挺不错的。iOS Demo 程序的话当下在 TF，限额 9000 人，满了就没法加入了。有 iOS 开发经验的开发者可以自行编译部署。

iOS Demo TF 版：https://testflight.apple.com/join/57zd7oxa

WebLLM (网页版)：https://mlc.ai/web-llm/

Windows/Linux/Mac 需要使用 Conda 治理，具体请看：https://mlc.ai/mlc-llm/