把开源大模型装到你的手机里

今天看到一个 X 的帖子。

阿里的qwen3.5大模型开源后榜单上有很亮眼的数据，于是就想着部署到手机上体验下。

比如一个简单需求，自动化处理每天的拍摄照片。

触发：每晚 10 点

↓

获取当天拍摄照片

↓

Vision 分析内容 → LLM 生成描述

↓

自动创建相册分类（人物/风景/文档）

↓

重要照片自动备份到 iCloud

↓

生成"今日回忆"文字摘要

当然，如果你有需求，完全可以利用本地大模型配合 App，做很多有趣的事。

为何越来越多的大模型开始能够在手机端运行，相信知道「豆包手机」的同学都希望有一台类似功能的个人助理。

内置大模型的手机就相当于给你的手机装了个大脑，经过配置后可以自动化帮你处理一些之前需要反复切换 app 和点击按钮才能操作的事。

除了日常的对话聊天，最重要的是哪怕一旦断网也依然能用来做什么很多事。

海外一些地区的网络一言难尽，这个时候手机有个本地大模型的用处真的可以救命，帮你实时翻译，拍照片识图等等都可以做到。

Qwen 3.5 小模型是 native multimodal（原生多模态），加上 App 的功能，实用场景非常多：

\- 图像/视觉分析（最强功能之一）：

上传照片、截图、扫描件，模型能直接理解。

示例：

截图微信聊天记录 → 让它自动总结重点；

截图淘宝/京东商品页 → 分析性价比、提取参数；

拍菜单/票据 → OCR 识别 + 自动分类记账；

看 PDF/Word/Excel → 总结关键点。

\- 文档与文件处理：

支持附件（PDF、TXT、CSV、代码文件等），离线总结长文章、提取数据、生成报告。

\- 内容创作与辅助：

写邮件/文案/计划、翻译多语言、脑暴想法、解释复杂概念、学习笔记整理。

\- 代码与技术任务：

帮写脚本、debug、解释代码（Qwen 系列代码能力很强）。

\- 隐私敏感任务：

处理银行流水、健康数据、个人笔记等，完全本地运行，不用担心云端泄露。

这些都基于 Qwen 3.5 “More intelligence, less compute”的设计，0.8B/2B 模型特别快，4B/9B 更聪明。

问题来了，能不能自动帮我操作 App 完成一些工作？

可以实现“半自动化”和“辅助自动化”，但不能像桌面 Agent 那样完全自主点击屏幕操作其他 App（iOS 沙盒安全机制限制了第三方 App 随意控制界面）。

真正能做到的强大方式（Locally AI 官方支持）：

1\. 深度集成 Apple Shortcuts（快捷指令）

App 提供了完整的 Shortcuts API，你可以创建自动化工作流：

• 语音输入 → Qwen 处理 → 自动保存到备忘录/提醒事项/邮件。

• 收到消息截图 → 模型总结 + 生成回复 → 一键发送。

• 结合 Siri：“嘿 Siri，问 Locally AI……” 直接语音操作。

很多用户反馈：这能做出“极其强大复杂的自动化”，比如把模型变成你的私人机器人助手。

2\. 视觉 Agent 模式（最接近“自动操作”）

你手动截图当前 App 界面 → 喂给模型（Qwen 3.5 视觉理解极强）→ 它分析后告诉你“现在点右上角的按钮 → 输入这些内容 → 下一步操作是……”。

非常适合重复性工作：购物比价、表单填写、流程指导。

3\. Tool Calling + 自定义流程

Qwen 3.5 支持工具调用，配合 Shortcuts 可以让模型“决定”下一步该触发哪个 iOS 原生动作（打开 App、发消息、加日历、保存文件等）。

实际例子（iPhone 上就能实现）：

\- 购物时：截图多个商品 → 模型对比价格/评价 → 生成购物清单 → 自动加入备忘录。

\- 工作时：邮件截图 → 模型写回复草稿 → 一键复制到邮件 App。

\- 日常：拍票据 → 自动提取金额/日期 → 记入 Excel + 设置提醒。

局限：它不会自己“看屏幕然后点按钮”（需要你先截图或通过 Shortcuts 触发）。

但比纯聊天 App 强太多，结合 iPhone 的 Action Button 或 Home Screen 快捷方式，生产力提升很明显。

比如豆包 App 内置的一个捷径「截屏问豆包」，双击你的 iPhone 背面两下，自动截图发到豆包后解释这张图。

如果你想体验下，没有网络也可以使用 AI 的玩法，推荐上手方式：

\- 下载 Locally AI App（App Store 搜索即可）。

\- 先试 2B 或 4B 模型（速度最快），9B 更聪明。

\- 去“快捷指令” App 里新建自动化，添加“Ask Locally AI”动作，就能玩出花样。

iPhone 17 Pro + MLX + Qwen 3.5 小模型，基本就是把一个“私人 GPT-4o mini 级别”的智能体装进了手机，完全离线、零费用、零隐私风险。

想自动化的部分，通过 Shortcuts 已经能满足绝大多数日常工作需求了！

其实无比怀念当年在锤子手机 和 TNT go 上使用闪念胶囊的体验，现在 iPhone 也有了一个操作按钮，你可以自定义这个按钮的功能，比如我设置点击后自动打开 Get 笔记开启录音，这样方便每天用语音输出自己的任何观点和想法，类似最近卖的很火的实体录音卡的功能。

当然，你说 hey siri，也可以实现。

当年老罗做的手机如果接入大模型的能力，很多事情做起来真的会很舒服，长按一个按键，说出你的需求，手机就会自动打开各种 APP，通过大模型的视觉能力去点击按钮，完成功能。

这件事在当年人工智能还没有普及的时候已经有想法，很可惜现在过了这么多年，除了豆包手机，似乎遥不可及。

<!-- growth-cta -->

---

如果这篇文章对你有启发，可以继续关注公众号「星佳是个小人物」，也可以加微信 xingjia9527 交流。 我现在主要围绕家庭决策、香港身份、AI 个人知识库和普通人赚美金这些主题，提供付费咨询、线上交流和线下培训。