搜索
当前所在位置:首页 >> 风报快

苹果发布多模态模型 Ferret

发布时间:2025-07-12 04:32:52 作者:mx 点击:24486 【 字体:


编译 | 赖文昕

编辑 | 陈彩娴


大模型的苹果诞生,让科技巨头与创业公司们在新一轮的发布竞赛中再次鸣枪出发,OpenAI、多模Anthropic、态模Mistral等创业之星的苹果升起更是证明了在新工艺的作用下,大厂并不存在绝对的发布女房客深夜心理治疗流出合集优势。

不久前,多模苹果叫停了启动十多年且投入数十亿美元的态模自动驾驶电动汽车项目,美国总部裁员了600多人,苹果另有近2000名员工转到AI部门。发布

然而,多模在目前市场上的态模主流智能手机品牌中,苹果几乎是苹果唯一一家尚未正式推出大模型的厂商。长期处在领头羊地位的发布苹果,似乎在大模型这一局中罕见地落后了。多模

4月8日,苹果发表了一个名为“Ferret-UI”的泰国留学生整套流出新工作,这是一个能“看懂”手机屏幕上并能执行任务的多模态模型,专为增强对移动端 UI 屏幕的理解而定制,配备了引用(referring)、定位(grounding)和推理(reasoning)功能。


苹果发布多模态模型 Ferret-UI,部分手机 UI 任务超越 GPT-4V

论文链接:https://arxiv.org/pdf/2404.05719.pdf

半年前,苹果和哥伦比亚大学研究团队联合发布的多模态大模型“Ferret”就已具有较高的图文关联能力,而“Ferret-UI”则是更聚焦移动端、关注客户交互。

研究团队认为,Ferret-UI 具备了解决现有大部分通用多模态大模型所缺乏的理解客户界面 (UI) 屏幕并与其有效交互的能力。


UI 任务表现超越GPT-4V

将重点放在 UI 后,Ferret-UI 有何亮点呢?

苹果的团队比较了 Ferret-UI-base、Ferret-UI-anyres、Ferret 和 GPT-4V 在所有 UI 任务上的性能,并在高级任务上将开源的 UI 多模态模型 Fuyu 和 CogAgent 也纳入对比之中。

首先是基础的 UI 任务性能测试。

Ferret-UI 在大多数基础 UI 任务上都展现出了优越的性能,尤其是在与iPhone相关的任务上,除了“查找文本”任务外,它在所有任务上都超过了Ferret和GPT-4V。

苹果发布多模态模型 Ferret-UI,部分手机 UI 任务超越 GPT-4V

在OCR(光学字符识别)、图标识别和控件分类等基础 UI 任务上,Ferret-UI 的平均准确率分别为72.9%、82.4%和81.4%,远超 GPT-4V 的平均准确率,后者分别为47.6%、61.3%和37.7%。

在安卓任务上,GPT-4V 的性能显著下降,特别是在定位任务上,这可能是因为安卓屏幕上的小部件更多且更小,使得定位任务更具挑战性。

值得一提的是,在OCR任务中,模型预测的是目标区域旁边的文本,而不是目标区域内的文本。这对于较小的文本和非常靠近其他内容的文本来说很常见。

而 Ferret-UI 却能够准确预测部分被切断的文本,即使在OCR模型返回错误文本的情况下也是如此。

苹果发布多模态模型 Ferret-UI,部分手机 UI 任务超越 GPT-4V

在查找文本、查找图标和查找控件等定位任务上,Ferret-UI也展现出了优越的性能。

而在高级 UI 任务性能的比拼中,Ferret-UI 同样表现优秀。在详细描述(DetDes)、感知对话(ConvP)、交互对话(ConvI)和功能推断(FuncIn)等高级任务上,Ferret-UI 展现了与 GPT-4V 相当的性能,并且在某些任务上超过了GPT-4V。

而与开源UI多模态模型 Fuyu 和 CogAgent 相比,Ferret-UI 在大多数任务上均实现超过。特别是在 iPhone 平台上,Ferret-UI 的性能得分显著高于 Fuyu 和 CogAgent。

而且,尽管 Ferret-UI 的训练信息集没有包含特定的安卓信息,但它在安卓平台的高级任务上仍表现出了可观的性能,表明了模型具有在不同操作系统间的 UI 知识迁移能力。


Anyres 工艺解决屏幕长宽比各异难题

那么,Ferret-UI 是如何做到在多项 UI 任务中表现出色的呢?

Ferret-UI 的一个关键创新是在 Ferret 的基础上引入了“任何分辨率”(any resolution,简称anyres)工艺。这项工艺是为了解决移动设备 UI 屏幕长宽比多样化的问题而提出的。

虽然 Ferret-UI-base 紧密遵循 Ferret 的架构,但 Ferret-UI-anyres 加入了额外的细粒度图像特征,尤其是一个预训练的图像编码器和投影层为整个屏幕生成图像特征。

对于根据原始图像长宽比获得的每个子图像,都会生成额外的图像特征;对于具有区域引用的文本,一个视觉采样器会生成相应的区域连续特征。

大型语言模型(LLM)则使用全图表示、子图表示、区域特征和文本嵌入来生成响应。

苹果发布多模态模型 Ferret-UI,部分手机 UI 任务超越 GPT-4V

Ferret-UI-anyres架构

不过,Anyres 工艺有何特别之处?

传统的模型可能需要固定大小的输入,但手机等移动设备的屏幕大小和长宽比各异,显然给模型的输入带来了挑战。

为了适应这一点,Ferret-UI 将屏幕分割成多个子图像,这样可以对每个子图像进行放大,从而捕捉到更多的细节。

具体来说,对于每个基于原始图像长宽比获得的子图像,都会生成额外的图像特征。对于具有区域引用的文本,视觉采样器会生成相应的区域连续特征。

这种方法不仅适用于不同长宽比的屏幕,还提高了模型对UI元素的细节识别能力,能够突出显示屏幕上的小型对象,如图标和文本,对于提高模型的识别和定位精度至关关键。

另外,苹果研究团队还设计了一个分层次的实验方法,从简单到复杂,以逐步提升 Ferret-UI 模型的能力。

从基础的识别和分类任务开始,Ferret-UI 模型建立了对 UI 元素的基本理解,学会了识别和分类 UI 元素,为处理更复杂的任务打下基础。

接着逐步过渡到需要更高层次理解的对话和推断任务。随着模型能力的提高,任务变得更加复杂,要求模型不仅要识别 UI 元素,还要理解它们的功能和上下文。高级任务的设计为模型提供了必要的背景知识和理解能力,使其能够处理复杂的UI交互。

分层次的任务设计不仅有助于模型逐步学习,还能够确保模型在面对更复杂的 UI 交互时具有足够的背景知识和理解能力。通过这种方式,Ferret-UI 能够更好地理解和响应客户的指令,提供更加准确和有用的交互。

从基础的识别和分类到高级的描述和推断,Ferret-UI 在面对真实世界中的UI交互时,能够提供准确和有用的响应。再结合 anyres 工艺处理不同分辨率的屏幕,进一步增强了其在实际应用中的有效性和客户体验。


结语

面对当下激烈的大模型“厮杀”,科技巨头们亟需思考如何对市场战略和产物进行与时俱进的布局,苹果自然也不例外。

无论是Ferret-UI、Ferret-UI的前身 Ferret 还是旨在改善与语音助手交互的ReALM,苹果正一步步推进着能够读取屏幕信息的模型研究。

Ferret-UI 能够在移动设备上提供高质量的UI理解和交互,但它能否成为一个强大的工具,促使 iPhone 引入 AI,让苹果从稍显落后的境地反超呢?

让我们拭目以待。


雷峰网(公众号:雷峰网)本文作者 anna042023 将持续关注AI大模型领域的人事、企业、商业应用以及行业增长趋势,欢迎添加交流,互通有无。


雷峰网原创文章,未经授权禁止转载。详情见转载须知。

苹果发布多模态模型 Ferret-UI,部分手机 UI 任务超越 GPT-4V

阅读全文
相关推荐

Pieter Abbeel 新工作“大世界模型”:轻松玩转1小时长视频,一对一QA视频内容细节

Pieter Abbeel 新工作“大世界模型”:轻松玩转1小时长视频,一对一QA视频内容细节
作者:赖文昕编辑:陈彩娴自3天前Sora发布以来,由图灵奖得主、Meta首席科学家Yann LeCun提出的“世界模型”又一次引起了广泛关注。“世界模型”作为Sora的一大核心亮点,被OpenAI写在 ...

杨维林任公安部副部长,陈思源、孙茂利卸任

杨维林任公安部副部长,陈思源、孙茂利卸任
人社部网站7月9日消息,国务院任免国家工作人员。其中,任命杨维林为公安部副部长;免去陈思源、孙茂利的公安部副部长职务。公开信息显示,杨维林,男,汉族,1968年10月生,在职研究生,法学博士,中共党员 ...

人民日报:不少声音呼吁“同志”称呼重归主流

人民日报:不少声音呼吁“同志”称呼重归主流
来源:北京青年报7月7日,《人民日报》刊发了题为《称呼与风气金台随感)》的文章。全文如下:称呼,一个老生常谈的问题。曾几何时,招呼人无须刻意措辞,一声“同志”便可,听者坦然、舒泰。后来,经济增长、文化 ...

一家五口被同村邻居杀害 事发前两家曾因过道吵架

一家五口被同村邻居杀害 事发前两家曾因过道吵架
来源:扬子晚报#一家五口被杀前与邻居曾因过道吵架#【#当地回应一家五口被同村邻居杀害#:在对家属心理疏导】近日,有网友爆料称河北省邢台市隆尧县有一家五口被同村邻居残忍杀害。@扬子晚报 记者联系到被害一 ...

刚刚,云天励飞上市!

刚刚,云天励飞上市!
ChatGPT的横空出世,重燃了人工智能赛道的火,一边是狂热投资者纷涌而至,一边是大国博弈下,国家战略层面的高度关注。最近,云天励飞CEO陈宁博士忙得不可开交,前脚接待了省级领导,后脚又赶去接待科技部 ...

华熙国际赵燕引领华熙 LIVE,一城一特色书写城市商圈新篇章

华熙国际赵燕引领华熙 LIVE,一城一特色书写城市商圈新篇章
来源标题:华熙国际赵燕引领华熙 LIVE,一城一特色书写城市商圈新篇章2025年6月,刀郎“山歌响起的地方”巡演重庆站在华熙LIVE・鱼洞掀起热潮,这座西南文体地标以&ldqu ...

吉祥航空通报一航班发动机启动阶段出现机械故障

吉祥航空通报一航班发动机启动阶段出现机械故障
7月10日,@吉祥航空 发布关于7月9日HO1860航班情况的说明:7月9日,公司广州飞往上海浦东的HO1860航班未能按时起飞,在发动机启动阶段出现机械故障,机组按程序处置滑回航站楼执行排故工作,为 ...

中国商务部出手,它们还说“没影响”?

中国商务部出手,它们还说“没影响”?
中国商务部9日宣布将8家台湾地区实体列入出口管制管控名单,禁止向其出口两用物项。老司机仔细查了一下,这些台湾实体几乎覆盖了所有台军自制装备的生产单位,涉及台湾各军种的先进装备。可以说,台军未来装备的研 ...

若愚科技:基于多模态大模型的机器人“大脑”领导者

若愚科技:基于多模态大模型的机器人“大脑”领导者
当前,“四肢发达、头脑简单”的传统机器人已经无法满足千行百业“机器代人”的需求,迫切期待机器人从单一场景自动化向复杂场景智能化的拐点出现。传统机器人实现高阶智能的关键是更加智能的机器人“大脑”。近日, ...

印度一桥梁断裂坍塌 死亡人数升至13人

印度一桥梁断裂坍塌 死亡人数升至13人
总台记者当地时间7月10日获悉,印度古吉拉特邦一座桥梁9日发生断裂坍塌,有多辆车坠入河中,目前已造成13人死亡。总台记者 魏可枫) ...

“丹娜丝”携强降雨继续作用南方 北方闷热“上线”

“丹娜丝”携强降雨继续作用南方 北方闷热“上线”
未来三天7月10日至12日),受今年第4号台风“丹娜丝”减弱后的残余涡旋作用,江南南部、华南等地强降雨天气持续,福建、广东等局地雨势猛烈,需注意防范强降雨可能引发的次生灾害。随着“丹娜丝”深入内陆,长 ...

以技术为引 以创意为核 上影节用新拥抱电影

以技术为引 以创意为核 上影节用新拥抱电影
来源标题:以技术为引 以创意为核 上影节用新拥抱电影“AIGC单元”入围作品《风吹过那拉提》电影百年,创制焕新。近些年,技术的快速发展、全面迭代,不仅提高了电影的制作质量,创新 ...
返回顶部