当前位置: 首页 >> 快讯
【焦点热闻】JARVIS项目原作解读:连接ChatGPT和HuggingFace解决AI问题
来源:机器之心     时间:2023-04-24 20:59:43

机器之心最新一期线上分享邀请到了微软亚洲研究院研究员宋恺涛,为大家分享他们近期的开源项目JARVIS。

在最近一段时间内,以 ChatGPT 为代表的大语言模型(Large Language Models,LLMs)在工业界和学术界掀起了巨大的关注。然而,以处理文本为主的 LLMs,在解决许多复杂并且具有挑战的 AI 任务上,依然存在着许多瓶颈:

1、受限于语言模型的输入输出形式,当下的 LLMs(如 ChatGPT)缺少能够处理复杂模态信息的能力(如图像、语音、视频等)。


(资料图片)

2、一些复杂的 AI 任务需要先进行规划,分解多个子任务,并协调不同模型的调度和协作执行。而这些要求也超出了 LLMs 本身的能力。

3、在针对一些特定任务上,LLMs 尽管在零资源或者低资源下展现非常好的效果,但依然要弱于一些专家模型(例如微调模型)。

因此,如何解决问题也成为 LLMs 走向通用人工智能的关键一步。为此,JARVIS 项目团队指出如果 LLMs 要实现这一目的,它们应当能够利用外部模型的力量。而关键点就在于如何寻找一个合适的关键件来连接大语言模型和 AI 模型。

JARVIS 项目团队注意到任何 AI 模型都可以通过总结其模型功能来获取一种文本表示,并因此提出一个概念:语言是 LLMs 用于连接 AI 模型的通用接口。基于这一理念推出 JARVIS,一种模型协作系统用于连接 LLMs(例如 ChatGPT)以及机器学习库(例如 Hugging Face)等。该系统将 LLMs 作为大脑,并利用语言的能力来管理不同 AI 社区中的不同模型,具体流程分为 4 步:任务规划、模型选择、任务执行、生成反馈。

在这一框架下,模型具备了分解和管理不同任务的能力,并且能够处理包括文本、语音、图像、视频等不同模态的复杂信息。这一框架也吸引了越来越多的人来探索 LLMs 与外部模型或者工具进行协作调度的应用前景。

分享主题:JARVIS – 连接 ChatGPT 和 HuggingFace 解决 AI 问题

分享嘉宾:宋恺涛,微软亚洲研究院研究员。本科和博士毕业于南京理工大学,其研究方向包括自然语言处理,语音识别等,包括预训练语言模型,内容生成等。其在 ICML,NeurIPS,ICCV,KDD,ACL,IJCAI,AAAI 等国际顶级会议上发表多篇论文。

分享摘要:尽管大语言模型表现出非常优异的性能,但在实际解决一些复杂的 AI 任务中依然存在许多瓶颈。因此,在本次分享中,我们会介绍如何构建大语言模型与 AI 社区的连接以及多模型协作以解决更具挑战的 AI 任务,并探讨对于未来的展望。

相关链接:

1)SOTA!模型平台项目主页链接:

https://sota.jiqizhixin.com/project/hugginggpt

2)论文链接:

https://arxiv.org/abs/2303.17580

3)代码仓库:

https://github.com/microsoft/JARVIS

加群看直播直播间: 关注机器之心机动组视频号,北京时间 4 月 25 日 19:00 开播。 交流群:本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。 如群已超出人数限制,请添加机器之心小助手:syncedai2、syncedai3、syncedai4 或 syncedai5,备注「JARVIS」即可加入。 如果你也有最新工作希望分享或提交你感兴趣的内容方向,随时告诉我们吧: https://jiqizhixin.mikecrm.com/fFruVd3 机器之心 · 机动组机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。 机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。
标签: