首页 > 新闻 > 国内 >

复旦MOSS团队:打造具有中国特色中文大型语言模型 研究成果将会开源

发布时间:2023-03-02 17:08:14来源:
复旦MOSS团队:打造具有中国特色中文大型语言模型研究成果将会开源
未来,MOSS的优化将会围绕三方面展开。 复旦大学供图

  上海3月2日电 (陈静 殷梦昊 许文嫣)由美国OpenAI公司开发的ChatGPT模型在全球点燃了新一轮AI热潮。前不久,复旦大学计算机科学技术学院邱锡鹏团队发布类ChatGPT模型MOSS,备受关注。

  记者2日获悉,邱锡鹏与他的MOSS团队——8位年轻的复旦学生,正紧锣密鼓地开展内测和迭代工作。新模型或将在3月底优化完成,后期再逐步对社会开放。邱锡鹏说:“我们的目标是打造一个具有中国特色的中文大型语言模型。”

邱锡鹏与他的MOSS团队合影。 复旦大学供图
邱锡鹏与他的MOSS团队合影。 复旦大学供图

  据介绍,未来,MOSS的优化将会围绕三方面展开:团队会准备更高质量的中文数据;会开放接口,让MOSS与人类进行对话,收集更多的对话数据;同时,团队还会进一步加大投入,扩大其参数规模。邱锡鹏直言:“如果MOSS的参数规模能够上升到500亿或者1000亿,它的能力就又会大幅提升。”开源(即开放源代码和模型参数)是邱锡鹏和复旦自然语言处理实验室的同仁们一直以来的学术坚持。“这次也会将研究成果开放给公众与社会。”他说。

  目前,参与内测反馈显示,尽管MOSS在参数规模上和ChatGPT相比小一个量级,事实性问题覆盖不够全面,经常会“一本正经地胡说八道”,但确实“基本功能都实现了”。邱锡鹏2日对记者表示,在不远的将来,MOSS这类大型语言模型会成为和搜索引擎一样常规的存在,为人们生活的方方面面提供助益。 “对现在的MOSS来讲,好的案例可以挑出很多;坏的案例也一抓一大把(特别是中文),也就是‘上限高、下限低’。”邱锡鹏希望在下一版能控制好下限,并介绍,目前,MOSS服务器的最大容纳人数在数万人。

邱锡鹏与他的MOSS团队——8位年轻的复旦学生,正紧锣密鼓地开展内测和迭代工作。 复旦大学供图
邱锡鹏与他的MOSS团队——8位年轻的复旦学生,正紧锣密鼓地开展内测和迭代工作。 复旦大学供图

  “人类的伦理观、价值观是非常多样的,接下来,不光是我们做技术的,还需要从事法律、伦理研究的相关人士一起参与共建大型语言模型。”这位专家表示,在这一点上,我们可以充分发挥复旦交叉学科和综合性大学的优势。

  MOSS这种“大型对话式语言模型”和当下人们日常使用的聊天机器人有什么区别?邱锡鹏给记者打了个比方:“这两者的关系就像智能手机和功能手机。之前的聊天系统还属于弱人工智能,设计它们就是用来聊天的,就像传统的功能手机只能用来打电话;而现在的大型语言模型,像ChatGPT、MOSS,它们能做很多事,聊天只是功能之一,就像智能手机可以用来打电话,但它的功能远远不止于此。”

  他指出, ChatGPT、MOSS具备的是一种通用能力,可以帮助人类完成各种各样的事情,只不过以对话形式呈现。“这种对话式大型语言模型向我们展示了一条通向‘通用人工智能’的崭新路径。”这位学者告诉记者,它可以完成自然语言处理领域的绝大部分任务,还可以在学习使用外部工具后,与外部世界进行交互,进行创作。这些都是现有的聊天机器人所不具备的。

  关于MOSS模型,邱锡鹏坦言,春节前就开发出了第一代模型。它显示出了很大的潜能,与之前的聊天系统大不相同,有着不错的人类意图理解能力,也有很多涌现能力。春节前的腊月二十八,项目主开发者、计算机科学技术学院博士研究生孙天祥,在测试过程中输入了一个中文问题,MOSS却以英文正确回答,“就像一个不会说但听得懂中文的人”。“很神奇,我们没有教过它机器翻译。”MOSS显示出的潜能让邱锡鹏当晚激动到失眠。他回忆,当时版本的MOSS还很初级,中文语料占所有训练数据不到0.1%。他把MOSS比作一个“聪明的小孩”,即便现在还不擅长写诗、解题或很多具体的事,但已展示出成为通用人工智能(AGI)大框架的潜能。“很多遥不可及的事情,它一点就通了。”实际上,邱锡鹏也让6岁的女儿和MOSS聊天,发现孩子可以愉快地和MOSS对话很长时间。

  作为走通“端到端”大型语言模型, MOSS是如何做到的呢?邱锡鹏解释,“端到端”指的是从零开始,信息收集、数据处理、建立模型,到最终形成一个具有和人类对话能力的大模型,中间所有技术路径可以走通,这个就叫由起点到终点的“端到端”。“因为OpenAI至今没有公布开发ChatGPT的技术路线和技术细节,所以我们需要靠有限的公开信息来自己摸索。”他表示,这个过程非常难,包含了非常多经验性、直觉性的设计,关键要打通两步:基座和对话能力。

  邱锡鹏解释,大型语言模型的基座不是简单的参数足够大就可以,还需要赋予大型语言模型各种各样的知识能力、学习能力,还有逻辑推理能力;同时,要通过一些指令触发它的对话能力,让它理解人类意图,与人类能够交互对话。这位专家坦言:“到目前为止,我们还能把控技术路线,但未来可能会面临更大的困难。因为我们收集了非常多和人类交互的指令,要赋予它价值观和各种各样的能力,就要请一些专业人士来帮助我们设计,进一步增强MOSS各方面的能力。”

  关于MOSS模型一经发布就备受关注,邱锡鹏说,关注度这么高,我想可能是大家对国内团队做出类ChatGPT模型比较兴奋,兴奋的原因则在于之前有很多声音,说我们和国外的技术水平差距非常大,想追上的话,要花很长时间。但我们的努力证明,其实不需要那么久。他说,开发过程中,正逢《流浪地球2》电影热映,团队成员都非常喜欢《流浪地球2》,取名MOSS是致敬《流浪地球2》。

  MOSS与ChatGPT相比,有哪些主要差异?邱锡鹏直言,最大差异还是参数规模。ChatGPT的参数量多达1750亿个,而MOSS的参数量比其小一个数量级,大约是前者的1/10左右。另外一大差异就是迭代能力。这位专家解释,用户量越大,交互数据越多,模型的迭代能力就越强。ChatGPT作为新一轮人工智能赛跑的领跑者,遥遥领先收集了大量用户的交互数据,OpenAI可以在此数据的基础上,把这个模型和数据的飞轮转起来。

  “因此,参数量和交互数据量的差异,进一步导致了MOSS和ChatGPT在事实类知识储备上的差距,表现为MOSS在回答事实类问题时更容易出错。”邱锡鹏接受采访时十分坦率。不过在邱锡鹏看来:“大家在关注ChatGPT、MOSS这种模型的时候,更应该看重它的理解能力、学习能力以及思维能力,而不是看重它的事实类知识储备。如果从逻辑类能力来看,我觉得MOSS的表现其实还不错。”

  据介绍,MOSS的特点是小规模,比较容易适应个性化模型,可以赋予更多专业化能力,利于企业内部私有部署,经过一些数据微调就可以转化为生产力。

  国内外已有不少公司正在研发类ChatGPT模型,投入不菲。高校学术研究团队开发MOSS模型的初衷是什么?邱锡鹏直言:“我们开发MOSS模型,是想在百亿规模参数上探索和验证ChatGPT的技术路线,证明我们在技术实现上,并不落后于国外。另外也想证明,这种技术也并非一定被大公司垄断,我们这样一个学术研究的实验室,在相对有限的资源下,也能够做出类ChatGPT模型。”

  他指出,MOSS的定位是自然语言处理领域乃至是通用人工智能领域最前沿的探索。“也许工业界更看重它的落地性能,而我们更看重它的下一代发展,即如何实现通用人工智能。”邱锡鹏表示,从学术角度出发,只有我们比OpenAI看得更远、更超前,才可能最终实现超越。

  “长远来看,我们期待把MOSS作为一个通向通用人工智能的基座,让它变成一个像科幻片角色的真实存在。”邱锡鹏对此很乐观,“我觉得通用人工智能由科幻步入现实,应该不会很远,也许5到10年。那时,我们会像现在接受搜索引擎一样,接受通用人工智能。”(完)

 

(责编: admin)

免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。