280万大模型中文开发者拿到最后一块拼图
声明:本文来自微信微信官方账号硅星Pro(ID:Si-Planet),作者:油醋,经站长之家授权转载发布。
2023年5月,微软CEO纳德拉抛出了一个惊人的数字,未来全球开发者数量将达到10亿。
当时Meta的Llama已经开源四个月了,但是国内有开发者发现,用英文语料库养出来的Llama对华人世界并不友好。
很难预测未来“10亿”开发者中会有多少中国开发者,但至少有755万。
755万人,这是2021年中国程序员在GitHub上注册的人数。现在程序员肯定会是未来大模型的第一批开发者。
很多人已经是了。
在浙江省电力设计院工作的陶佳,尝试用开源的大模型,做了一个基于私有知识库的检索问答应用。他面对的场景非常特殊,经常需要从几十万甚至上百万字的文档中寻找内容。陶佳的专业是电力系统控制优化,有一些领域结合了传统的数学方法和AI方法,所以他对AI有一个基本的了解,从去年年底开始关注这一波大模型。
【/h/】他试了好几个型号,试了才是最好的。“准确,而且‘手感’很好,没有那些奇怪的虫子,”他说。
要做的事情也很简单。等你有了一些基本的软硬件基础之后,你可以在家里买一个服务器,在上面扔三四个显卡,下载依桐钱文,让它在服务器上运行,然后设置一个FRP反向代理,一个月30多块钱从阿里云买最便宜的服务,这样你就可以通过外网访问家里的服务器,还可以在单位用依桐钱文做实验。
当一个开源的生态系统开始形成的时候,这样的开发者越来越多。
开启闭环开源生态。
陶佳对大模型最深的期待来自一个终极问题:人能成为上帝吗?
美国未来学家库兹韦尔在2015年提出了这种可能性。在库兹韦尔的想象中,到2030年,人类将能够成为半机器人。通过在大脑中植入纳米机器人,人类将能够直接访问互联网,变得更加智能,拥有幽默、音乐、爱情等奇妙的天赋和能力。人会成为像神一样完美的存在。
那一年OpenAI刚刚成立,但是八年前库兹韦尔的想法还是差不多的,只不过现在好像给意识和人性加了一个代理,这条路似乎更近了——那就是AGI。
但即使技术是爆炸性的、跳跃性的,它离AGI还是很远。如果AGI将再造一个新世界,那么人类对大模型的期待仍然是在现实的基础上改造世界。这需要基于这样一个事实,即我们知道这个世界是什么样的,它需要在哪里被改造。世界的真实声音需要被听到,建立一个渠道非常重要。
这就是大模型时代开源的意义。来自不同现实场景,有代码能力的人,需要一个方块把技术主动权对准场景,才有代表性的产品出现。
这个广场要用于人们的交流,也需要价格合适的丰富的计算能力资源,同时也需要足够多的可调用模型来做出选择。开发者想要的就是这样的闭环开源生态,普适意义的优势开始显现。
计算能力是所有关于大模型的想象的基础。依桐钱文背后的阿里云拥有中国最强的智能计算能力储备作为基础设施支撑。其智能计算集群最大可达10万卡GPU规模,这意味着阿里云可以承载多个万亿参数的大模型同时在线训练,为大规模AI集群提供自研的无拥塞通信的RDMA网络架构和低成本高可靠性的高性能存储CPFS。
4月,阿里云在推出依桐钱文的同时,宣布了史上最大幅度的降价。与上一代相比,最高可降低40%,同时也开放了计算、存储、数据库、机器学习等核心产品的免费试用机会。这为大量新的AI开发者提供了试错的机会。
在阿里云计算能力的支持下,像陶佳这样的开发者开始带着“野心”涌入魔术社区。
在去年11月的云起大会上,阿里云和CCF开源发展委员会联合推出了AI模型社区“魔骑”ModelScope,同时在社区贡献了300多个AI模型,完全开源开放,其中超过三分之一是中国模型。上线一年后,摩沙社区的AI开发者数量已经超过280万,AI模型超过2300+个,下载量超过1亿+。
随着大模型转向Agent的热潮,Mosha社区在今年9月推出了AI Agent开发框架ModelScope-Agent,并构建了一个“打样产品”ModeScopeGPT,可以调用社区中众多AI模型的API,然后独立完成人类赋予的任务。这个ModeScopeGPT已经被调用了40多万次。
除了依桐钱文,现在已经有近百款开源机型进入社区,比如Llama2、智普AI、百川智能甚至最新的大机型。而“目前中国有一半的大型模型企业都在阿里云上运行”,当阿里云CTO周在2023年大会上说这句话的时候,魔沙已经是当下中国最大、最活跃的AI模型开源站点。
扩展参数数量
12月1日,阿里云召开依桐千问发布会,公开了720亿参数模型Qwen-72B。从参数上来说,这是目前国内主流观点中最大的开源机型,而从能力上来说,Qwen-72B在测试中的性能已经超越了开源标杆Llama2-70B。
QWEN-72b的训练基础是3T令牌的优质数据,它采用了更多的参数和训练数据,从而实现了全面的性能提升。该模型延续了依桐千问预训练模型的优异表现,在10项权威评测中取得开源模型中最好的成绩,并在部分评测中超越非公开的GPT-3.5和GPT-4。
英语任务中,Qwen-72B在MMLU基准测试中获得开源模型最高分。在中文任务中,它在CEVAL、CMMLU、Gaokao等方面领先,甚至超过了GPT-4。在数学推理领域,Qwen-72B在GSM8K和数学评估方面远远优于其他开源模型。同时,在代码理解任务上,Qwen-72B通过HumanEval和MBPP的评测显示出了显著的进步,代码能力实现了质的飞跃。
从8月初开始,魔术社区推出了Qwen-7B和Qwen-7B-Chat两款开源机型,依桐钱文自己的机型开源也提上了日程。8月25日,基于Qwen-7B开发出大规模视觉语言模型Qwen-VL,支持图形输入,具有多模态信息理解能力。
QWEN-VL开源一个月后,阿里云于9月25日开放了开源参数模型Qwen-14B和对话模型Qwen-14B-Chat。这款机型在性能上第一次开始看美洲驼-70B。加上之前的开源机型,开源社区一个多月下载量就突破了100万。在性能和可用性的平衡上,70亿和140亿的参数大小也是对开发者最友好的。
但是当这个大模型的开源生态开始深入,开发者对模型的性能上限要求更高,也需要参数更大的模型。Qwen-72B开始引起一些初创团队的注意。
“我对72B的模式有很大的期待,也很好奇72B在我们这个领域的能力极限。”
严新是华东理工大学X-D实验室的成员。X-D实验室之前的研究方向包括社会计算与社会智能、群体智能与隐私保护、公共健康与舆情监测、工业智能与智能系统等。大模型出现后,开始专注于AI情感计算领域。
基于开源的通用题库模型,严新和其他团队成员先后开发了三个垂直领域模型:MindChat、孙思邈、孙思淼和GradChat、锦鲤鱼。现在,超过20万人使用了这三个模型,并提供了超过100万个问题和答案。
考虑到计算资源的限制和部分客户私有化部署的需求,严新表示,目前来看,7B或14B规模的大型模型是团队提供问答服务更合适的选择,但在更开放的学术探索中,比如如何使用联邦学习算法处理数据,QWEN-72b具有前者不具备的性能优势。
而开源模型参数的向上探索,也将有机会推动ModelScope-Agent关于未来如何让AGI更接近现实的想象。
秦旭野,曾在阿里从事大数据业务近7年,现为未来速度Xorbits联合创始人& CEO。Xorbits创建了一个企业级的分布式推理框架Xinference。通过Xinference,开源模型可以登陆个人用户和开发者的个人电脑,企业用户可以在计算集群上轻松部署和管理模型,享受私有化部署带来的安全性、定制化和低成本。
秦旭野说,如果用外部知识库进行问答式应用,通过大模型回忆一些数据,在上下文中总结,最后给出有用的答案,那么小尺寸(10B以下)的模型就足够了。如果需要有一定逻辑推理能力的机型,20-30B的中型机型是比较好的选择。
“但在需要推理能力强的Agent或场景中,70B+的大模型会更有优势。”
AI Agent是秦旭野的遥远期待,但他也是一个现实主义者。目前,更重要的是使用模型,因此Xorbits克服的焦点是让依桐·钱文在Mac电脑上运行。
秦旭野觉得这个可以打击很多人。因为很多开发者使用Mac电脑,可以直接在本地拉起Qwen系列机型,这样可以大大提高开发效率。
全尺寸QWEN系列完善了不止一个72B大参数模型。与Qwen-72B同步,阿里云开放了18亿参数模型Qwen-1.8B和大音频模型Qwen-Audio。到目前为止,QWEN的开源谱已经覆盖了参数从18亿、70亿到140亿、720亿的四大语言模型,以及视觉理解(Qwen-VL)和音频理解两大多模态模型。
大模型的开源生态是AI时代终于可以汹涌澎湃的盲药引入。周对的定位是“AI时代最开放的大模式”。现在,一切准备就绪,就等开发商进场了。