澎湃Logo
下载客户端

登录

无障碍
  • +1

中国10亿参数规模以上大模型已发布79个,集中在北京和广东

澎湃新闻记者 张静
2023-05-28 18:18
来源:澎湃新闻
未来2% >
字号

·据不完全统计,目前中国10亿参数规模以上的大模型已发布79个,14个省市/地区都在开展大模型研发,主要集中在北京和广东,其中北京38个大模型,广东20个大模型。中国大模型中,已有半数以上大模型开源,高校/科研机构是开源主力。

·北京、江苏、广东、上海等是大模型人才相对较多的地区,为大模型研发提供关键智力要素支撑。但人才总量仍然稀缺,大模型具有较高门槛,需要高素质AI人才,目前各地大模型人才数量均不充足。

中国10亿参数规模以上的大模型已发布79个,主要集中在北京和广东。

5月28日,在2023中关村论坛平行论坛之一的人工智能大模型发展论坛上,中国科学技术信息研究所所长赵志耘发布《中国人工智能大模型地图研究报告》,目前中国10亿参数规模以上的大模型已发布79个,主要集中在北京和广东,其中北京38个大模型,广东20个大模型。中国大模型中,已有半数以上大模型开源,高校/科研机构是开源主力。

2017年谷歌发布的Transformer网络结构是大模型发展的源头技术,自此以后大模型技术在自然语言理解、计算机视觉、智能语音等方面都取得了标志性的技术突破,在模型精度、通用性和泛化能力等方面都实现了跨越式发展。ChatGPT又进一步激发了语言大模型爆发式涌现,也吸引了大量研发团队投入到通用视觉、多模态等更多大模型研发方向。赵志耘表示,仅用5年多时间,大模型技术已形成庞大技术群,衍生出涵盖各种参数规模、各种技术架构、各种模态、各种场景的大模型家族。

从全球大模型发展态势来看,美国谷歌、OpenAI等机构不断引领大模型技术前沿,欧洲、俄罗斯、以色列等越来越多的研发团队也在投入到大模型的研发中。从全球已发布的大模型分布来看,中国和美国大幅领先,超过全球总数的80%,美国在大模型数量方面始终居全球最高,中国从2020年进入大模型快速发展期,目前与美国保持同步增长态势。

在中国大模型的发展态势中,赵志耘表示,据不完全统计,到目前为止中国10亿参数规模以上的大模型已发布79个,14个省市/地区都在开展大模型研发,主要集中在北京和广东,其中北京38个大模型,广东20个大模型。在模型领域分布上,自然语言处理仍是目前大模型研发最活跃的重点领域,其次是多模态领域,在计算机视觉和智能语音等领域的大模型还较少。在研发主体分布上,大学、科研机构、企业等不同创新主体都在参与大模型研发,学术界和产业界之间的联合研发仍不足。“今年以来大模型有着快速发展的态势,但我们同时也观察到了合作收缩的趋势,接下来需要注意。”

与此同时,算力-模型匹配度高,公共算力发展迅速。北京、广东、浙江、上海等地的大模型数量最多,这四个地方也是近三年人工智能服务器采购数量最高的地区。各地也在通过提供公共算力方式补充快速增长的人工智能算力需求,为大模型研发提供更多算力支持。

人才也是人工智能的重要支柱。北京、江苏、广东、上海等是大模型人才相对较多的地区,为大模型研发提供关键智力要素支撑。但人才总量仍然稀缺,大模型具有较高门槛,需要高素质AI人才,目前各地大模型人才数量均不充足。

“通过大模型的论文发布,我们可以看到中国大模型的学术影响力正在逐步形成。从区域影响力来看,北京、广东、上海三地无论是论文数量还是论文引用量都在国内最高。”赵志耘表示,清华大学与阿里和百度联合开发的CogView模型论文引用数最高。但与国外领先大模型的学术影响力相比差距仍然较大。

从开源创新生态上看,中国大模型中,已有半数以上大模型开源,北京、广东、上海三地开源数量和开源影响力均居国内前三。高校/科研机构是开源主力,“清华大学的ChatGLM-6B、复旦大学的MOSS以及百度的文心系列大模型开源影响力最高。”赵志耘表示。

中国大模型的产业化应用沿着两条路径发展,第一种是通用类大模型持续拓展应用领域,文心一言、通义千问、紫东太初、星火认知等中国一批通用化大模型正在快速发展,打造跨行业通用化人工智能能力平台,其应用行业正在从办公、生活、娱乐向医疗、工业、教育等加速渗透。第二种是垂直领域专业类大模型不断深化落地,一批针对生物医药、遥感气象等垂直领域的专业大模型发挥其领域纵深优势,提供针对特定业务场景的高质量专业化解决方案。

倡导加强资源和研发力量的统筹,促进大模型有序发展。

针对大模型发展的不足,赵志耘提出4点建议与展望:

一是加强资源和研发力量的统筹,促进大模型有序发展。通过加强智算中心、超算中心、云计算中心等计算资源的统筹,制定公共数据共享目录和共享规则,推动数据分级分类有序开放。

二是加快基础研究和技术创新,提升学术和开源影响力。大模型技术仍处于发展初期,潜在的基础理论和技术创新空间巨大。通过蒸馏、量化等小型化技术实现模型“瘦身”,为大模型小型化、绿色化发展提供技术支撑。进一步加强产学研合作,鼓励大模型开源开放,也将加速大模型技术进步。

三是强化大模型发展中的场景牵引作用,打造大模型标杆项目。以行业专有训练数据集为基础,打造金融、医疗、电力等领域的专业大模型,在特定业务场景实现高质量应用突破,也希望通过应用场景和应用数据反向促进大模型技术迭代升级。

四是强化国际合作,积极参与全球人工智能治理。以负责任的态度共同推动大模型的治理,希望人工智能的治理原则和伦理规范能够进一步在大模型的全链条中落地生根。同时在增进共识的基础上加强人工智能治理的全球合作。

    责任编辑:郑洁
    校对:刘威
    澎湃新闻报料:021-962866
    澎湃新闻,未经授权不得转载
    +1
    收藏
    我要举报

    PHP网站源码南联外贸网站设计福田网站改版同乐关键词排名包年推广西乡百度seo永湖网站优化推广塘坑阿里店铺托管东莞模板网站建设深圳网站推广工具盐田设计网站塘坑网站改版南联百搜词包罗湖网络营销大浪网站搜索优化南联网站优化按天收费平湖外贸网站制作观澜网站改版福田网站搜索优化东莞网站制作坑梓外贸网站设计龙华网页设计松岗网站搭建盐田百度网站优化民治营销型网站建设爱联网站定制横岗网站改版大芬网站推广方案大浪seo优化罗湖网站搭建光明网页设计双龙网站设计模板歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

    PHP网站源码 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化