东风风神皓瀚新车亮相 与快舟火箭达成战略合作
7月9日,东风风神全新紧凑SUV皓瀚正式发布并开启盲订。新车基于东风集
2023世界人工智能大会期间,有人直言,没有大算力做大模型就是天方夜谭。但也有人认为,数据要素在人工智能大模型的发展中具有关键性作用,决定了模型的训练质量、性能表现和应用领域的广度与深度。
(资料图片)
全球大模型群雄逐鹿,算力最先告急。今年5月29日,英伟达创始人黄仁勋断言,“我们已经达到生成式AI引爆点,从此全世界的每个角落都会有算力需求”。一天后,英伟达市值突破万亿美元,屹立世界之巅。
人们常把算力、算法、数据形容为人工智能的三驾马车,但这三驾马车之间可能也不是完全的并行关系。如果说算力是大模型的“根”,那数据或者说是高质量的语料库,或许就会成为算力的“根”。
一热一冷
大模型浪潮,率先将算力推至风口浪尖。2023世界人工智能大会上,算力成为大模型绝对的关键词之一。中国工程院院士、鹏城实验室主任高文把算力比作电力,认为没有大算力做大模型就是天方夜谭。华为轮值董事长胡厚崑也提到,大模型训练的效率或者是创新的速度,根本上取决于算力的大小。中国的算力已经成为一个越来越稀缺的资源。
大会期间,毕马威与联想集团联合发布《普慧算力开启新计算时代》报告。毕马威中国数字化赋能主管合伙人张庆杰在解读报告时提到,算力供给增速明显难以满足指数式爆发的需求,储备算力成为各行各业的必要举动。
据了解,深度学习出现之前,用于AI训练的算力增长大约每20个月翻一番;之后,用于AI训练的算力大约每6个月翻一番;2012年后,全球头部AI模型训练算力需求更是加速到每3-4个月翻一番,即平均每年算力增长幅度达到惊人的10倍;目前大模型发展如火如荼,训练算力需求有望扩张到原来的10-100倍,算力需求的指数级增长曲线将更加陡峭。
大模型对算力的需求是显而易见的,但更关键的点可能在于是否能把算力更高效地挖掘出来。一家芯片企业的技术人员对北京商报记者提到,一个模型上线需要用到很多硬件,如果只支撑了少量用户,就会因为太贵导致用户不买账,由此撑不起正向循环的情况,但太便宜又会出现亏本的问题。特别是到落地阶段,如何能够结合模型上的一些改进,把硬件的特性最大程度地发挥出来,就会变得非常重要。
“也就是说在训练阶段,大家对算力的追求可能是‘大’,这一方面能够做出更大的模型,另一方面也能够进行更快速的迭代。但到用户开始接受这个效果的时候,就要涉及到怎样做才能更划算的问题,也就是说在部署阶段,可能要更关注‘精’的问题,尽可能用相对少的算力实现最大程度的作用。”上述技术人员说道。
大会期间,比起对算力的探讨,数据就显得有些“冷清”了。“数据要素比大模型早好几年,大模型被‘炒’起来了,但数据要素却一直不温不火。”7月8日,在2023世界人工智能大会“大模型时代下的数据要素流通”论坛的主题演讲中,拓尔思总裁施水才开场便提出了这样一种现象,在他看来,这场论坛为人们认识数据要素流通提供了一个新的视角。
机遇与挑战
在上述论坛上,中国知网副总经理张宏伟表示,数据是人工智能的基石,数据的质量和数量最终决定人工智能水平高低,影响其安全性、可信性。施水才更是认为,高质量数据才是大模型价值跃迁的制胜法宝。
但当下的问题在于,数据并不都是高质量的。过去一段时间,一度出现“AI正在污染中文互联网”的讨论,而AI最让人诟病的就是“幻觉”问题,也就是人们常说的“一本正经地胡说八道”。
大模型“幻觉”也是人工智能大会期间被提到的高频词汇。施水才对北京商报记者提到,“幻觉”问题的出现,主要是因为大模型缺乏理论的支撑,因为其核心技术原理主要就是Transformer架构下的NextTokenPrediction,即“下一个字符的预测”。另一方面大模型并不是越大越好,数据也不是越多越好,真正好的大模型是参数大小适中,数据高质量。
算力可以堆硬件,相比起来,优质数据的供给可能会复杂得多。中国电子副总经理陆志鹏提到,大模型技术实现高质量发展,数据有效供给是关键,急需建设安全可信的数据底座。当前数据合规确权、计量估价、协调分配、安全隐私保护等核心难题需要破解。
在接受北京商报记者采访时,上海数据交易所副总经理韦志林提到,从推动数字经济,推动数据作为生产要素的角度看,数据应该是最核心、最长远、最基础性的因素。“大模型的预训练对数据要求也特别高,必须在前期进行清洗、标注、标识,但围绕千行百业的数据训练,在数据供给方面也呈现出了许多问题和挑战。”
首要的就是头部厂商并不愿意开放数据。数据是生产要素,数据有价值,这些已经达成共识,但进行数据共享就一定会牵扯到安全问题,如何解决数据在共享过程中的安全机制至关重要。而数据的开放流通,也自然涉及收益分配,且数据流通过程中创造的新价值更多服务于企业内部,拿出去的动力还需进一步培育。
“所以从数据流通本身看,更多压力还存在供给侧这一方面,需要解决供给侧中产权制度问题、收益分配制度问题、安全问题、基础设施问题等,让数据流通更加便捷、更加合规。”韦志林表示,上海数据交易所作为国家战略的承接者,需要解决的就是这些问题。
据了解,7月8日,上海数据交易所启动语料数据生态创新合作伙伴计划,而在此前一天,上海数据交易所官网刚刚正式上线语料库,累计挂牌近30个语料数据产品,包含文本、音频、图像等多模态,覆盖金融、交通运输和医疗等领域。
北京商报记者杨月涵
关键词:
7月9日,东风风神全新紧凑SUV皓瀚正式发布并开启盲订。新车基于东风集
上海市高级人民法院、上海银保监局共同探索推动司法与监管大数据信息共
1、共收录汉字47,035个。2、《康熙字典》是世界上收录汉字最多的一部大
投诉湖南逻辑教育投诉直通车是湖南日报、华声在线、新湖南主办的投诉维
锦浪科技涨超9%,隆基绿能、科士达、弘元绿能等多股上涨,光伏50TF(15
关注丨扩大惠及面税优健康险改革落地,税优,险种,健康险,医疗险,重疾险,
摄影存景美诗词悦心扉图文|刘梅生映日荷花别样红夏天是荷花盛开的季节
以下是通灵股份在北京时间7月10日10:10分盘口异动快照:7月10日,通灵
【大河财立方消息】7月10日,国家统计局数据显示,6月份居民消费价格同
金融界7月10日消息富时中国A50指数期货在上一交易日夜盘收涨0 67%的基
文 姜诗华北京时间7月10日,NBA夏季联赛继续进行,在一场焦点大战中,
碳酸锂期货、期权上市进入倒计时。上周五,中国证监会披露,已同意广期
A组小组赛继续进行,东道主会文镇队对阵文教镇队,经过角逐,最终会文
1、当它遇到整整一百年(如果要分的话是闰年,否则就是平年(年、年、年)
聊聊一篇地板用紫外光固化涂料,对于木地板用紫外光固化涂料简单介绍的
Copyright 2015-2022 南非双创网 版权所有 备案号:沪ICP备2022005074号-13 联系邮箱:58 55 97 3@qq.com
随着全光网络越织越密 如何进一步增强消费者和产业界的“获得感”?
近年来,在5G和宽带双千兆牵引下,新项目、新试点、新应用层出不穷。随着全光网络越织越密,如何进一步增强消费者和产业界的获得感?湖北日
致敬老将!热爱可抵岁月漫长
<script src= "http: tv people com cn img player v js ">< script><script>showPlayer({id: " pvservice xml 202
微视频|字里藏情迎元宵
<script src= "http: tv people com cn img player v js ">< script><script>showPlayer({id: " pvservice xml 202