2024年刚开年,OpenAI推出的文生视频工具Sora再次风靡全球,成为了OpenAI继ChatGPT之后新的生成式AI标杆。AI重塑世界,也可能会让环境资源付出巨大的代价。
据《纽约客》杂志引援国外研究机构报告,ChatGPT每天要响应大约2亿个请求,在此过程中消耗超过50万度电力,也就是说,ChatGPT每天用电量相当于1.7万个美国家庭的用电量。而随着生成式AI的广泛应用,预计到2027年,整个人工智能行业每年将消耗85至134太瓦时(1太瓦时=10亿千瓦时)的电力。
除了耗电,和ChatGPT或其他生成式AI聊天,也会消耗水资源。加州大学河滨分校研究显示,ChatGPT每与用户交流25-50个问题,就可消耗500毫升的水。而ChatGPT有超过1亿的活跃用户,这背后消耗的水资源无疑是令人震惊的。
训练一个大模型,科技巨头每年都消耗了多少能源?本期钛媒体·钛度图闻带你关注。
AI大模型参数突破百万亿级别,
训练一次有多烧钱?
在大模型的训练中,语料信息的规模是很重要的。一般来说,语料规模越大,其蕴含的信息就越丰富,模型所形成的参数越大,具有更好的泛化能力。为了获得智能水平更高的大模型,AI模型的语料规模和参数规模越来越大。
从参数规模上看,大模型先后经历了预训练模型、大规模预训练模型、超大规模预训练模型三个阶段,参数量实现了从亿级到百万亿级的突破。2017年,谷歌首次提出6500万参数的Transformer模型,自此大模型就开始走上了一条快速发展之路。
2018年,谷歌发布基于Transformer的BERT,BERT学习了16GB的语料,形成3.4亿个参数;2019年,OpenAI推出了15亿参数的GPT-2,同年,谷歌推出T5模型,参数达到110亿。从十亿级到百亿级,大模型在一年内实现跃升。2020年,OpenAI推出了1750亿参数的GPT-3;2021年,谷歌推出Switch Transformer架构,其参数量扩展到了1.6万亿;同年,北京智源人工智能研究院也推出参数量在万亿级别的模型"悟道"。2022年,清华大学、阿里达摩院等机构的研究人员提出的"八卦炉"模型,其具有174万亿个参数,可与人脑中的突触数量相媲美。如今,大模型参数量已实现百万亿级的突破。
目前,人工智能公司很少公开谈论大模型的训练成本,但相关研究估计这些模型的训练成本可高达数百亿美元。斯坦福大学发布的《2023年人工智能指数报告》,基于已有大模型披露的硬件和训练时间,对其训练成本进行了估算。
2019年,OpenAI发布的大语言模型GPT-2参数量为15亿,它的训练成本约为5万美元左右;到了2020年,训练1750亿参数量的GPT-3的费用大概是180万美元。GPT-3比GPT-2的参数量扩大了117倍,其训练费用也增加了36倍。大型语言和多模态模型如"吞金兽一般",变得越来越大,也越来越贵。
生成式AI多耗能......... 2024年刚开年,OpenAI推出的文生视频工具Sora再次风靡全球,成为了OpenAI继ChatGPT之后新的生成式AI标杆。AI重塑世界,也可能会让环境资源付出巨大的代价。据《纽约客》杂志引援国外 原文转载:https://www.kjdsnews.com/a/1834166.html
瑞丽附近旅游:https://www.vstour.cn/t/瑞丽附近旅游.html
瑞丽跟团旅游:https://www.vstour.cn/t/瑞丽跟团旅游.html
瑞丽跟团游:https://www.vstour.cn/t/瑞丽跟团游.html
瑞丽攻略:https://www.vstour.cn/t/瑞丽攻略.html
瑞丽国庆旅游:https://www.vstour.cn/t/瑞丽国庆旅游.html
瑞丽海外旅游公司:https://www.vstour.cn/t/瑞丽海外旅游公司.html
深圳民治体育公园篮球场/足球场收费价格一览表:https://www.vstour.cn/a/333164.html
2024北京春天赏花攻略(地址+门票):https://www.vstour.cn/a/333165.html
No comments:
Post a Comment