2024年刚开年，OpenAI推出的文生视频工具Sora再次风靡全球，成为了OpenAI继ChatGPT之后新的生成式AI标杆。AI重塑世界，也可能会让环境资源付出巨大的代价。
据《纽约客》杂志引援国外研究机构报告，ChatGPT每天要响应大约2亿个请求，在此过程中消耗超过50万度电力，也就是说，ChatGPT每天用电量相当于1.7万个美国家庭的用电量。而随着生成式AI的广泛应用，预计到2027年，整个人工智能行业每年将消耗85至134太瓦时（1太瓦时=10亿千瓦时）的电力。
除了耗电，和ChatGPT或其他生成式AI聊天，也会消耗水资源。加州大学河滨分校研究显示，ChatGPT每与用户交流25-50个问题，就可消耗500毫升的水。而ChatGPT有超过1亿的活跃用户，这背后消耗的水资源无疑是令人震惊的。
训练一个大模型，科技巨头每年都消耗了多少能源？本期钛媒体·钛度图闻带你关注。
AI大模型参数突破百万亿级别，
训练一次有多烧钱？
在大模型的训练中，语料信息的规模是很重要的。一般来说，语料规模越大，其蕴含的信息就越丰富，模型所形成的参数越大，具有更好的泛化能力。为了获得智能水平更高的大模型，AI模型的语料规模和参数规模越来越大。
从参数规模上看，大模型先后经历了预训练模型、大规模预训练模型、超大规模预训练模型三个阶段，参数量实现了从亿级到百万亿级的突破。2017年，谷歌首次提出6500万参数的Transformer模型，自此大模型就开始走上了一条快速发展之路。
2018年，谷歌发布基于Transformer的BERT，BERT学习了16GB的语料，形成3.4亿个参数；2019年，OpenAI推出了15亿参数的GPT-2，同年，谷歌推出T5模型，参数达到110亿。从十亿级到百亿级，大模型在一年内实现跃升。2020年，OpenAI推出了1750亿参数的GPT-3；2021年，谷歌推出Switch Transformer架构，其参数量扩展到了1.6万亿；同年，北京智源人工智能研究院也推出参数量在万亿级别的模型"悟道"。2022年，清华大学、阿里达摩院等机构的研究人员提出的"八卦炉"模型，其具有174万亿个参数，可与人脑中的突触数量相媲美。如今，大模型参数量已实现百万亿级的突破。
目前，人工智能公司很少公开谈论大模型的训练成本，但相关研究估计这些模型的训练成本可高达数百亿美元。斯坦福大学发布的《2023年人工智能指数报告》，基于已有大模型披露的硬件和训练时间，对其训练成本进行了估算。
2019年，OpenAI发布的大语言模型GPT-2参数量为15亿，它的训练成本约为5万美元左右；到了2020年，训练1750亿参数量的GPT-3的费用大概是180万美元。GPT-3比GPT-2的参数量扩大了117倍，其训练费用也增加了36倍。大型语言和多模态模型如"吞金兽一般"，变得越来越大，也越来越贵。
生成式AI多耗能......... 2024年刚开年，OpenAI推出的文生视频工具Sora再次风靡全球，成为了OpenAI继ChatGPT之后新的生成式AI标杆。AI重塑世界，也可能会让环境资源付出巨大的代价。据《纽约客》杂志引援国外 原文转载：https://www.kjdsnews.com/a/1834166.html
瑞丽附近旅游：https://www.vstour.cn/t/瑞丽附近旅游.html
瑞丽跟团旅游：https://www.vstour.cn/t/瑞丽跟团旅游.html
瑞丽跟团游：https://www.vstour.cn/t/瑞丽跟团游.html
瑞丽攻略：https://www.vstour.cn/t/瑞丽攻略.html
瑞丽国庆旅游：https://www.vstour.cn/t/瑞丽国庆旅游.html
瑞丽海外旅游公司：https://www.vstour.cn/t/瑞丽海外旅游公司.html
深圳民治体育公园篮球场/足球场收费价格一览表：https://www.vstour.cn/a/333164.html
2024北京春天赏花攻略(地址+门票)：https://www.vstour.cn/a/333165.html
No comments:
Post a Comment