FX168财经网_全球视野外汇黄金加密货币NFT资讯网

用计算。比如，谷歌和NASA联合开发的D-Wave就只能执行量子退火（Quantum Annealing）算法，而我国研发的光量子计算机“九章”则是专门被用来研究“高斯玻色取样”问题的。尽管它们在各自的专业领域表现十分优异，但都还不能用来解决通用问题。这就好像游戏中的群体攻击大招，虽然攻击范围广，但是对每个个体的杀伤力都比较弱。因此，如果遇上大群的小怪，群体攻击固然厉害，但如果遇上防御高、血条厚的Boss，这种攻击就派不上用处了。从这个角度看，如果我们希望让量子计算大发神威，就必须先找出适合量子计算应用的问题和场景，然后再找到相应的算法。与此同时，我们也必须认识到，虽然量子计算的研发和探索十分重要，但是它和对其他技术路径的探索之间更应该是互补，而不是替代的关系。 3、通过改进算法节约算力如果说，通过高性能计算、分布式计算，以及量子计算等手段来提升算力是“开源”，那么通过改进算法来节约算力就是“节流”。从提升计算效率、减少因计算而产生的经济、环境成本而言，开源和节流在某种程度上具有同等重要的价值。在ChatGPT爆火之后，大模型开始越来越受到人们的青睐。由于在同等条件下，模型的参数越多、训练的数据越大，它的表现就越好，因此为了追求模型的更好表现，现在的模型正在变得越来越大。我们知道，现在的ChatGPT主要是在GPT-3.5的基础上训练的。在它出现之前，GPT共经历了三代。GPT-1的参数大约为1.17亿个，预训练数据为5GB，从现在看来并不算多；到了GPT-2，参数量就增加到了15亿个，预训练数据也达到了40GB；而到了GPT-3，参数量则已经迅速膨胀到了骇人的1750亿个，预训练数据也达到了45TB。为了训练GPT-3，单次成本就需要140万美元。尽管OpenAI并没有公布GPT-3.5的具体情况，但可以想象，它的参数量和预训练数据上都会比GPT-3更高。为了训练这个模型，微软专门组建了一个由1万个V100GPU组成的高性能网络集群，总算力消耗达到了3640“算力当量”——也就是说，如果用一台每秒计算一千万亿次的计算机来训练这个模型，那么大约需要近十年才能完成这个任务。如果任由这种“一代更比一代大”的趋势持续下去，那么在未来几年，对算力的需求将会出现爆炸性的增长。一项最新的研究估计，在5年之后，AI模型需要的算力可能会是现在的100万倍。很显然，由此产生的经济和环境成本将会是十分惊人的。令人欣慰的是，目前已经有不少研究者希望改进算法、优化模型来减少对算力的需求，并且已经取得了一定的成就。比如，就在今年1月3日，来自奥地利科学技术研究所 (ISTA)的研究人员埃利亚斯·弗朗塔（Elias Frantar）和丹·阿里斯特尔（Dan Alistarh）合作进行了一项研究，首次针对 100至 1000亿参数的模型规模，提出了精确的单次剪枝方法SparseGPT。SparseGPT可以将GPT系列模型单次剪枝到 50%的稀疏性，而无需任何重新训练。以目前最大的公开可用的GPT-175B模型为例，只需要使用单个GPU在几个小时内就能实现这种剪枝。不仅如此，SparseGPT还很准确，能将精度损失降到最小。在进行了类似的修剪之后，这些大模型在训练时所需要的计算量就会大幅减少，其对算力的需求也就会相应下降。关于提升算力、支持人工智能发展的政策思考随着ChatGPT引领了新一轮的人工智能热潮，市场上对算力的需求也会出现爆炸性的增长。在这种情况下，为了有力支撑人工智能的发展，就必须要通过政策的手段引导算力供给的大幅度增加。而要实现这一点，以下几方面的工作可能是最为值得重视的。第一，应当加快对算力基础设施的建设和布局，提升对全社会算力需求的支持。如前所述，从目前看，分布式计算，尤其是其中的云计算是提升算力的一个有效之举。而要让云计算的效应充分发挥，就需要大力建设各类算力基础设施。唯有如此，才可以让人们随时随地都可以直接通过网络获得所需的算力资源。这里需要指出的是，在布局算力基础设施的时候，应当慎重考虑它们的地域和空间分布，尽可能降低算力的成本。我们知道，不同的地区的土地、水、电力等要素的价格是不同的，这决定了在不同地区生产相同的算力所需要的成本也不尽相同。因此，在建设算力基础设施时，必须统筹全局，尽可能优化成本。需要指出的是，我国正在推进的“东数西算”工程就是这个思路的一个体现。由于我国东部各种资源的使用成本都要高于西部，因此在西部地区建立算力设施，就会大幅降低算力的供给成本，从而在全国范围内达到更优的配置效率。第二，应当加强与算力相关的硬件技术及其应用的研发，为增加算力供应提供支持。与算力相关的硬件技术既包括基于经典计算的各种硬件，如芯片、高性能计算机等，也包括超越经典计算理论，根据新计算理论开发的硬件，如量子计算机等。从供给的角度看，这些硬件是根本，它们的性能直接关系到算力提供的可能性界限。因此，必须用政策积极促进这些硬件的攻关和研发。尤其是对于一些“卡脖子”的项目，应当首先加以突破。这里需要指出的是，在进行技术研发的同时，也应该积极探索技术的应用。例如，我们现在已经在量子计算领域取得了一些成果，但是由于用例的缺乏，这些成果并没有能够转化为现实的应用。从这个意义上讲，我们也需要加强对技术应用的研究。如果可以把一些计算问题转化成量子计算问题，就可以充分发挥量子计算机的优势，实现计算效率的大幅提升。第三，应当对算法、架构等软件层面的要素进行优化，在保证AI产品性能的同时，尽可能减少对算力的依赖。从降低AI计算成本的角度看，降低模型的算力需求和提升算力具有同等重要的意义。因此，在用政策的手段促进算力供给的同时，也应当以同样的力度对算法、架构和模型的优化予以同等的激励。考虑到类似的成果具有十分巨大的社会正外部性，因此用专利来保护它们并不是最合适的。因此，可以积极鼓励对取得类似成功的人员和单位给予直接的奖励，并同时鼓励他们将这些成果向全社会开源；也可以考虑由政府出面，对类似的模型产品进行招标采购。如果有个人和单位可以按照要求提供相应的成果，政府就支付相应的费用，并对成果进行开源。通过这些举措，就可以很好地激励人们积极投身到改进模型、节约算力的事业中，也可以在有成果产出时，让全社会及时享受到这些成果。总而言之，在人工智能突飞猛进的时代，算力可能是决定人工智能发展上限的一个关键因素。唯有在算力问题上实现突破，人工智能的发展才可能有根本保障。来源：金色财经

24小时热点