GPU如何成为AI的加速器

目录

0. 前言

1. 从显卡的诞生说起

2. GPU粉墨登场

3. 渲染——让计算机图像更逼真

4. 从GPU到GPGPU

5. CUDA——奠定了NVIDIA成为寡头的基础

6. 未来不只有GPU

20231122更新

0. 前言

按照国际惯例，首先声明：本文只是我自己学习的理解，虽然参考了他人的宝贵见解，但是内容可能存在不准确的地方。如果发现文中错误，希望批评指正，共同进步。

本文关键词：GPU、深度学习、GPGPU、渲染、Brook语言、流计算、硬件T&L、CUDA、PyTorch、TOPS、TPU、NPU

深度学习理论的发展是一个渐进的过程，从1940年代人工神经元网络的提出到1970~1980年代的反向传播的提出及兴起，再到2006年后深度学习的崛起，这个过程经历了多个阶段。早期的深度学习理论受限于硬件性能，无法进行大规模的数据训练，网络也不能做的太深。近年来随着硬件性能的不断提升，尤其是图形处理器（GPU）的发展，深度学习理论乃至整个AI领域开始得以快速发展及广泛应用。

你在最初接触深度学习时是否有以下疑问：

• 显卡不是用来处理计算机图像的吗，怎么和AI算法、深度学习扯上了关系？
• GPU为什么就比CPU处理深度学习训练过程更快？
• 为什么我的电脑明明有显卡，确不能使用显卡进行深度学习的训练加速？

  以上疑问促使了本文的创作，但是经历大量资料查阅后，我发现要讲清楚这些问题涉及了很多领域的专业理论，而我本人也非这些方面的专家，所以只能以科普的方式带大家（以及我自己）一瞥这个深奥且广阔的领域。

  1. 从显卡的诞生说起

  1981年，在IBM推出的计算机IBM 5150中搭载了世界上的首个“独立显卡”——CGA（Color Graphics Adapter，彩色图形适配器）。CGA两种常用的图形显示模式：320×200分辨率4色和640×200分辨率2色，我们熟知的Pac-Man吃豆人游戏运行在CGA上的效果如下：

  

  在80~90年代，IBM又相继推出了EGA (Enhanced Graphics Adapter)和VGA (Video Graphics Array)，这些“显卡”可以支持更高的分辨率及更多的显示颜色。

  但是无论CGA、EGA还是VGA这些“显卡”本身并不具有计算能力，仅仅是将CPU计算生成的图形翻译成显示设备能识别的信号来进行显示。“显卡”完全根据CPU的指令进行相应的操作，然后将结果返回给CPU，纯纯是CPU的打工仔。所以这个阶段的“显卡”严格意义上来说也不能叫“显卡”，叫“图形适配器”或者“图像加速卡”更合适。

  2. GPU粉墨登场

  随着对图像显示要求越来越高，尤其是3D图像显示越来越普及，仅靠CPU已经不能达到越来越复杂的图像处理要求，因此需要一块真正有算力的芯片——显卡来单独处理图像。显卡在90年代经历了混战的局面，当时几十家做显卡的公司各有个的开发标准，各家的兼容性也非常差。这段时期的显卡典型代表是3dfx公司的Voodoo显卡。

  显示标准与硬件驱动兼容多么重要啊！还记得小时候下载完（盗版）游戏，眼巴巴等着下载完了，安装完了，但是不能玩！

  

  真正具有划时代意义的产品是NVIDIA英伟达在1999年9月推出的GeForce 256被称为——世界上首个GPU，不仅搭载了硬件T&L引擎（Transforming&Lighting，T&L的最大功能是处理图形的整体角度旋转以及光源阴影等三维效果。）也支持微软的Direct 3D显示。从此NVIDIA也就开始了在GPU领域的领导之路。

  NVIDIA这个名字起源于罗马神话的Invidia，在拉丁文中，Invidia有忌妒与目不转睛之意，和恶意及“邪恶之眼”有相对应的关系，所以英伟达的logo也就是一只眼睛。

  

  但是由于INVIDIA这个名字已经被注册，英伟达选择了去掉最开始的“I”，注册了NVIDIA这个名字，但是在其中文名“英伟达”中保留了“I”的发音。

  随着3D图像领域尤其是游戏领域的蓬勃发展，推动了各大厂商快速迭代GPU的性能，GPU从昔日CPU的打工仔，逐渐开始与CPU平起平坐。GPU在有了自己的算力后也承担越来越多的工作任务。

  3. 渲染——让计算机图像更逼真

  首先我们看一下2021年发布的《极限竞速：地平线5》游戏画质：

  

  没错，上面这个图片并非实拍而是游戏中的画面，而游戏画面能从吃豆人进化到地平线5要归功于——渲染。而要达到计算机生成的图像能有以假乱真的效果，靠CPU是无法完成的（CPU硬件设计原理就不适合渲染计算，这个后面会讲），于是这个任务就由最初的完全由CPU负责，逐步完全转移给GPU。

  渲染是一门庞杂的工程学科，本文也不可能逐个介绍渲染包含的各个算法（这也并非本文的重点），我们只需明白它的本质是将颜色分配到像素上的过程，它可以根据物体的形状、材质和光源等信息，计算出每个像素的颜色，渲染算法主要包含以下方面：

  • 几何处理：将3D模型的几何信息转化为计算机能够处理的形式，包括点、线、面等基本几何元素的描述。
  • 光线追踪：光线追踪是一种计算光线在场景中的路径的技术，它可以模拟光线在场景中的反射、折射和散射等现象，从而生成逼真的图像。
  • 纹理映射：纹理映射是将纹理贴图应用到模型表面的技术，它可以模拟物体表面的纹理，例如木纹、石纹等。
  • 透视投影：透视投影是将三维场景转换为二维图像的技术，它可以模拟人的视觉感知，从而生成逼真的图像。

    下面我们仅以几何处理中最基本的点在三维坐标系的运动来举例：假设点在三维坐标系中分别绕x, y, z三个轴旋转角度，并以位移平移，得到运动后的点为：

    

    旋转矩阵为：

    

    公式写到这里，如果你对神经元网络的数学模型比较熟悉是不是已经发现了什么？如果把旋转矩阵简写为：

    

    这个矩阵的计算过程不正是神经元网络模型的正向传播过程吗！

    那GPU能否也应用到神经元网络模型计算及其他主要用到矩阵运算的领域，让GPU不仅应用于图形计算而变得更“通用”？你不是第一个想到这个的人！

    4. 从GPU到GPGPU

    2004年Ian Buck等人在Brook for GPUs: Stream Computing on Graphics Hardware提出：随着可编程图形硬件的发展，这些处理器的功能指令已经非常通用，已经可以在渲染领域之外使用了！通用GPU——GPGPU(General Purpose Graphic Process Unit)的概念被提出。

    这篇文章主要为GPU引入了流计算编程系统——Brook。最初对GPU的编程仅能使用汇编语言，在Brook之前虽然也有一些基于C语言的高级语言被提出来对GPU进行编程，但是这些语言仍然把GPU仅仅作为一个图像渲染器，而且限制很多，不能虚拟化底层硬件的限制，导致当时GPU的开发人员不仅要掌握最新的图像程序API，还必须了解所使用的GPU硬件的特征及限制，对编程人员提出了极高的要求。

    而改进后的Brook语言可以反应不同硬件的的能力，并且在传统C语言上延展出了数据并行处理(Data Parallelism)架构，提升了硬件的算力密度(Arithmetic Intensity)。

    这里说明下上面提到的流计算(Stream computing)，包含3个主要概念：

    • 流(Streams)：流可以理解为要处理的原始数据，这些数据①是可以并行处理的，②是动态数据，③是可以即时处理的，而不用等数据完全收集完之后才开始处理；
    • 核(Kernel)：作用于流上的算法；
    • Reduction：这是核的一个机制，即把多个流合并成一个流，或者把一个更大的流减少成更小的流，如果你了解卷积神经元网络（CNN），可以很容易理解核和Reduction；

      流计算在我们现在的生活场景应用已经非常普遍了，例如：视频直播、实时监控、网络购物等等……

      如果你不了解CNN，可以看一下我的往期博客：卷积神经元网络中常用卷积核理解及基于Pytorch的实例应用（附完整代码）_卷积神经网络卷积核选择-CSDN博客

      文章介绍到这里，我们应该明白了为什么原本用于图像处理的GPU可以通用化跨界到其他领域，那为什么在深度学习中GPU可以取得比CPU更快的处理速度呢？

      这是由硬件底层的架构决定的：CPU的设计目的是处理串行的复杂计算（例如排序算法），而GPU的设计目的是处理并行的简单运算（例如渲染算法、深度学习算法）。CPU和GPU的区别如下表：

      究竟GPU比CPU快多少呢？下面这篇博客就直观对比了GPU和CPU在大矩阵点积运算上的速度【PyTorch&TensorBoard实战】GPU与CPU的计算速度对比（附代码）_使者大牙的博客-CSDN博客

      

      

      从处理器的核心数量上可以直观地看出差距，使用目前消费级CPU和GPU来对比：Intel 酷睿i9 13900K CPU：24核心，32线程；NVIDIA GeForce系列GPU核心数如下：

      

      显然GPU成千上万的核心数更加适合深度学习数学模型的简单大量计算要求，这个视频就非常直观地阐释了多核GPU在并行计算上的优势：NVIDIA现场形象展示CPU和GPU工作原理上的区别_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1ry4y1y7KZ/?spm_id_from=autoNext&vd_source=b1f7ee1f8eac76793f6cadd56716bfbf

      讲到这里，似乎会有种GPU比CPU性能更好的错觉，但是我们必须要意识到多核心的GPU仅能处理简单的运算，涉及到复杂的运算还是要靠CPU，两者各有所长，上面的视频仅是从GPU更擅长的工作角度展现的GPU的原理！

      5. CUDA——奠定了NVIDIA成为寡头的基础

      在2006年NVIDIA也在费尽心思地想如何打造完整的GPU生态，估计老黄也是看到了上面的论文，就把主要作者Ian Buck挖到了NVIDIA（Ian Buck现在已经是NVIDIA副总裁兼加速计算首席总监。），而后NVIDIA在2007年推出了改变游戏规则的、具有划时代意义的算力平台高级编程语言——CUDA（Compute Unified Device Architecture）。

      

      CUDA的出现奠定了后日NVIDIA在GPU领域成为霸主的地位，甚至在最近衡量一个公司的算力水平就看这个公司购买了多少个NVIDIA的A100显卡。

      

      CUDA我们可以简单理解为NVIDIA自己专用的Brook环境，CUDA支持多种高级编程语言，也内部封装了很多库文件，极大地便利了开发者的使用。

      

      NVIDIA也不惜重金投入，改进自己的GPU硬件，让它们支持CUDA。

      

      上面的Tesla不是马斯克的特斯拉……是英伟达自己的产品型号。

      上面已经介绍过，对于深度学习这类大吞吐量的并行算法，GPU有着天然的优势，所以现在主流的第三方库都会兼容CUDA，例如PyTorch（其实PyTorch大部分就是由C++和CUDA编写的）

      

      安装CUDA版PyTorch后，可以查看CUDA的可用性：

      print(torch.cuda.is_available())

      如果为True则表示CUDA可用。

      至此我们回到最上面的问题：为什么我的电脑明明有显卡，确不能使用显卡进行深度学习的训练加速？

      因为必须使用支持CUDA的显卡=NVIDIA的显卡才能进行GPU加速啊！！！

      而在近些年来，AI的爆火也推进了NVIDIA市值爆发式地增长，其他公司也翻过头来想推出类似CUDA的产品，无奈在2007年就起跑的NVIDIA已经“遥遥领先”。所以说CUDA奠定了今天NVIDIA成为寡头的基础一点也不为过，现在我们在NVIDIA的官网上看下它涉及的业务领域（甚至可以说NVIDIA已经成为这些领域绕不开的存在了），你如果不知道这个公司，能猜到它原本的主营业务是造显卡的吗？

      

      这里也必须再说明下，从本文的介绍来看好像感觉一切的发展都是那么的合理，但是NVIDIA的成长绝非顺风顺水！！！

      且不说早期弱小的NVIDIA在与微软、ATI、AMD、INTEL等巨头的纠纷中几经被推进ICU，就单论CUDA的投入几乎让NVIDIA濒临破产。老黄在后面的演讲中是这样形容的：

      
      

      老黄的完整版演讲（需要FQ）：https://m.youtube.com/watch?v=mkGy1by5vxw&t=0s

      而让NVIDIA的GPU都支持CUDA这也绝对是一个非常大胆的决定！我仍记得在上大学选择电脑时，当时的原则是必须要买A卡，因为N卡有发热大、开机没画面的风险，而这些都是因为老黄执着地改变GPU的设计，让GPU兼容CUDA的早期问题！

      如果后期没有比特币的爆火、没有AI的爆火、没有元宇宙的爆火，估计可能NVIDIA未必能支撑到今天。（当然NVIDIA也反过来推进了这些领域的爆火）

      6. 未来不只有GPU

      GPU虽然相比于CPU在AI算法上更有优势，但是GPU的诞生原本并不是为了AI算法，只不过是因为它的通用性被人发掘而跨界应用到了AI领域。那么可否为AI相关领域的芯片进行“私人定制”呢？

      答案是肯定的，现在已有多种专用集成电路（ASIC）被推出，这些ASIC相比GPU有着更低的功耗、更高的算力，下面仅简单介绍两种常见的ASIC——NPU和TPU。

      NPU(Neural network Processing Unit，神经元网络处理器)

      顾名思义NPU是专门用来处理神经元网络模型的处理器，其在电路架构上的设计思路是参考神经元的特性——计算和存储一体化，而通过上面CPU和GPU的原理图我们可以看到计算（core，其实就是ALU）和存储（cache）仍然是分离的。目前NPU已经有很广泛的应用了，例如下面苹果A15芯片的NEURAL ENGINE：

      

      TPU(Tensor Processing Unit, 张量处理器)

      TPU的诞生背景是2013年谷歌发现人们平均每天会有3min使用语音搜索功能，这对谷歌的数据中心的算力要求几乎翻倍，因此他们想设计一款比GPU起码多10倍算力的ASIC，于是TPU在2017年被提出。

      TPU的主要计算单元是256×256的矩阵乘法单元，TPU的设计思路就是让这个矩阵乘法单元一直不间断地运算。一个包含65,536个8位MAC(Multiply Accumulate，乘法累计运算)块的TPU可以达到92TOPS的算力，是当时GPU的15~30倍，而算力功耗比TOPS/W是当时GPU的30~80倍！

      

      这里再科普两个单位：TOPS（Tera Operations Per Second）和TFLOPS（Tera Floating Point Operations Per Second）

      TOPS是指每秒钟可执行的整数运算次数（Operations Per Second），主要应用在图像处理、语音识别等。

      TFLOPS则是指每秒钟可执行的浮点运算次数（Floating Point Operations Per Second），主要应用在科学计算、人工智能训练等需要大量浮点运算的应用领域。

      区分两者的主要差异在于计算的类型，两者没有固定的转换关系，但是由于浮点运算比整数运算更复杂，所以在相同的计算设备下，TFLOPS通常会比TOPS更低。

      本文主要参考文献：

      [1]英伟达官网：World Leader in Artificial Intelligence Computing | NVIDIA

      [2]FletcherDunn,IanParberry,邓恩,等.3D数学基础:图形与游戏开发[M].清华大学出版社,2005.

      [3]Buck I , Foley T , Horn D ,et al.Brook for GPUs: Stream computing on graphics hardware[J].ACM Transactions on Graphics, 2004, 23(3):777-786.DOI:10.1145/1186562.1015800.

      [4]刘振林,黄永忠,王磊,等.基于Brook在GPU的应用[J].信息工程大学学报, 2008, 9(1):5.DOI:10.3969/j.issn.1671-0673.2008.01.022.

      [5]Jouppi N P , Young C , Patil N ,et al.In-Datacenter Performance Analysis of a Tensor Processing Unit[J].Computer architecture news, 2017, 45(2):1-12.DOI:10.1145/3079856.3080246.

      20231122更新

      这里更新一个之前想写但是忘记的内容——黄氏定律。

      我们所熟知的摩尔定律：集成电路上可以容纳的晶体管数目在大约每经过18个月到24个月便会增加一倍。换言之，处理器的性能大约每两年翻一倍。但是随着时间的推移，因为芯片线宽已经趋近于物理极限，摩尔定律逐渐失效。

      而黄氏定律在计算机科学领域有望替代摩尔定律指导AI的发展。黄氏定律是以英伟达首席执行官黄仁勋（Jensen Huang）名字命名的定律，其预测GPU将推动AI性能实现逐年翻倍，10年翻1024倍。

      

      20240601更新

      关于英伟达，确实现在已经成为了在AI领域“无法绕开的存在了”，前段时间专为英伟达写了一篇文章：【自动驾驶技术】自动驾驶汽车AI芯片汇总——NVIDIA篇

      刚好昨天参加了英伟达的技术交流会，获取了很多关于最新产品Thor以及新一代GPU——blackwell的信息，可惜由于涉密无法与各位C友分享！英伟达的芯片技术团队现场答疑说Thor以及blackwell的技术白皮书会在明年（2025年）Q1公开，让我们拭目以待吧！

      

      另外我现在就是非常非常的后悔，从我发表这篇文章到现在，英伟达的股价已经翻了2倍多了！！！当时为什么没有ALL IN英伟达！！

      2023年10月6日457刀

      

      今天（2024年6月1日）1096刀