本文詳細(xì)探討了GPU的重要性、設(shè)計初衷及其在AI訓(xùn)練和推理中的應(yīng)用，同時介紹了CUDA平臺及其對GPU計算能力的擴(kuò)展。通過深入了解GPU和CUDA，讀者可以更加明晰當(dāng)前AI技術(shù)發(fā)展的趨勢和需求，以及如何利用這些技術(shù)推動行業(yè)的前進(jìn)。

身處AI時代的我們，想必都聽過”GPU“、英偉達(dá)。但是真正了解GPU的人，可能并不多。本文，通過與chatGLM一系列對話，對GPU相關(guān)問題,刨根問底，得到了答案。讓我們一起來看看吧…

記得本人剛?cè)胄?，做私有化交付型的一些AI產(chǎn)品和項目的時候，一些AI算法模型，我們會同時給出CPU版本性能參數(shù)和GPU性能參數(shù)，有些AI算法服務(wù)需要客戶自行準(zhǔn)備GPU機(jī)器，用于算法前期POC測試和運行。印象最深刻的就是：幾乎所有涉及到圖像處理、CV領(lǐng)域的算法，比如車輛檢測、物體檢測、人臉識別等都需要GPU機(jī)器。當(dāng)時，我就是那么去“記”的，也沒怎么耽誤推進(jìn)產(chǎn)品和項目進(jìn)度，所以也沒深究到底什么是GPU？、什么是CUDA？

恰逢本人今年4月份，在面試某公司大模型產(chǎn)品經(jīng)理崗位時（偏技術(shù)型），被問到了 “什么是CUDA？”——所以趁有時間，分享一下~

當(dāng)前AIGC的時代浪潮已經(jīng)掀過一翻，目前遺留的最大問題就是：【算力短缺問題】。所以，未來大力發(fā)展“算力”，是大勢所趨。我們AI的從業(yè)者們，也可再往深入探究一些，為行業(yè)的共同發(fā)展和認(rèn)知普及，做一些貢獻(xiàn)。——這也是本篇本章產(chǎn)出的另一原因。

一、GPU是啥？干嘛用的？非它不可嗎？

眾所周知，在【電腦】里，有個充當(dāng)”腦子“的東西，叫做：CPU（中央處理單元），它能夠進(jìn)行各種計算任務(wù)，包括圖像處理和數(shù)據(jù)分析。

好，那直接用CPU進(jìn)行各種運算不就得了，為啥做深度學(xué)習(xí)、搞AI模型的這幫團(tuán)隊，非得用GPU？

—————一個字：快！七個字：并行計算，所以快！

好，那下面再深究一下：

1. 為何GPU就能并行計算了？
2. GPU怎么個并行計算法？
3. GPU的發(fā)明，是為了解決什么問題的？

1. GPU的設(shè)計初衷——為了加速圖形計算和圖形渲染

背景：在20世紀(jì)90年代，計算機(jī)游戲和多媒體內(nèi)容的興起，對于能夠快速生成復(fù)雜3D圖形的硬件需求日益增長，而那時的CPU只能順序執(zhí)行指令。

2. 為什么圖像圖形計算，就非得需要“并行運算“提效呢？

并行計算提效的原因：一個工人一個點一個點噴涂 v.s. 一堆工人同時噴涂。

圖形計算與渲染需要計算每個像素點的亮度、顏色等數(shù)值，如果一個點一個點順序執(zhí)行，那太慢，而并行運算就快很多啦。——GPU 有多個核。

下面這張圖更直接：

3. 為何AI訓(xùn)練、AI推理等深度學(xué)習(xí)任務(wù)，也需要高性能運算？為何選GPU？

在AI推理中，有很多重復(fù)性的計算，比如大量的加減乘除運算。

在AI深度學(xué)習(xí)任務(wù)中，建模的目標(biāo)就是：求解目標(biāo)函數(shù)?！繕?biāo)函數(shù)求解，需要求解出每個特征對應(yīng)的參數(shù)。——比如現(xiàn)在的AI大模型，動不動10億級別、百億級別參數(shù)量級。

圖：目標(biāo)函數(shù)示例

所以，需要提高訓(xùn)練和在線推理性能的東西?！怯袀€現(xiàn)成的東西：GPU?？梢阅脕砑从?。

GPU的應(yīng)用場景，也由最初的”加速圖形渲染“，演變到了現(xiàn)在的”通用計算“場景。

二、什么是CUDA？

好了，了解了前面GPU是什么、GPU的設(shè)計初衷、GPU能干嘛？（加速圖形計算–通用高性能計算：AI訓(xùn)練&AI推理）；

下面再了解一下，什么是CUDA吧？

——CUDA，是在英偉達(dá)Ian Buck（CUDA項目負(fù)責(zé)人）率領(lǐng)下，于2006年正式推出的全球首款GPU上的通用計算解決方案。可以理解為，它是一個軟件平臺，里面包含各種庫函數(shù)，包括：圖形庫、數(shù)學(xué)庫、深度學(xué)習(xí)庫、runtime庫等；個人理解，CUDA它就是實現(xiàn)AI深度學(xué)習(xí)任務(wù)的一個軟件平臺或框架，類似的還有Pytorch、Tensorflow。

三、除了英偉達(dá)的V100、A100、H100等GPU，還有哪些廠家有哪些GPU？

1. 國外除了英偉達(dá)做AI芯片的廠商，還有：

數(shù)據(jù)來源：chatGLM-2024年7月.

2. 國內(nèi)做AI算力的廠商，以華為昇騰為主力代表，其它廠家還有：

遂原科技（騰訊投資）、地平線、寒武紀(jì)、百度（昆侖芯片）、比特大陸、中科曙光、海光、壁仞科技、摩爾線程（GPU芯片“春曉”）、礪算科技（G100）、象帝先（天鈞一號）、智繪微（IDM9系列）、芯動力（RPP-R8）等等；

更多國產(chǎn)算力芯片廠商，可詳見這篇文章：GPU國產(chǎn)替代逆流而上 盤點九個值得關(guān)注的國產(chǎn)GPU產(chǎn)品（https://new.qq.com/rain/a/20230108A00HNE00），或者自行翻一翻歷年的《算力行業(yè)研究報告》~

四、本文參考資料

1、一文讀懂 GPU 的發(fā)展歷程：https://juejin.cn/post/7125824952342675464

2、英偉達(dá)為什么這么紅：說說GPU計算背后的故事：https://new.qq.com/rain/a/20230108A00HNE00

3、GPU國產(chǎn)替代逆流而上 盤點九個值得關(guān)注的國產(chǎn)GPU產(chǎn)品：https://new.qq.com/rain/a/20230108A00HNE00