我們真的沒有 GPU 計算能力了嗎，還是我們只是在 錯誤的地方尋找 錯誤類型的GPU？最近，GPU短缺的 消息隨處可見。生成式人工智能的爆炸式增長導(dǎo)致了 對以人工智能為中心的 GPU 的瘋狂搶購和漫長的等待時間。對于正在成長的提供大規(guī)模推理服務(wù)的人工智能公司來說，這種 GPU 的短缺并不是真正的問題。 選擇合適的 GPU 才是。
AI 推理可擴(kuò)展性和“合適大小”的 GPU
當(dāng)今的“GPU 短缺”實際上是由于 使用效率低下以及對不符合大規(guī)模 AI 應(yīng)用程序需求的 GPU 支付過高的費(fèi)用造成的。大型云計算公司和硬件制造商的營銷機(jī)器已經(jīng)成功地說服開發(fā)人員，他們 絕對需要最新、最強(qiáng)大的硬件 才能成為一家成功的 AI 公司。
A100 和 H100 非常適合訓(xùn)練高級模型，它們無疑是速度最快、最先進(jìn)的 GPU，理應(yīng)受到廣泛關(guān)注。但這些 GPU 數(shù)量不足，而且即使有售，也需要預(yù)付款或簽訂現(xiàn)有合同。
最近有一篇文章，有兩點證實了這一點：
即使是 OpenAI 也無法獲得足夠的 GPU，這嚴(yán)重限制了其近期的發(fā)展路線圖。由于 GPU 短缺，OpenAI 無法部署其多模式模型。
盡管 Nvidia 試圖大幅提高產(chǎn)量，但最高端的 Nvidia GPU H100 仍將缺貨。
同時，GPU 基準(zhǔn)測試數(shù)據(jù)表明，在許多用例中，您不需要最新、最強(qiáng)大的 GPU。消費(fèi)級 GPU（RTX3090、A5000、RTX4090 等）不僅具有高可用性，而且 每美元可提供更多的推理，從而大大降低您的云成本。
在正確的階段選擇“合適大小”的 GPU 可以讓生成式 AI 公司走上盈利、可擴(kuò)展的增長之路，降低云成本，并免受“GPU 短缺”的影響。
如何找到“合適尺寸”的 GPU？
在確定適合您應(yīng)用程序的“合適大小” GPU 時，需要考慮幾個因素。第一步是評估應(yīng)用程序在 AI 模型生命周期的每個階段的需求。這意味著要考慮數(shù)據(jù)預(yù)處理、訓(xùn)練和推理等任務(wù)的不同計算、網(wǎng)絡(luò)和存儲要求。
訓(xùn)練模型
在機(jī)器學(xué)習(xí)模型的訓(xùn)練階段，通常需要大量的計算資源。這包括使用高性能圖形處理單元 (GPU)，其數(shù)量可能從數(shù)百到數(shù)千個不等。這些 GPU 需要通過專門設(shè)計的集群中的閃電般快速的網(wǎng)絡(luò)連接進(jìn)行連接，以確保機(jī)器學(xué)習(xí)模型獲得有效訓(xùn)練所需的資源。這些專門設(shè)計的集群針對機(jī)器學(xué)習(xí)的特定需求進(jìn)行了優(yōu)化，能夠處理訓(xùn)練階段所需的大量計算需求。
示例：訓(xùn)練Stable Diffusion（大約成本：60 萬美元）
服務(wù)模型（推理）
在為您的模型提供服務(wù)時，可擴(kuò)展性和吞吐量尤為重要。通過仔細(xì)考慮這些因素，您可以確保您的基礎(chǔ)設(shè)施能夠滿足不斷增長的用戶群的需求。這包括注意預(yù)算限制和架構(gòu)考慮。
值得注意的是，在許多例子中，用于 推理的 GPU 要求明顯低于用于訓(xùn)練的 GPU 要求。盡管如此，許多人仍繼續(xù)使用相同的 GPU 執(zhí)行這兩項任務(wù)。這可能會導(dǎo)致效率低下，因為硬件可能未針對每項任務(wù)的獨(dú)特需求進(jìn)行優(yōu)化。通過花時間仔細(xì)評估您的基礎(chǔ)設(shè)施需求并進(jìn)行必要的調(diào)整，您可以確保您的系統(tǒng)盡可能高效、有效地運(yùn)行。
示例 1：消費(fèi)級 GPU 上每美元可獲得的圖像數(shù)量增加 6 倍
在最近的 Stable Diffusion 基準(zhǔn)測試中，與專注于 AI 的 GPU 相比，消費(fèi)級 GPU 每美元可生成 4 至 8 倍的圖像。大多數(shù)文本轉(zhuǎn)圖像領(lǐng)域的生成式 AI 公司都可以使用消費(fèi)級 GPU 進(jìn)行大規(guī)模推理。經(jīng)濟(jì)性和可用性使其成為此用例的贏家。
示例 2：提供Stable Diffusion XL
在最近推出 SDXL 的公告中，Stability.ai 指出 SDXL 0.9 可在僅具有 16GB RAM 和至少 8GB vRAM 的現(xiàn)代消費(fèi)級 GPU 上運(yùn)行。
大規(guī)模提供“合適規(guī)模”的人工智能推理
在捷智算平臺，我們深知能夠在不花太多錢的情況下大規(guī)模提供 AI/ML 推理的重要性。因此，我們創(chuàng)建了一個全球分布的消費(fèi)級 GPU 網(wǎng)絡(luò)，該網(wǎng)絡(luò)從頭開始設(shè)計，以滿足您的需求。我們的客戶發(fā)現(xiàn)，轉(zhuǎn)向捷智算平臺而不是依賴大型云計算提供商不僅可以節(jié)省 高達(dá) 90% 的云成本，還可以改善他們的產(chǎn)品供應(yīng)并減少開發(fā)運(yùn)營時間。
示例：24 小時內(nèi)生成 900 多萬張圖片，僅需 1872 美元
在最近為客戶進(jìn)行的基準(zhǔn)測試中，我們在 24 小時內(nèi)生成了 920 萬張穩(wěn)定擴(kuò)散圖像，成本僅為 1872 美元 - 全部使用 Nvidia 的 3000/4000 系列 GPU。這意味著每美元可以生成約 5000 張圖像，從而為這家圖像生成公司節(jié)省了大量成本。
使用捷智算平臺，您無需擔(dān)心昂貴的基礎(chǔ)設(shè)施維護(hù)或意外停機(jī)。如果它在您的系統(tǒng)上有效，它也可以應(yīng)用于捷智算平臺。相反，您可以專注于真正重要的事情 - 服務(wù)于不斷增長的用戶群，同時保持盈利。
要了解您的用例是否適合消費(fèi)級 GPU， 請立即聯(lián)系我們的團(tuán)隊。
