avater
優分析.2024.05.23

Nvidia財報會議-逐字稿 2024-5-22

圖片來源:Reuters/TPG

2024年5月23日(優分析產業數據中心) - 

下午好。我的名字是Regina,我將是今天的會議操作員。現在,我想歡迎大家參加NVIDIA的第一季度財報電話會議。為了防止任何背景噪音,所有線路都已被靜音。在演講者發言後,將進行問答環節。

謝謝。Simona Jankowski,您可以開始會議了。

謝謝。大家下午好,歡迎參加NVIDIA 2025財年第一季度財報電話會議。今天和我一起參加的有NVIDIA總裁兼首席執行官黃仁勳和執行副總裁兼首席財務官Colette Kress。我想提醒大家,我們的電話會議正在NVIDIA投資者關係網站上進行直播。該網絡直播將在2025財年第二季度財報電話會議之前可供重播。

今天會議的內容屬於NVIDIA的財產。未經我們事先書面同意,不得重製或轉錄。在本次電話會議期間,我們可能會根據當前預期發表前瞻性陳述。這些陳述受多種重大風險和不確定因素的影響,我們的實際結果可能會有重大差異。關於可能影響我們未來財務業績和業務的因素,請參閱今天的財報新聞稿、我們最近的10-K和10-Q表格以及我們可能提交給證券交易委員會的8-K表格。

我們的所有聲明均基於截至今天2024年5月22日的當前信息。除法律要求外,我們不承擔更新此類聲明的義務。在本次電話會議期間,我們將討論非GAAP財務指標。您可以在我們的首席財務官評論中找到這些非GAAP財務指標與GAAP財務指標的對賬,該評論已發布在我們的網站上。讓我強調一些即將到來的活動。

6月2日星期天,在台灣的Computex技術貿易展之前,黃仁勳將發表主題演講,該演講將在台北現場舉行並進行直播。6月5日,我們將在舊金山的美國銀行技術會議上發表演講。接下來,我將電話交給Colette。

謝謝,Simona。第一季度又是一個創紀錄的季度。營收為260億美元,環比增長18%,同比增長262%,遠高於我們240億美元的預期。首先是數據中心。數據中心收入達到226億美元,創歷史新高,環比增長23%,同比增長427%,這得益於NVIDIA Hopper GPU計算平台的持續強勁需求。

計算收入同比增長超過5倍,網絡收入同比增長超過3倍。強勁的數據中心環比增長來自各類客戶,主要是企業和消費者互聯網公司。大型雲提供商繼續推動強勁增長,因為他們在大規模部署和推廣NVIDIA AI基礎設施,佔我們數據中心收入的40%左右。在NVIDIA CUDA上進行AI訓練和推理推動了雲租賃收入的顯著加速,為雲提供商的投資帶來了即時且強勁的回報。每花費1美元在NVIDIA AI基礎設施上,雲提供商在4年內有機會賺取5美元的GPU實例托管收入。

NVIDIA豐富的軟件堆棧和生態系統以及與雲提供商的緊密集成,使最終客戶可以輕鬆地在公共雲上使用NVIDIA GPU實例。對於雲租賃客戶,NVIDIA GPU提供了最快的訓練時間、最低的訓練成本和最低的大語言模型推理成本。對於公共雲提供商來說,NVIDIA為他們的雲帶來了客戶,推動了收入增長和基礎設施投資的回報。領先的大型語言模型公司如OpenAI、Adept、Anthropic、Character AI、Cohere、Databricks、DeepMind、Meta、Mistral、XAI等都在NVIDIA AI的雲上構建。企業在本季度推動了數據中心的強勁環比增長。

我們支持特斯拉將其訓練AI集群擴展到35,000個H100 GPU。他們使用NVIDIA AI基礎設施為突破性性能的FSD版本12(其基於視覺的最新自動駕駛軟件)奠定了基礎。視頻變壓器雖然消耗了顯著更多的計算能力,但正在顯著提高自動駕駛能力,推動NVIDIA AI基礎設施在汽車行業的顯著增長。我們預計今年汽車行業將成為我們數據中心最大的企業垂直領域,推動數十億美元的收入機會,包括本地和雲端消費。消費者互聯網公司也是一個強勁的增長垂直領域。

本季度的一個重大亮點是Meta宣布的LAMA 3,這是他們最新的大型語言模型,該模型在24,000個H100 GPU集群上進行了訓練。Llama3為Meta AI提供動力,這是一個新的AI助手,適用於Facebook、Instagram、WhatsApp和Messenger。Llama3是開放的,並已啟動了一波跨行業的AI開發。隨著生成AI進入更多的消費者互聯網應用程序,我們預計隨著模型複雜性的增加以及用戶數量和每位用戶查詢數量的增加,推理將繼續增長,推動對AI計算的更大需求。在過去的四個季度中,我們估計推理約佔我們數據中心收入的40%,訓練和推理都在顯著增長。

像Meta和Tesla建造的大型集群是AI生產所需的基本基礎設施的例子,我們稱之為AI工廠。這些新一代數據中心主機先進的全堆棧加速計算平台,數據進來,智能出去。在第一季度,我們與超過100個客戶合作,建設AI工廠,規模從100個到數萬個GPU不等,有些達到100,000個GPU。從地理角度來看,隨著世界各國投資主權AI,數據中心收入繼續多樣化。主權AI是指一個國家利用自己的基礎設施、數據、勞動力和商業網絡生產人工智能的能力。

各國通過不同的模式建立本地計算能力。一些國家正在與國有電信提供商或公用事業公司合作,採購和運營主權AI雲。其他國家則贊助本地雲合作伙伴為公共和私營部門提供共享的AI計算平台。例如,日本計劃投資超過7.4億美元於關鍵數字基礎設施提供商,包括KBDI、Sakura Internet和SoftBank,以建立該國的主權AI基礎設施。法國的Scaleway,Iliad集團的子公司,正在建設歐洲最強大的雲原生AI超級計算機。

在意大利,Swisscom集團將建設該國首個最強大的NVIDIA GTX超級計算機,用於開發首個以意大利語本地訓練的大型語言模型。在新加坡,國家超級計算中心正在使用NVIDIA Opera GPU進行升級,而Singtel則在東南亞建立NVIDIA加速的AI工廠。NVIDIA提供端到端的計算到網絡技術、全堆棧軟件、AI專業知識以及豐富的合作伙伴和客戶生態系統,使主權AI和區域雲提供商能夠快速啟動他們的國家AI計劃。從去年的空白到今年,我們認為主權AI收入可以接近數十億美元。AI的重要性引起了每個國家的關注。

我們已經推出了專為中國設計的新產品,不需要支援控制許可證。受新出口控制限制的影響,我們在中國的數據中心收入大幅下降。我們預計中國市場未來將保持高度競爭。從產品角度來看,計算收入的絕大部分來自我們的Hopper GPU架構。季度內對Hopper的需求持續增加。

得益於CUDA算法創新,我們已經能夠將H100上的LLM推理加速達到3倍,這可以將Llama3等受歡迎模型的服務成本降低3倍。我們在第一季度開始採樣H200,目前正在生產,預計第二季度發貨。黃仁勳在上週將第一台H200系統交付給OpenAI的Sam Altman和他的團隊,支持他們驚人的GPT-4.0演示。H200的推理性能幾乎是H100的兩倍,為生產部署提供了顯著價值。例如,使用Llama3,它有7000億參數,一台NVIDIA HDX H200服務器可以提供24000個令牌每秒,同時支持超過2400個用戶。

這意味著每花費1美元在NVIDIA HDX H200服務器上,根據當前每個令牌的價格,Llama3令牌的API提供商在四年內可以產生7美元的收入。隨著持續的軟件優化,我們繼續提高NVIDIA AI基礎設施的性能,以提供AI模型。雖然H100的供應有所改善,但我們仍然受到H200的限制。同時,Blackwell已經全面投產。我們正在努力讓我們的系統和雲合作伙伴在今年晚些時候全球可用。

對H200和Blackwell的需求遠超供應,我們預計需求可能會超過供應,直到明年。Grace Hopper超級芯片正在批量出貨。上週在國際超級計算機會議上,我們宣布全球有九台新的超級計算機正在使用Grace Hopper,提供今年200 exaflops的高效能AI處理能力。其中包括瑞士國家超級計算中心的ALPS超級計算機,歐洲最快的AI超級計算機,英國布里斯托大學的ISAM AI和德國的Jupiter在EULEC超級計算中心。我們看到Grace Hopper在超級計算中有80%的附著率,這得益於其高效能和性能。

我們也很自豪地看到Grace Hopper超級計算機在全球最節能超級計算機中排名第一、第二和第三。年同比強勁的網絡增長由InfiniBand推動。我們經歷了一個溫和的環比下降,這主要是由於供應的時間安排,需求遠遠超過我們能夠出貨的量。我們預計網絡在第二季度將恢復環比增長。在第一季度,我們開始出貨我們的新SpectrumX以太網網絡解決方案,該方案從頭開始為AI進行優化。

它包括我們的Spectrum 4交換機、BlueField 3 DPU和新軟件技術,以克服以太網上的AI挑戰,與傳統以太網相比,AI處理性能提高1.6倍。Spectrum X正在批量增長,擁有多個客戶,包括一個巨大的10萬GPU集群。SpectrumX為NVIDIA網絡開辟了一個全新的市場,使僅支持以太網的數據中心能夠容納大規模AI。我們預計SpectrumX在一年內將成為數十億美元的產品線。在三月的GTC大會上,我們推出了下一代AI工廠平台Blackwell。

Blackwell GPU架構提供高達4倍的訓練速度和30倍的推理速度,並能夠實時生成參數達到萬億的大型語言模型。Blackwell是一個巨大的飛躍,總擁有成本和能耗比Hopper低25倍。Blackwell平台包括第五代NVLink,具有多GPU骨幹和新的InfiniBand和以太網交換機,X800系列,專為萬億參數規模AI設計。Blackwell旨在支持從超大規模到企業,從訓練到推理,從x86到Grace CPU,從以太網到InfiniBand網絡以及從空氣冷卻到液體冷卻的數據中心。Blackwell將在超過100個OEM和ODM系統中推出,這是Hopper推出數量的兩倍,代表了世界上每個主要計算機製造商。

這將支持在客戶類型、工作負載和數據中心環境中的快速和廣泛的採用。Blackwell的首發客戶包括亞馬遜、谷歌、Meta、微軟、OpenAI、甲骨文、特斯拉和XAI。我們宣布了一款新的軟件產品NVIDIA推理微服務(NIM)。NIM提供了由NVIDIA CUDA加速的安全和性能優化的容器,內置網絡計算和推理軟件,包括Triton推理服務器和TensorRT LMM,具有行業標準的API,適用於廣泛的用例,包括大語言模型的文本、語音、圖像、視覺、機器人、基因組學和數字生物學。他們使開發人員能夠快速構建和部署使用NVIDIA、AI21、Adept、Cohere、Getty Images和Shutterstock領先模型的生成AI應用程序,並開放模型,來自谷歌、Hugging Face、Meta、微軟、Mistral AI、Snowflake和Stability AI。

NIM將作為我們NVIDIA AI企業軟件平台的一部分,支持雲端或本地數據中心的生產部署。轉到遊戲和AI電腦。遊戲收入為26.5億美元,環比下降8%,同比增長18%,與我們的季節性下降預期一致。GeForce RTX Supers GPU市場反響強烈,端需求和渠道庫存在整個產品範圍內保持健康。從我們AI旅程的最初開始,我們就為GeForce RTX GPU配備了CUDA Tensor Cores。

現在擁有超過1億的安裝基礎,GeForce RTX GPU是玩家、創作者和AI愛好者的完美選擇,並提供無與倫比的性能,以在PC上運行生成AI應用程序。NVIDIA擁有完整的技術堆棧,用於在GeForce RTX PC上快速高效地部署和運行生成AI推理。TensorRT LMM現在加速了微軟的Pi 3 Minutei模型和谷歌的Gemma 2B和7B模型以及受歡迎的AI框架,包括Lang Cheng和LAMA Index。昨天,NVIDIA和微軟宣布了Windows的AI性能優化,可以使NVIDIA GeForce RTX AI PC上的LLM運行速度提高3倍。頂級遊戲開發商,包括NetEase Games、騰訊和UBSoftware正在採用NVIDIA Avatar角色引擎來創建逼真的化身,以改變玩家和非玩家角色之間的互動。

轉到ProVis。收入為4.27億美元,環比下降8%,同比增長45%。我們相信生成AI和Omniverse工業數字化將推動專業可視化增長的下一波浪潮。在GTC大會上,我們宣布了新的Omniverse雲API,使開發人員能夠將Omniverse工業數字孿生和模擬技術集成到他們的應用程序中。包括ANSYS、Cadence、3dXite、ADASO Systems、Brand和Siemens在內的一些世界上最大的工業軟件製造商正在採用這些API。

開發人員可以使用它們將工業數字孿生流式傳輸到空間計算設備,如Apple Vision Pro。Omniverse雲API將於今年晚些時候在微軟Azure上可用。公司正在使用Omniverse數字化他們的工作流程。Omniverse驅動的數字孿生使我們的一個製造合作伙伴Wistron將端到端生產周期縮短了50%,缺陷率降低了40%。世界上最大的電動汽車製造商BYD正在採用Omniverse進行虛擬工廠規劃和零售配置。

轉到汽車,收入為3.29億美元,環比增長17%,同比增長11%。環比增長主要是由全球OEM客戶的解決方案和我們自動駕駛平台的強勁推動。同比增長主要是由自動駕駛推動。我們支持小米成功推出其首款電動車,SU7轎車,該車建立在NVIDIA DRIVE Orin之上,我們的AI汽車計算機,用於軟件定義的自動駕駛車隊。我們還宣布了一些新設計勝利,使用NVIDIA Drive Thor,Orin的繼任者,基於新的NVIDIA Blackwell架構,包括BYD、小鵬、DAC的Ion Hyper和Neuro等領先的電動汽車製造商。

Drive Thor計劃從明年開始生產車輛。好,轉到損益表的其餘部分。GAAP毛利率環比擴大至78.4%,非GAAP毛利率為78.9%,這得益於較低的庫存成本。如上季度所述,第四季度和第一季度都受益於有利的元件成本。環比,GAAP運營費用上升10%,非GAAP運營費用上升13%,主要反映了較高的補償相關成本和增加的計算和基礎設施投資。

在第一季度,我們以股票回購和現金股利的形式向股東返還了78億美元。今天,我們宣布了股票10股拆1股,6月10日為按拆分調整基準交易的第一天。我們還將股息增加了150%。讓我轉到第二季度的展望。總收入預計為280億美元,正負2%。

我們預計所有市場平台將實現環比增長。GAAP和非GAAP毛利率預計分別為74.8%和75.5%,正負50個基點,與上季度的討論一致。全年我們預計毛利率在中70%的範圍內。GAAP和非GAAP運營費用預計分別為40億美元和28億美元。全年運營費用預計將以低40%的範圍增長。

GAAP和非GAAP其他收入和費用預計為約3億美元的收入,不包括非關聯投資的損益。GAAP和非GAAP稅率預計為17%,正負1%,不包括任何離散項目。進一步的財務細節包含在首席財務官評論和我們投資者關係網站上的其他信息中。我現在想把話筒交給黃仁勳,他會發表一些評論。

謝謝,Colette。行業正在經歷重大變革。在我們開始問答環節之前,讓我給大家一些關於這次變革重要性的背景。下一次工業革命已經開始。公司和國家正在與NVIDIA合作,將傳統數據中心的數十億美元安裝基礎轉移到加速計算上,並建立一種新的數據中心,AI工廠,生產一種新的商品,人工智能。

AI將為幾乎所有行業帶來顯著的生產力增長,幫助公司提高成本效益和能源效率,同時擴展收入機會。CSP是首批生成AI的推動者。借助NVIDIA,CSP加速了工作負載以節省金錢和電力。由NVIDIA Hopper生成的令牌為他們的AI服務帶來收入。NVIDIA雲實例吸引了我們豐富的開發者生態系統的租戶客戶。

生成AI訓練和推理在Hopper平台上的強勁需求推動了我們數據中心的增長。隨著模型學會多模態理解文本、語音、圖像、視頻和3D,並學會推理和計劃,訓練不斷擴展。我們的推理工作負載正在迅速增長。生成AI推理現在大規模快速生成令牌,變得極其複雜。生成AI正在推動一個從基礎開始的全堆棧計算平台轉變,這將改變每一個計算機互動。

從今天的信息檢索模型,我們正在轉變為生成答案和技能的計算模型。AI將理解上下文和我們的意圖,具備知識、推理、計劃和執行任務的能力。我們正在從根本上改變計算機的工作方式和計算機的功能,從通用CPU到GPU加速計算,從指令驅動的軟件到理解意圖的模型,從檢索信息到執行技能,在工業層面從生產軟件到生成令牌,製造數字智能。令牌生成將推動AI工廠的多年度建設。除了雲服務提供商,生成AI已經擴展到消費者互聯網公司和企業,主權AI,汽車和醫療保健客戶,創建了多個數十億美元的垂直市場。

Blackwell平台已經全面投產,為萬億參數規模的生成AI奠定了基礎。Grace CPU、Blackwell GPU、NVLink、Quantum、Spectrum、Nix和交換機的組合,高速互連和豐富的軟件和合作伙伴生態系統讓我們擴展並提供比前幾代更豐富和完整的AI工廠解決方案。Spectrum X為我們開闢了一個全新的市場,將大規模AI帶入僅支持以太網的數據中心。NVIDIA NIMS是我們的新軟件產品,提供企業級優化的生成AI,能夠在雲端、數據中心和RTX AI PC上運行,通過我們廣泛的合作伙伴生態系統。從Blackwell到SpectrumX再到NIMS,我們為下一波增長做好了準備。謝謝。

謝謝,黃仁勳。我們現在將開放問答環節。操作員,您可以請求提問。

您的第一個問題來自Bernstein的Stacy Rasgon。請繼續。

嗨,各位。謝謝回答我的問題。我的第一個問題,我想深入了解Blackwell的評論,說它現在已經全面投產。這意味著什麼樣的發貨和交付時間,如果那個產品不再是樣品了,當前處於生產狀態,這意味著什麼?

我們將開始發貨。其實,我們已經在生產了一段時間,但我們的生產發貨將在第二季度開始並在第三季度增長,客戶應該在第四季度建立起數據中心。

明白了。所以今年我們會看到Blackwell的收入,是嗎?

我們今年會看到很多Blackwell的收入。

我們的下一個問題來自UBS的Timothy Arcuri。請繼續。

非常感謝。我想問一下,

黃仁勳,關於Blackwell和Hopper的部署,考慮到你對GPU的需求,以及這些系統的性質。這些東西的部署與Hopper有什麼不同?我問這個問題是因為大規模的液體冷卻以前從未做過,無論是在節點級別還是數據中心內部,這都有一些工程挑戰。所以這些複雜性是否會延長過渡期,你如何看待這一切的進展?謝謝。

是的。Blackwell有很多配置。Blackwell是一個平台,不是單一的GPU。該平台包括對空氣冷卻、液體冷卻、X86和Grace、InfiniBand以及現在的SpectrumX的支持,還有我在GTC上展示的大型NVLink域。我在GTC上展示過。

對於一些客戶,他們會將其轉移到現有的已經在出貨Hopper的數據中心中。他們會輕鬆地從H100轉換到H200到B100。因此,Blackwell系統被設計成向後兼容,無論是電氣還是機械當然,運行在Hopper上的軟件堆棧在Blackwell上也能運行得非常好。我們也一直在為液體冷卻準備生態系統。我們與生態系統討論Blackwell已有一段時間。

CSP、數據中心、ODM、系統製造商、我們的供應鏈以及液體冷卻供應鏈,數據中心供應鏈。沒有人會對Blackwell的到來和我們希望提供的能力感到驚訝。Grace Blackwell 200將會非常出色。

我們的下一個問題來自Bank of America Securities的Vivek Arya。請繼續。

謝謝回答我的問題。黃仁勳,您如何確保您的產品有足夠的利用率,並且由於供應緊張、競爭或其他因素,不會出現提前或囤積行為?基本上,您在系統中建立了哪些檢查措施,以讓我們有信心您的貨物增長與貨幣化保持同步?

嗯,我想先談大局觀,然後再直接回答你的問題。所有數據中心對GPU的需求都非常強勁。我們每天都在競爭。原因是像Chat GPT和GPT-4.0這樣的應用程序,現在它將變得多模態和Gemini及其擴展,Anthropic和所有CSP正在進行的所有工作都在消耗每一個GPU。同時還有一長串生成AI的初創公司,大約有15,000到20,000家,涉及多媒體到數字角色,當然還有各種設計工具應用程序,生產力應用程序,數字生物學,AV行業向視頻轉移,這樣他們可以訓練端到端模型以擴展自動駕駛汽車的運營領域。

這個列表非常驚人。我們實際上在競賽,客戶正在給我們很大的壓力,要求我們盡快交付系統並啟動它們。當然,我還沒有提到所有的主權AI,他們希望訓練自己國家的本地數據,以訓練他們的區域模型。這些系統的建設壓力很大。所以總之,我認為需求非常高,供應超過我們的供應。

從長遠來看,這就是為什麼我會進來發表一些評論的原因。從長遠來看,我們正在完全重新設計計算機的工作方式。這是一個平台轉變。當然,它已被比作過去的其他平台轉變。

但時間會清楚地表明,這比以前的平台轉變要深刻得多。原因是計算機不再僅僅是指令驅動的計算機。它是一個意圖理解的計算機。它理解當然我們與它的互動方式,但它也理解我們的意思,我們要求它做什麼,並具有推理、反覆進行推理和處理計劃並提供解決方案的能力。因此,計算機的每個方面都在改變,不再是檢索預錄文件,而是生成上下文相關的智能答案。

因此,這將改變世界各地的計算堆棧。您在構建時看到的事實是,甚至PC計算堆棧也將被徹底改變。這只是我們正在實驗室中進行的事情和我們與世界各地的初創公司和大公司的開發人員正在做的事情的開始。這將是相當非凡的。

我們的下一個問題來自Morgan Stanley的Joe Moore。請繼續。

太好了。謝謝。理解您剛才所說的需求有多強勁,您對H200和Blackwell產品有很大的需求。您是否預計隨著您向這些產品遷移,Hopper和H100會有任何暫停?人們會等待這些新產品,這應該是一個好的產品嗎?

或者您是否認為H100的需求足夠強勁,可以維持增長?

我們看到本季度對Hopper的需求增加。我們預計需求將在一段時間內超過供應,隨著我們現在向H200和Blackwell過渡。每個人都急於讓他們的基礎設施上線。原因是他們在節省金錢和賺錢,他們希望盡快這樣做。

我們的下一個問題來自Goldman Sachs的Toshiya Hari。請繼續。

嗨。非常感謝回答我的問題。黃仁勳,我想問一下競爭。我的許多雲客戶都宣布了新的或更新了他們現有的內部程序,與你們的合作同步。從長遠來看,你們是否認為他們是競爭對手?

在您看來,您認為他們僅限於解決主要內部工作負載還是可以更廣泛地解決?

是的,我們在幾個方面有所不同。首先,NVIDIA的加速計算架構允許客戶處理其管道的每個方面,從非結構化數據處理到準備訓練,再到結構化數據處理,數據框架處理如SQL來準備訓練,訓練到推理。正如我在評論中提到的那樣,推理確實發生了根本性的變化。現在是生成,而不是僅僅檢測貓,這本身已經非常困難,但現在必須生成每一個像素的貓。

因此,生成過程是一個根本不同的處理架構。這是為什麼TensorRT LM如此受歡迎的原因。我們使用相同的芯片在我們的架構上將性能提高了三倍。這種豐富的架構和軟件的豐富性告訴您一些事情。因此,一個是NVIDIA可以用於從計算機視覺到圖像處理,計算機圖形到所有計算模態。

隨著世界現在因計算成本和能量通脹而受到影響,因為通用計算已經到了盡頭,加速計算是真正可持續的前進方向。加速計算是您節省計算成本的方式,是您節省計算能量的方式。因此,我們平台的多功能性帶來了他們數據中心的最低總擁有成本。第二,我們在每一個雲中。因此,對於尋找一個平台開發的開發人員來說,從NVIDIA開始總是一個很好的選擇。

我們在本地,我們在雲端,我們在任何大小和形狀的計算機中。我們幾乎無處不在。因此,這是第二個原因。第三個原因是我們建立AI工廠。這越來越明顯,AI不是一個芯片問題。

當然,它從非常好的芯片開始。我們為我們的AI工廠建造了一大堆芯片,但它是一個系統問題。事實上,現在連AI也是一個系統問題。它不僅僅是一個大型語言模型。它是一個由多個大型語言模型組成的複雜系統,它們一起工作。

因此,NVIDIA建立這個系統的事實使我們能夠優化我們的所有芯片,使其作為一個系統工作,能夠擁有運行在系統上的軟件,並能夠進行系統優化。用簡單的數字來說,如果你有一個50億美元的基礎設施,你將性能提高一倍,我們經常這樣做。當你將基礎設施性能提高一倍時,對你的價值是50億美元。所有的芯片都無法支付這個數據中心的成本。因此,價值非常非凡。

這是今天性能至關重要的原因。在這個時候,最高性能也是最低成本,因為運營這些芯片所需的基礎設施成本很高。建立數據中心,運營數據中心的人員,隨之而來的電力,隨之而來的房地產,這一切都加起來。因此,最高性能也是最低總擁有成本。

我們的下一個問題來自TD Cowen的Matt Ramsay。請繼續。

非常感謝。大家下午好。黃仁勳,我的整個職業生涯都在數據中心行業。我從未見過你們引入新平台的速度和性能跳躍的組合,5倍的訓練速度,你在GTC上談到的一些東西,30倍的推理速度。這真是令人驚奇的事情,但這也帶來了一個有趣的對比,目前一代的產品,你的客戶花費數十億美元,將在不久的將來相對於你的新一代產品不再具競爭力,這超過了那一代產品的折舊周期。

所以我想,如果您不介意的話,談一談您在這條路上看到的客戶情況?謝謝。

是的,非常感謝。我要提的三個點。如果你只完成了5%的建設,而不是完成了95%的建設,你會感覺很不一樣。因為你只完成了5%的建設,所以你還是要盡可能快地建設。當Blackwell來了,這會很棒。

在Blackwell之後,正如您所提到的,我們還有其他的Blackwell。然後每一年我們都有一個新的節奏,我們向世界解釋了這一點。我們希望客戶看到我們的路線圖,無論他們想看到多遠,但他們還處於建設的早期階段。因此,他們只是繼續建設,保持競爭力。

所以這是明智的做法。他們需要今天賺錢,想要今天省錢,時間對他們來說真的很有價值。讓我給你一個例子,為什麼時間如此有價值。為什麼即時建立數據中心的想法如此有價值,為什麼訓練時間如此有價值。原因是下一個達到下一個重大里程碑的公司可以宣布一個突破性的AI。

接下來的一個人會宣布一些0.3%的改進。這就是為什麼在技術競賽中,競爭如此重要。這就是為什麼你看到跨多個公司這種競賽,因為擁有技術領先地位對於讓公司信任並願意在您的平台上構建,以及知道他們構建的平台將會變得越來越好是至關重要的。因此,領導地位非常重要。

訓練時間非常重要。提前三個月完成三個月項目的訓練時間是至關重要的。這就是為什麼我們現在瘋狂地建立Hopper系統,因為下一個里程碑就在眼前。因此,這是第二個原因。

您提到的第一個評論非常棒,即我們怎麼能做到如此快速地推進和快速地進步,因為我們擁有所有的堆棧。我們真的在這裡建造整個數據中心,我們可以監控一切,測量一切,進行全面的優化。我們知道所有的瓶頸在哪裡。我們不需要猜測它。我們不需要做一些看起來很好的投影片。

我們確實喜歡我們的投影片看起來很好。但我們正在交付在規模上表現良好的系統。原因是我們在這裡建造了整個AI基礎設施。我們一個奇蹟般的事情是我們建造了整個AI基礎設施,但然後我們將其分解並集成到客戶的數據中心中,無論他們喜歡怎樣做。但我們知道它會如何表現,知道我們需要在哪裡優化。

我們知道需要幫助他們改進基礎設施,以獲得最大的性能。這種對整個數據中心規模的深入了解是今天將我們區別開來的根本原因。我們從頭到尾建造每一個芯片。我們完全了解如何跨整個系統進行處理。因此,我們精確地知道它如何表現以及如何從每一代中獲得最佳效果。

我欣賞這三個要點。

您的下一個問題來自Evercore ISI的Mark Lipacis。請繼續。

嗨,謝謝回答我的問題。黃仁勳,過去你曾觀察到,通用計算生態系統通常在每個計算時代中占主導地位。我相信這個觀點是,它們可以適應不同的工作負載,提高利用率,降低計算成本周期。這是為什麼你推動通用GPU CUDA生態系統加速計算的動機。

如果我錯誤描述了這個觀察,請告訴我。所以問題是,考慮到驅動你解決方案需求的工作負載是由神經網絡訓練和推理驅動的,表面上看來這是一個有限的工作負載數量,這可能也會顯得適合於定制解決方案。那麼問題是,通用計算框架是否會變得更加風險,還是這些工作負載的變化足夠迅速以支持歷史上的通用框架?

謝謝。

是的,NVIDIA的加速計算是多功能的,但我不會稱其為通用的。比如說,我們不會很擅長運行電子表格。這是為通用計算設計的。因此,操作系統代碼的控制循環可能不太適合加速計算。

所以我會說我們是多功能的,這通常是我描述它的方式。我們能夠在多年的過程中加速的應用程序有很多共同點,也許有一些深刻的不同點,但有共同點。它們都是我可以並行運行的東西。它們都是高度線程化的。5%的代碼代表99%的運行時間。

這些都是加速計算的特性。我們平台的多功能性和我們設計整個系統的事實是為什麼在過去的10年中,您在這些電話會議中問我關於這些初創公司的數量相當多。每一個都因其架構的脆弱性,當生成AI出現時或擴散模型出現時,下一個模型現在出現。現在突然看到了大語言模型與記憶。因為大語言模型需要有記憶,這樣它們才能與你進行對話,理解上下文。

突然間,Grace記憶體的多功能性變得非常重要。所以生成AI的每一次進步和AI的進步真的要求不僅僅是一個為單一模型設計的小工具。而是需要一個非常適合這整個領域的東西,遵循這個領域的基本特性,但遵守軟件的第一原則。軟件將繼續發展,軟件將繼續變得更好和更大。我們相信這些模型的擴展。

有很多原因讓我們在未來幾年內擴展100萬次並且我們已經為此做好了準備。我們的平台的多功能性非常關鍵。如果你太脆弱和太具體,你可能會建造一個FPGA或你建造一個ASIC,但這幾乎不是一個計算機。

我們的下一個問題來自Jefferies的Blayne Curtis。請繼續。

嗨,謝謝回答我的問題。其實我很好奇,考慮到供應緊張,您怎麼看待,我的意思是,您為中國推出了一款產品H20。我假設會有大量需求,但顯然,您正在嘗試為其他Hopper產品服務的客戶。只是有點好奇您如何看待下半年的供應分配。

如果您可以詳細說明您對銷售和毛利率的預期。

我沒有聽到問題。某些部分沒有聽到。

H20以及您如何在不同的Hopper產品之間分配供應?

嗯,我們尊重我們的客戶並盡我們所能為每個客戶服務。事實是,我們在中國的業務遠低於過去的水平。在中國市場,由於技術限制,競爭更加激烈。因此,這些情況是真實存在的。然而,我們會繼續盡力為那裡的客戶和市場服務,盡我們所能。

總之,我認為我們對整個市場需求超過供應的評論尤其適用於H200和Blackwell在今年底的情況。

我們的下一個問題來自Raymond James的Srini Pajjuri。請繼續。

謝謝。黃仁勳,實際上是關於您所說的澄清。GP200系統,看起來對系統有很大的需求。歷史上,我認為您賣出了很多AGX板卡和一些GPU,而系統業務相對較小。所以我只是好奇,為什麼現在您看到對系統的需求如此強勁?

是因為TCO還是其他原因?還是因為架構?

謝謝。

是的,非常感謝。事實上,我們銷售GB200的方式與以往一樣。我們將所有合適的部件分解並集成到計算機製造商中。我們今年為Blackwell設計了100個不同的計算系統配置。這是歷史最高的。

老實說,Hopper的峰值數量只有一半,開始時甚至更少。因此,您將看到液體冷卻版本、空氣冷卻版本、X86版本、Grace版本等。設計了很多系統,這些系統將由我們豐富的合作伙伴生態系統提供。沒有什麼真正改變。

當然,Blackwell平台擴展了我們的產品提供。Grace和Hopper之間的記憶體系統是相干且連接的。這兩個芯片之間的互連,稱其為兩個芯片幾乎有點奇怪,因為它們像一個超級芯片。兩者之間的接口像每秒1TB,這是非常驚人的。Grace使用的記憶體是LPDDR,是第一個數據中心級低功耗記憶體。因此我們在每個節點上節省了大量功率。

最後,由於架構,我們可以創建自己的架構,整個系統現在可以創建一個非常大的NVLink域,這對下一代大型語言模型的推理至關重要。因此,您看到GB200有一個72節點的NVLink域。這就像72個Blackwell連接在一起成為一個巨大的GPU。因此我們需要Grace Blackwell來做到這一點。因此有架構原因,軟件編程原因,系統原因,這些對我們以這種方式構建是必要的。

如果我們看到這樣的機會,我們會探索。今天,您看到昨天的發表,我認為非常出色。Satya宣布了下一代PC是Copilot Plus PC,它在NVIDIA RTX GPU筆記本電腦上運行得非常出色。但它也很好地支持ARM。這為系統創新甚至在PC上開闢了機會。

我們的最後一個問題來自Cantor Fitzgerald的C. J. Muse。請繼續。

是的。下午好。謝謝回答我的問題。我想,黃仁勳,一個長期問題。顯然Blackwell還沒有推出,但投資者是前瞻性的,面對GPU和定制ASIC的潛在競爭增加,您如何看待NVIDIA的創新速度?

過去十年的百萬倍增長,令人印象深刻,架構優勢和協同連接性。當您展望未來時,在未來十年需要解決哪些摩擦?我想也許更重要的是,今天您願意分享什麼?

嗯,我可以宣布,在Blackwell之後,還有另一個芯片。我們是一個一年節奏。因此,您可以指望我們的網絡技術也在快速節奏中。我們宣布了針對以太網的Spectrum X,但我們完全投入以太網,我們有一個非常令人興奮的以太網路線圖。

我們有豐富的合作伙伴生態系統。戴爾宣布他們將推出SpectrumX。我們有豐富的客戶和合作伙伴生態系統,他們將宣布推出我們的整個AI工廠架構。因此,對於希望獲得最終性能的公司,我們有InfiniBand計算架構。InfiniBand是一個計算架構,以太網是一個網絡。

多年來,InfiniBand從一個計算架構變成了一個更好的網絡。以太網是一個網絡,有了SpectrumX,我們將使其成為一個更好的計算架構。我們完全致力於這三種連接。NVLink計算架構,單一計算域到InfiniBand計算架構到以太網計算架構。因此,我們將非常快地推進這三者。因此,您將看到新的交換機,新的NIC,新功能,所有三者的新軟件堆棧。

新的CPU,新的GPU,新的網絡NIC,新的交換機,一大堆芯片正在推出。美妙的是,所有這些都運行CUDA和我們的整個軟件堆棧。因此,如果您今天在我們的軟件堆棧上投資,不需要做任何事情,它將進入更多的雲和數據中心,所有一切都可以運行。因此,我認為我們帶來的創新速度將提高性能,同時降低總擁有成本。因此我們應該能夠擴展NVIDIA架構,為這個新的計算時代,啟動這次新的工業革命,不僅生產軟件,還生產人工智能令牌,並且我們將在規模上做到這一點。

謝謝。

這將結束我們今天的問答環節和電話會議。我們感謝大家的參加,現在可以斷開連接。

這篇文章對你來說實用嗎?
很實用!
還可以
有待加強...
標籤關鍵字