微軟為ChatGPT打造專用超算！砸幾億美元，上萬張英偉達A100打造

微軟砸下大幾億美元，專門為訓練ChatGPT打造了一台超算——
上萬張英偉達A100芯片打造，甚至專門為此調整了伺服器架構，只為給ChatGPT和新必應AI提供更好的算力。

△圖源：微軟
不僅如此，微軟還在Azure的60多個數據中心部署了幾十萬張GPU，用于ChatGPT的推理。
有網友感慨：果然還是得靠錢生錢啊~

還有網友調侃，微軟數據中心伺服器終于多了個新用途：
雖然不是真的，不過想象微軟數據中心的某些伺服器用途，可能一半是Xbox的xCloud，另一半是ChatGPT。

微軟為什麼打造這個超算？事實上，這台超算并非最近才開始打造。
據微軟表示，他們給OpenAI提供這台超算已經有3年之久，而ChatGPT也正是基于這台超算提供的算力訓練的。
這是因為，OpenAI在最初商量與微軟合作時，曾經就算力方面的事情進行過協商。
OpenAI認為，如果微軟想給自己提供算力，就必須在Azure云計算平台上「騰出」一部分巨大的算力單獨給它們使用，且確保它們不與Azure提供的其他服務產生沖突。
微軟答應了這一條件，特意給OpenAI提供了一台超算，用于各種大模型訓練。

△圖源：微軟
當然，微軟也不是白白給OpenAI提供超算服務的，背后肯定有自己的考量。
其一，吸引更多企業來使用Azure訓練自己的大模型。微軟執行副總裁Scott Guthrie表示：
雖然它是OpenAI的定制版，但同樣具備某種通用性，任何企業都可以基于這種方式來訓練自己的大語言模型。
其二，直接在Azure中提供OpenAI模型服務（Azure OpenAI Service）。
此前包括GPT-3、Codex和DALL·E 2等模型，都已經接入Azure。
至于納德拉1月份立的「要把ChatGPT加入Azure服務」flag，目前也已經實現。

官網還特意給ChatGPT相關服務貼了個高亮標簽：

這波屬實是微軟用ChatGPT，再次宣傳了一波自己的云服務（手動狗頭）。
當然，基于英偉達A100打造的超算也不是微軟Azure的最新技術。
據微軟表示，他們還將基于英偉達H100和網絡技術，推出Azure最新的AI虛擬機產品。
國內ChatGPT云廠商現狀？那麼，國內云廠商是否會因為ChatGPT被帶動起來一波？
事情并不如想象中簡單。
目前來看，國內公開表示擁有1萬張英偉達A100的企業只有 幻方量化。
據幻方官網顯示，2022年3月由于需要發展量化金融業務，他們構建了一個名為螢火二號的AI集群，擁有一萬張英偉達A100。
至于其他企業，據《財經十一人》介紹，國內GPU持有量超過1萬張的企業不超過5家，即使規模最大的企業也不超過5萬枚，而且這里面有不少都是英偉達中低端數據中心芯片。
顯然，相比微軟能給ChatGPT投入大量算力、或是像Facebook和谷歌一樣動輒能采購幾千上萬張GPU，算力是國內廠商做ChatGPT的另一大難點。
在以ChatGPT為代表的大模型技術上，軟硬件都還有不少難關要攻克。


[圖擷取自網路，如有疑問請私訊]