|
AI的浪潮其實早在20世紀就被多次掀起過，但真正成為人們不可忽視的巨浪，還是這十幾年的事，因為這時候AI有了天時地利人和：算法與模型，大到足夠訓練這些模型的數據集，以及能在合理的時間內訓練出這些模型的硬件。 但從帶起第一波深度學習的AlexNet，到如今的GPT-3和TuringNLG等，人們不斷在打造更大的數據集和更大的模型，加上大語言模型的興起，對訓練的要求也就越來越高。可在摩爾定律已經放緩的當下，訓練時間也在被拉長。 基于Hopper架構的H100GPU/英偉達 以英偉達為例，到了帕斯卡這一代，他們才真正開始考慮單芯片的深度學習性能，并結合到GPU的設計中去，所以才有了Hopper這樣超高規格的AI硬件出現。但我們在訓練這些模型的時候，并沒有在硬件規模上有所減少，仍然需要用到集成了數塊HopperGPU的DGX系統，甚至打造一個超算。很明顯，單從硬件這一個方向出發已經有些不夠了，至少不是一個“高性價比”的方案。 
硬件推出后，仍要針對特定的模型進行進一步的軟件優化，因此即便是同樣的硬件，其AI性能也會在未來呈現數倍的飛躍。從上個月的MLPerf的測試結果就可以看出，在A100GPU推出的2.5年內，英偉達就靠軟件優化實現了最高2.5倍的訓練性能提升，當然了最大的性能提升還是得靠H100這樣的新硬件來實現。 BillDally表示這就是英偉達的優勢所在，雖然這幾年投入進深度學習硬件的資本不少，但隨著經濟下行，不少投資者已經喪失了信心，所以不少AI硬件初創公司都沒能撐下去，他自己也在這段時間看到了不少向英偉達投遞過來的簡歷。 他認為不少這些公司都已經打造出了自己的矩陣乘法器，但他們并沒有在軟件上有足夠的投入，所以即便他們一開始給出的指標很好看，也經常拿英偉達的產品作為對比，未來的性能甚至比不過英偉達的上一代硬件，更別說Hopper這類新產品了。 |
