T客邦 October 03, 2023
正當人們爭論摩爾定律是否已死的時候,最近NVIDIA官方發表了一篇與「黃氏定律(Huang's Law)」相關的技術文章。B2ffb075623d98a9f971c856bcbbc954

正當人們爭論摩爾定律是否已死的時候,最近NVIDIA官方發表了一篇與「黃氏定律(Huang's Law)」相關的技術文章,不談電晶體數量,而是認為在未來單晶片性能和效率的AI推理性能,在不到十年的時間內將會提高 1000 倍以上。

摩爾定律在過去一直主導著科技業。 NVIDIA公司首席執行長黃仁勳(Jensen Huang)曾多次表示,摩爾定律正在「放緩」,它的概念已經開始過時。儘管NVIDIA在過去十年中將 GPU 從 28 奈米遷移到了 5 奈米半導體節點,但該技術僅佔總收益的 2.5 倍。

NVIDIA公司首席科學家比爾-達利(Bill Dally)在一篇文章中澄清說,NVIDIA對下一代技術的態度是圍繞「黃氏定律」展開的。

所謂「黃氏定律(Huang's Law)」的由來,NVIDIA聲稱並非他們自己發明的,這一術語源自 IEEE Spectrum 的一篇報導,後來被多家媒體所熟知。NVIDIA最近在其產品中實施的概念確實很有趣,它可能是打開行業未來之門的鑰匙。

告別摩爾定律,「黃氏定律」時代來臨:GPU AI推理性能10年提升1000倍

比爾-達利(Bill Dally)在「熱晶片 2023」的演講中表示,NVIDIA在過去十年中見證了計算晶片性能驚人的 1000 倍增長。按照書本上的說法,如果採用摩爾定律,這樣的提升是不可能實現的,而製程的縮減也不會對這一數字產生任何影響。現在,你可能會問我這是怎麼實現的,我的回答是,優先考慮單個「堆疊」內的創新,而不是晶片開發。

為了支持這種說法,NVIDIA公司在其文章中表示,引入"Hopper 架構"是顯示巨大性能資料的決定性因素,因為它們使用了"8 位和 16 位浮點和整數數學"。更進一步,"安培架構"的推出提高了統計學習的性能,使計算工作負載的性能提升了 2 倍。為了將各項技術串聯起來,NVIDIA的"NVLINK"技術派上了用場,最終實現了 x1000 的突破。

NVIDIA在文內提到,在整個 10 年期間,公司從 28 奈米製程轉換到 5 奈米製程,性能僅提高了 2.5 倍。這違背了摩爾定律,即晶片每"縮小"一次,性能就會同比提高 2 倍。

達利表示,NVIDIA的未來取決於"黃氏定律",而"黃氏定律"會帶來一些行業進步的機會。

「現在是做電腦工程師的一個有趣的時代。」達利表示,「行業形勢確實驗證了這一事實。可以說,電腦行業正處於一個決定性的時刻,而這一切都取決於公司如何看待晶片和運算的發展」。

 

 

 

加入T客邦Facebook粉絲團 固定链接 '告別摩爾、「黃氏定律」時代來臨:GPU AI推理性能10年提升1000倍' 提交: October 2, 2023, 12:00am CST