微軟研究人員日前推出了名為 ZeRO++ 的新技術，用于優化在訓練大型 AI 模型時，容易遇到的數據傳輸成本和帶寬限制的難題，可顯著減少大模型訓練時間和成本。
據悉，ZeRO++ 建(jian)立在現有的 ZeRO 傳輸技術基礎(chu)上，并提(ti)供增(zeng)強的通信策略，可提(ti)高訓(xun)(xun)練效率，同時(shi)減少(shao)訓(xun)(xun)練時(shi)間和成(cheng)本。
▲ 圖源 微(wei)軟
為(wei)了(le)減(jian)(jian)少(shao)(shao)參(can)數(shu)通信量(liang)(liang)，ZeRO++ 可對權重進(jin)行(xing)量(liang)(liang)化，其利用基于塊的(de)量(liang)(liang)化方法來(lai)保持訓練精度，這(zhe)種(zhong)優(you)化的(de)量(liang)(liang)化過程(cheng)相對原始 Zero 傳輸技術更快(kuai)更準確。為(wei)了(le)能夠盡量(liang)(liang)減(jian)(jian)少(shao)(shao)通信開銷，ZeRO++ 通過在(zai)每(mei)臺(tai)機器上保持完整的(de)模型副本，以向 GPU 顯存換(huan)取(qu)通信帶(dai)寬。而在(zai)梯度通信方面，ZeRO++ 引(yin)入了(le)一種(zhong)名為(wei) qgZ 的(de)新的(de)量(liang)(liang)化梯度通信方式(shi)，可以減(jian)(jian)少(shao)(shao)跨節點的(de)流量(liang)(liang)和延遲。
▲ 圖源(yuan) 微軟
這些改進的通信技術大大減少了通信量，微軟研究人員表示，與 ZeRO 相比，ZeRO++ 減少了高達 4 倍的通信量，提高了訓練吞吐量和效率。當在(zai)(zai)每(mei)個 GPU 上(shang)使用(yong)小(xiao)批量(liang)大小(xiao)時(shi)，在(zai)(zai)高(gao)帶寬集群(qun)中，ZeRO++ 相比 ZeRO-3 的(de)吞吐量(liang)提(ti)高(gao)了(le) 28% 至 36%。在(zai)(zai)低帶寬集群(qun)中，與 ZeRO-3 相比，ZeRO++ 實現了(le)平均 2 倍的(de)加速(su)，使得大模型(xing)訓練(lian)在(zai)(zai)更多種(zhong)類的(de)集群(qun)上(shang)更為(wei)可行(xing)。
例如 Turing-NLG、ChatGPT 和 GPT-4 這樣的大型模型，其訓練需要跨多個 GPU 設備占用大量顯存和計算資源，而 ZeRO++ 引入了通信優化策略，以克服在低帶寬集群上進行訓練時原有 ZeRO 傳輸技術的帶寬限制。目前微軟已經(jing)放出(chu)了(le)相(xiang)關技(ji)術文檔，研究(jiu)人員(yuan)可(ke)(ke)以利用 ZeRO++ 更有效地(di)訓(xun)練模型，在 AI 領域探(tan)索新的可(ke)(ke)能性。
