微軟研究人員日前推出了名為 ZeRO++ 的新技術，用于優化在訓練大型 AI 模型時，容易遇到的數據傳輸成本和帶寬限制的難題，可顯著減少大模型訓練時間和成本。
據悉，ZeRO++ 建立在現(xian)有的(de)(de) ZeRO 傳輸技(ji)術基礎上，并提供增強的(de)(de)通信策略，可提高訓(xun)(xun)練效(xiao)率，同時減少訓(xun)(xun)練時間(jian)和成本。
▲ 圖(tu)源 微軟
為(wei)(wei)了(le)減(jian)少(shao)參數通(tong)信量(liang)，ZeRO++ 可(ke)(ke)對權(quan)重(zhong)進行量(liang)化(hua)，其利用基于塊(kuai)的(de)量(liang)化(hua)方(fang)法來保持訓練精度，這種優化(hua)的(de)量(liang)化(hua)過程(cheng)相對原始 Zero 傳(chuan)輸技術更快更準確。為(wei)(wei)了(le)能夠盡量(liang)減(jian)少(shao)通(tong)信開銷，ZeRO++ 通(tong)過在每(mei)臺機器(qi)上保持完整的(de)模(mo)型(xing)副本，以向(xiang) GPU 顯(xian)存換取通(tong)信帶寬。而在梯(ti)度通(tong)信方(fang)面，ZeRO++ 引入(ru)了(le)一種名為(wei)(wei) qgZ 的(de)新(xin)的(de)量(liang)化(hua)梯(ti)度通(tong)信方(fang)式，可(ke)(ke)以減(jian)少(shao)跨節點的(de)流(liu)量(liang)和延遲。
▲ 圖(tu)源 微(wei)軟
這些改進的通信技術大大減少了通信量，微軟研究人員表示，與 ZeRO 相比，ZeRO++ 減少了高達 4 倍的通信量，提高了訓練吞吐量和效率。當(dang)在(zai)每個 GPU 上使用(yong)小(xiao)批(pi)量大(da)小(xiao)時，在(zai)高帶(dai)寬集(ji)群(qun)(qun)中，ZeRO++ 相比 ZeRO-3 的吞吐量提高了(le) 28% 至 36%。在(zai)低(di)帶(dai)寬集(ji)群(qun)(qun)中，與 ZeRO-3 相比，ZeRO++ 實現(xian)了(le)平均 2 倍的加速，使得大(da)模(mo)型訓練(lian)在(zai)更多種(zhong)類的集(ji)群(qun)(qun)上更為可(ke)行。
例如 Turing-NLG、ChatGPT 和 GPT-4 這樣的大型模型，其訓練需要跨多個 GPU 設備占用大量顯存和計算資源，而 ZeRO++ 引入了通信優化策略，以克服在低帶寬集群上進行訓練時原有 ZeRO 傳輸技術的帶寬限制。目前微軟已經放出了(le)相關技術(shu)文檔，研究人員可以利用 ZeRO++ 更有(you)效地訓(xun)練模(mo)型(xing)，在 AI 領(ling)域探索(suo)新(xin)的可能(neng)性。
