3月8日 消息:華為近日發(fā)布了一項名為 PixArt-\Sigma 的圖像生成模型，該模型采用了 DiT 架構，可以直接生成4K 分辨率的圖像。相比于其前身 PixArt-\alpha，PixArt-\Sigma 在圖像保真度上有了明顯的提升，并改善了與文本提示的一致性。
PixArt-\Sigma 的一個關鍵特點是其訓練效率。借助 PixArt-\alpha 的基礎預訓練，它通過整合更高質量的數據，從”較弱”的基線逐步演變?yōu)?#8221;較強”的模型，這個過程被稱為”弱到強訓練”。PixArt-\Sigma 的進步主要體現(xiàn)在兩個方面:高質量的訓練數據和高效的 Token 壓縮。PixArt-\Sigma 結合了更高質量的圖像數據，配對更精確和詳細的圖像標題，同時在 DiT 框架內提出了一個新的注意力模塊，可以壓縮鍵（Key）和值(Value)，顯著提高效率，促進超高分辨率圖像的生成。
由于這些改進，PixArt-\Sigma 以較小的模型規(guī)模（6億參數）實現(xiàn)了優(yōu)于現(xiàn)有文本到圖像擴散模型(如 SDXL(26億參數)和 SD Cascade(51億參數))的圖像質量和用戶提示遵從能力。
此外，PixArt-\Sigma 能夠生成4K 圖像，為創(chuàng)建高分辨率海報和壁紙?zhí)峁┝酥С?，有效地增強了電影和游戲等行業(yè)中高質量視覺內容的制作。
