ControlNet 為 Stable Diffusion 帶來(lái)強(qiáng)大控制能力，拓展繪畫應(yīng)用場(chǎng)景。

ControlNetControlNet是斯坦福大學(xué)博士張呂敏(Lvmin Zhang)的研究成果。

它是一種通過(guò)采用額外條件來(lái)控制擴(kuò)散模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，目前在GitHub上開(kāi)放。

ControlNet主要包含了預(yù)訓(xùn)練模型的鎖定副本、可訓(xùn)練副本與定義輸入條件，從而能夠保證圖像在部分“鎖定”不能修改的前提下，通過(guò)“可訓(xùn)練”的模型，在一組輸入條件下，最終合并輸出，以保證用戶輸出較為穩(wěn)定的結(jié)果。

在使用過(guò)程中，在WebUl上，可以分別對(duì)應(yīng)到預(yù)處理、模型和提示詞。

ControlNet 的預(yù)處理器目前主要有 Canny邊緣檢測(cè)、Depth 深度檢測(cè)、M-LSD線條檢測(cè)、NormAI Map法線貼圖、OpenPose姿態(tài)檢測(cè)、PiDiNet邊緣檢測(cè)、Scribble涂鴉、Segmentation 語(yǔ)音分割等，可以將其用在Stable Diffusion 中通過(guò)骨骼、涂鴉、法線圖、線框圖與深度圖等來(lái)精準(zhǔn)控制畫面人物的姿勢(shì)動(dòng)作、給線稿上色、渲染建筑等，進(jìn)而應(yīng)用在諸如藝術(shù)設(shè)計(jì)、“攝影”、電商設(shè)計(jì)、工業(yè)設(shè)計(jì)、虛擬現(xiàn)實(shí)等場(chǎng)景中。