什么是LoRA模型

LoRA的全稱是LoRA: Low-Rank Adaptation of Large Language Models，可以理解為stable diffusion（SD)模型的一種插件，和hyper-network，controlNet一樣，都是在不修改SD模型的前提下，利用少量數(shù)據(jù)訓(xùn)練出一種畫風(fēng)/IP/人物，實(shí)現(xiàn)定制化需求，所需的訓(xùn)練資源比訓(xùn)練SD模要小很多，非常適合社區(qū)使用者和個(gè)人開發(fā)者。LoRA最初應(yīng)用于NLP領(lǐng)域，用于微調(diào)GPT-3等模型（也就是ChatGPT的前生）。由于GPT參數(shù)量超過千億，訓(xùn)練成本太高，因此LoRA采用了一個(gè)辦法，僅訓(xùn)練低秩矩陣（low rank matrics），使用時(shí)將LoRA模型的參數(shù)注入（inject）SD模型，從而改變SD模型的生成風(fēng)格，或者為SD模型添加新的人物/IP。用數(shù)據(jù)公式表達(dá)如下，其中 W0 是初始SD模型的參數(shù)（Weights)， BA 為低秩矩陣也就是LoRA模型的參數(shù)， W 代表被LORA模型影響后的最終SD模型參數(shù)。整個(gè)過程是一個(gè)簡單的線性關(guān)系，可以認(rèn)為是原SD模型疊加LORA模型后，得到一個(gè)全新效果的模型。

W=W0+BA

在著名的模型分享網(wǎng)站https://civitai.com/上，有大量的SD模型和LoRA模型，其中SD模型僅有2000個(gè)，剩下4萬個(gè)基本都是LoRA等小模型。例如下圖，水墨畫和原神八重神子就是LoRA模型來實(shí)現(xiàn)特定的畫風(fēng)和人物IP。

在模型分享網(wǎng)站civitai上，左上角標(biāo)注了CHECKPOINT的代表的是SD模型，標(biāo)注了LORA的就是LORA模型了

以下是一個(gè)LoRA模型詳解分析，從下圖可以看到，該模型只有144MB，相比SD模型至少2GB起步，LORA確實(shí)算得上是小模型，非常適合硬件資源受限的用戶。值得注意的是，LORA是SD模型的插件網(wǎng)絡(luò)，所以必須配合SD一起使用。圖中標(biāo)注了Base Model: SD 1.5，意味著該模型是基于SD 1.5訓(xùn)練的，并且在使用時(shí)必須配合SD 1.5才能生成想要的效果。

由于目前civaitai已經(jīng)屏蔽了中國用戶的訪問，所以需要科學(xué)上網(wǎng)。推薦下我們的civitai模型鏡像網(wǎng)站https://aigccafe.com/，國內(nèi)用戶可以順暢訪問，無需百度網(wǎng)盤下載，飛一般的下載速度。

https://aigccafe.com/aigccafe.com/

如何使用LORA模型

目前社區(qū)使用者絕大部分都是基于stable-diffusion-webui這個(gè)開源項(xiàng)目，一些相關(guān)的整合包（例如秋葉，星空）也是在此基礎(chǔ)上進(jìn)行的簡化。因此在這里僅基于這個(gè)webui這個(gè)項(xiàng)目介紹。

https://github.com/AUTOMATIC1111/stable-diffusion-webuigithub.com/AUTOMATIC1111/stable-diffusion-webui

假設(shè)你已經(jīng)完成了webui的安裝，將下載的LORA模型放置在文件夾下 "stable-diffusion-webui/models/Lora"文件夾下，以下以水墨畫風(fēng)格的LoRA為例

只需要在生成的時(shí)候，prompt增加關(guān)鍵詞<lora:filename:multiplier>即可，以上述下載的LoRA模型Moxin_10為例，需要在prompt中增加以下關(guān)鍵字，0.5代表LoRA的強(qiáng)度，可自由調(diào)節(jié)

<lora:Moxin_10:0.5>

以下是實(shí)戰(zhàn)效果，在輸入好prompt后，在最后增加<lora:Moxin_10:0.7> ，生成如下圖片：

Prompt: ((shuimobysim, traditional chinese ink painting)), masterpiece, best quality, fullbody, 1girl, dancing, dynamic pose, wearing white techwear jacket, modelshoot style, posing for a picture, long legs, (standing in a chinese garden)  <lora:Moxin_10:0.7>

如何訓(xùn)練LoRA模型 - 定制你的專屬模型

假設(shè)你想將自己形象加入模型中，那你需要首先進(jìn)行數(shù)據(jù)收集，將自己的照片作為訓(xùn)練數(shù)據(jù)，訓(xùn)練新的模型并保存。

數(shù)據(jù)準(zhǔn)備；首先收集圖片，可以通過爬蟲或者直接從搜索引擎下載，這里我們選擇直接從百度圖片搜索下載。注意，數(shù)據(jù)準(zhǔn)備的質(zhì)量決定了你最終模型的效果，如果你喂給模型的圖是低質(zhì)量的圖，那么模型給你生成的圖也是低質(zhì)量的圖，所以盡量保證圖片清晰，分辨率較高，無遮擋。這里我們選擇下載蔡徐坤的若干張圖片，訓(xùn)練一個(gè)人物模型。

訓(xùn)練模型；這里推薦使用帶GUI的工程kohya_ss，適合沒有程序經(jīng)驗(yàn)的讀者使用。按照安裝說明完成安裝后，打開GUI為以下界面，選擇Dreambooth LoRA界面。

為圖片打上標(biāo)簽（caption），輸入圖片的位置，選擇Basic Caption，在Prefix項(xiàng)加上你的關(guān)鍵詞，例如我們這里關(guān)鍵詞命名為caixukun，可以給圖片增加更詳細(xì)的表述，例如a asian man, star。注意，這個(gè)關(guān)鍵詞和描述非常重要，在生成圖片的時(shí)候輸入這個(gè)關(guān)鍵詞，才能生成我們想要的效果。

將文件重命名，加上前綴200_，意味著圖片要重復(fù)200遍，整個(gè)訓(xùn)練過程的總steps數(shù)為200 * 圖片數(shù)量

將文件夾重命名為200_caixukun，放置在文件夾下data/lora_train下

開始訓(xùn)練，切換到如下頁面，輸入圖像的路徑data/lora_train，模型命名，點(diǎn)擊開始訓(xùn)練。注意200_caixukun文件夾是lora_train的子文件夾，這里路徑不要寫錯(cuò)了

將訓(xùn)練生成好的模型caixukun.safetensors移動(dòng)到stable-diffusion-webui/models/Lora文件夾下，輸入以下prompt，測(cè)試一下效果

caixukun, a aisan man, star, <lora:caixukun:1.0>

因?yàn)檫@里只隨便選用了7張照片，因此效果不算很好，只能說有一點(diǎn)神似。如果要訓(xùn)練一個(gè)高質(zhì)量的模型，建議準(zhǔn)備50張以上的圖片。

這次獲取了更多圖片，又訓(xùn)練了一個(gè)畫風(fēng)LoRA模型。訓(xùn)練集包含2000張高質(zhì)量圖片，由小紅書@mimilulu 提供，質(zhì)量非常之高。

訓(xùn)練采用V100，總共訓(xùn)練20000步，花費(fèi)4個(gè)小時(shí)，以下是由該模型生成的一些圖片

[CommShow]https://blog.csdn.net/yang7711/article/details/130938840[/CommShow]