本文深入研究了各種VLGMs毒性生成的傾向性和對毒性數據的易感性。為此， 本文研究者構建了ToViLaG數據集，包括32K個單邊毒性以及雙邊毒性的文本-圖像對和1K個無害但易於激發毒性的文本提示。並且提出了一種新的基於信息瓶頸（Information Bottleneck）的去毒方法SMIB，該方法可以在保持可接受的生成質量的同時降低毒性，為VLG領域提供了一個有前景的初步解決方案。
論文題目：
ToViLaG: Your Visual-Language Generative Model is Also An Evildoer
論文鏈接：
https://arxiv.org/pdf/2312.11523.pdf
代碼鏈接：
https://github.com/victorup/ToViLaG
作者主頁：
https://victorup.github.io/
一、摘要
警告：本文可能會包含模型生成的令人不適的內容。
最近視覺語言生成模型（VLGMs）在多模態生成任務上取得了很大進展。然而，這些模型也可能會生成有毒內容，例如冒犯性文本或色情圖片，從而引發重大倫理風險。盡管語言模型的毒性問題已經得到了大量的研究，但視覺語言生成（VLG）領域的毒性問題在很大程度上仍未得到探索。
本文深入研究了各種VLGMs毒性生成的傾向性和對毒性數據的易感性。為此，我們構建了ToViLaG數據集，包括32K個單邊毒性以及雙邊毒性的文本-圖像對和1K個無害但易於激發毒性的文本提示。
此外，我們提出了一種新的針對VLG的毒性評價指標WInToRe，從理論上反映了輸入和輸出毒性的不同方面。在此基礎上，我們對各種VLGMs毒性進行了基準測試，結果發現有些模型會比預期生成更多的毒性內容，而且有些模型更容易感染毒性，這也突出了VLGMs去毒的必要性。
因此，我們提出了一種新的基於信息瓶頸（Information Bottleneck）的去毒方法SMIB，該方法可以在保持可接受的生成質量的同時降低毒性，為VLG領域提供了一個有前景的初步解決方案。
盡管視覺語言生成模型（VLGMs，包括文本到圖像生成模型，以及圖像到文本生成模型）已經展現出前所未有的能力，但這些模型仍然會生成有毒的內容（如圖1），該問題會帶來深刻的社會和道德風險。此外，一些工作發現即使沒有敏感詞的無毒輸入也會引發有毒輸出，這表明僅通過簡單的輸入過濾已經不足以解決這一問題。
目前已有一些工作提出解決視覺語言數據集和模型中的社會偏見，而毒性問題在很大程度上仍未得到探索。在自然語言生成（NLG）領域雖然已經有一些毒性評估和語言模型去毒的工作，然而為NLG設計的方法和指標並不直接適用於視覺語言生成（VLG）領域，需要一個專門的框架來解決VLG的毒性問題。
在這項工作中，我們深入探究了VLG領域的毒性問題，提出並解決以下三個研究問題：
為此我們構建了ToViLaG數據集，包括32k個有毒文本-圖像對，並將其分為三類：1）單邊有毒數據對（隻有文本或圖像是有毒的）；2）雙邊有毒數據對（文本和圖像都是有毒的）；3）可能激發生成有毒圖像的無毒文本提示。
此外，我們設計了一種新的毒性評價指標WInToRe，以從理論上解決NLG中現有指標的缺陷，例如對輸入毒性的忽略以及對采樣超參數的敏感性。
VLG的發展相對於NLG仍處於早期階段，其模型規模可能會如同NLG趨勢一樣越來越大，需要的訓練數據也越來越多，其中也難免引入越來越多的有毒數據
因此，我們模擬了未來模型規模增加和爬取不幹凈數據的情況，對不同結構和模型大小的VLGMs的毒性進行了基準測試，並對其註入了不同程度的毒性數據。實驗結果表明用相對幹凈的數據訓練的VLGMs也會產生比預期更大的毒性，因此簡單的輸入內容過濾方法可能收效甚微，這在可預見的未來會進一步惡化。
為此我們提出了一種新的基於信息瓶頸的去毒損失SMIB，通過在VLGMs中添加一個小的去毒層，對其進行微調以減少毒性信息，同時最大化生成目標的概率。我們證明了最小化SMIB損失相當於優化信息瓶頸，該方法為VLG去毒提供了一個有前景的初步解決方案。
-
首次在VLG領域研究毒性問題，並建立了一套從數據集到評價指標再到去毒方法的系統性框架。
-
我們構建了一個有毒文本-圖像對數據集ToViLaG，提出了一種新的針對VLG的毒性評價指標WInToRe，對一系列VLGMs毒性進行了基準測試，並在不同的設置下進行了全面的分析。
-
我們設計了一種經過理論驗證的基於信息瓶頸的輕量級去毒方法SMIB，能夠在減少毒性的同時保持生成質量，為VLG去毒這一領域提供一個初步解決方案。
在收集數據時我們考慮了不同的毒性范圍，在文本方面包括由PerspectiveAPI[1]定義的冒犯性、威脅性以及與性相關的內容，在圖像方面包括色情、血腥和暴力。我們構建的ToViLaG數據集統計信息如下圖所示：
(a) <有毒圖片，無毒文本>：其中有毒圖片包含了色情、血腥、暴力三種類型的圖片；無毒文本通過使用GIT[2]模型對三類有毒圖片生成相應文本描述而來，並進一步利用PerspectiveAPI, PPL, CLIPScore以及Jaccard相似度等指標進行過濾，保留無毒、高質量、且語義多樣的文本。
(b) <有毒文本，無毒圖片>：首先對現有VL數據集進行毒性檢測，包括COCO、Flickr30K、CC12M，保留其中的有毒文本和無毒圖片對；此外，我們使用fBERT[3]模型將COCO中的部分無毒文本改寫為有毒文本，並利用上述過濾指標進行過濾，最後將其與對應的無毒圖片組合起來。
有毒圖片同上述三類毒性圖片，使用更容易生成有毒內容的BLIP[4]模型為圖片生成文本，同樣使用相同過濾指標進行過濾。
為了驗證無毒文本也可能會導致生成有毒的圖像，因此我們構建了無毒文本提示。我們在Stable Diffusion[5]上使用了一種梯度引導搜索方法[6]，該方法迭代地替換文本提示中的一些token並最大化生成有毒圖像的概率。該無毒文本提示可以作為一種攻擊手段來測試各種文本到圖像生成模型的漏洞。
為了評估文本和圖像的毒性，對於文本，我們使用較常用的PerspectiveAPI[1]來檢測文本毒性，對於圖像，我們使用收集到的三類毒性圖片結合一些無毒圖片分別基於ViT-Huge訓練得到三類圖像毒性分類器來檢測圖像毒性。
除了分類器測量的直接毒性概率外，我們還需要一個評價指標來評估給定VLG模型在測試集上的總體毒性程度。Expected Maximum Toxicity (EMT) 和Toxicity Probability (TP)[7]是NLG中常用的兩種評價指標。
定義給定生成模型為 ，具有 個測試輸入的測試集為 。每個測試輸入 生成 個樣本 。EMT計算方式為：
其中， 為毒性分類器預測的 毒性概率。EMT評估模型最壞情況下的生成，反應模型的毒性程度。TP計算方式為：
其中 是指示函數， 是毒性概率閾值（通常為0.5）。TP評估模型生成有毒內容的經驗頻率。
經過分析我們得到上述評價指標面臨以下四個缺陷，可能會阻礙反映VLGMs內部毒性的準確性：
(1) 不一致的毒性評估角度。EMT強調了模型的平均最大毒性，而TP強調了模型生成有毒內容的頻率，當它們結果不一致時將不易判斷模型毒性程度。
(2) 對有毒樣本比例的忽略。它們忽略了有毒輸出占所有 個輸出樣本的絕對比例，而隻考慮極端或邊界情況。
(3) 對 和 敏感。如圖2所示，不同生成樣本數量 會導致TP得分明顯不同。從TP公式可以發現 決定了TP的大小，較大的 會導致較小的TP，這阻礙了它們在更廣泛場景中的實用性
(4) 忽略了輸入毒性。它們僅考慮了輸出毒性而忽略了輸入毒性。在VLG的場景下我們必須通過調查模型是否會維持（輸入有毒輸出有毒，或輸入無毒輸出無毒）、放大（輸入無毒輸出有毒）或降低（輸入有毒輸出無毒）毒性來防止潛在的惡意攻擊，從而評估模型對有毒輸入的脆弱性。
為了應對上述問題，我們提出了一種新的評價指標，稱為基於Wasserstein的超參數不敏感毒性反應，簡稱WInToRe：
其中 是一系列毒性概率閾值。WInToRe以 [−1, 1] 為界，較大的WInToRe表示較小的內部毒性。
(a) WInToRe同時反映了毒性的不同方面（指標），如EMT和TP。
(b) WInToRe對 和 不敏感。 ，而WInToRe不會隨 而變化。當 足夠大時，由 帶來的差異收斂到0。
(c) WInToRe對輸入的毒性敏感，並有界於[−1, 1]。
(d) WInToRe近似為Wasserstein-1距離 的下界，上界為 ， 在 區間內。 和 分別是表示輸入和輸出毒性的隨機變量， 分別是 和 的分佈。
我們評估了八個Image-to-Text (I2T)模型，包括VinVL[8]、GIT[2]、GRIT[9]、OFA[10]、CLIP- ViL[11]、BLIP[4]、BLIP2[12]和LLaVA[13]。我們使用了21,559張三類毒性圖片作為輸入，每張輸入圖片生成10條文本。
表3展現了多個I2T模型的毒性水平。從結果中我們可以發現：
1）大多數I2T模型表現出比我們預期的更大的毒性。大多模型都有超過10%的輸入圖片可以觸發生成有毒文本，甚至BLIP2有40%的圖片生成了有毒文本。如此高的毒性水平意味著當通過相應的下遊任務使用這些模型時，很大一部分用戶可能會體驗到冒犯性內容。
2）毒性水平因模型而異，可能歸因於架構和訓練數據。從結果可以看到與BLIP相比，OFA、VinVL和CLIP-Vil三種模型的毒性非常小。因為這三個模型是用較小的、高質量的、幹凈的數據集訓練的，例如COCO和VQA，而相比之下其他模型使用了更多的和噪聲更大的網絡數據，例如CC12M和LAION400M。此外，這些有毒模型還利用了大規模預訓練模型進行初始化，例如ViT、CLIP、OPT和LLaMA等，說明預訓練階段所帶來的毒性也應該被考慮。
3）我們的WInToRe指標揭示了更多隱藏的毒性。結果顯示，根據TP指標，CLIP-ViL的毒性低於OFA。然而，由於TP忽略了有毒樣本比例，導致毒性被低估，尤其是當總體毒性水平較低時。而WInToRe指標體現了CLIP-ViL的毒性高於OFA。結果反映了我們提出的新指標的有效性。
我們評估了六個Text-to-Image (T2I)模型，包括DALLE-Mage[14]、LAFITE[15]、Stable Diffusion[5]、OFA[10]、CLIP-GEN[16]和CogView2[17]。使用ToViLaG中21,805條有毒文本作為輸入，每條輸入文本生成10張圖片。
表4左半部分展現了多個T2I模型的毒性水平。從結果中我們也可以得到與I2T模型類似的結論。與I2T模型相比，T2I模型表現出穩定且相對較低的毒性水平。我們認為這是因為數據和參數的規模仍然有限。即便如此，Stable Diffusion仍然表現出較高的毒性水平（TP約23%，WInToRe約80%），這可能會造成足夠嚴重的後果，增加被濫用的風險。
此外，我們也嘗試使用無毒文本提示對模型進行了評估，結果見表4右半部分。考慮到輸入的毒性後，一些模型變得非常毒。例如，CogView2在輸入有毒文本時毒性最小，但在輸入無毒文本後毒性被放大到最大。之前最毒的CLIP-GEN反而在一定程度上降低了毒性。
1）TP不能捕捉輸入和輸出之間的毒性變化，不能很好反映VLGMs的內在毒性特性。
2）無毒文本提示也可能引發有毒圖像的生成，這表明簡單的預處理方法（例如過濾）是遠遠不夠的。
如前文所述，VLG的發展仍處於較早期的階段。隨著LLM軌跡的發展，這些模型可能會繼續擴大模型以及數據的規模，因此可能會引入更大的毒性。為了預測未來模型毒性水平如何變化，我們進一步在模型規模以及訓練數據方面進行了實驗。
圖3展示了多個I2T模型的不同模型規模的毒性水平。隨著模型規模增加，毒性水平明顯提高。其潛在原因是模型越大越能夠記住訓練數據中的更多知識，從而內化更多有害信息。這表明在可預見的未來如果沒有適當的幹預，VLGMs的毒性可能會進一步升級。
根據3.3中基準測試結果，使用較大的網絡爬取數據訓練的VLGMs毒性更大（例如BLIP），這可能是因為數據中包含了更多有毒信息。因此，為了模擬未來涉及更多不幹凈的網絡數據的情況，我們進行了毒性註入實驗。我們通過在混合了不同比例的有毒數據的一些文本圖像對上對VLGMs進行微調，將毒性註入到VLGMs的訓練中。
1）單邊毒性註入。我們將之前創建的單邊毒性數據對混入無毒的COCO數據中。
2）雙邊毒性註入。將之前創建的雙邊毒性數據對混入無毒COCO數據中。
兩種情況各自收集100k個數據對進行訓練，其中有毒數據比例分別為1%、3%、5%、7%和10%。
我們分別選擇了三個I2T和T2I的模型進行實驗，I2T模型包括GRIT、CLIP-ViL、GIT，T2I模型包括CLIP-GEN、Stable Diffusion、LAFITE，實驗結果如圖4所示。
圖4左半部分為單邊毒性註入的結果，可以看到GIT和Stable Diffusion表現出最高水平的毒性，但對不斷增加的毒性數據表現出一定的穩健性。相對而言GRIT、CLIP-ViL和LAFITE對毒性註入更敏感。
圖4右半部分為單邊毒性註入和雙邊毒性註入的比較結果。由於雙邊註入可以在輸入輸出兩種模態之間建立更明確的毒性聯系，因此雙邊毒性註入會導致更高的毒性。
以上分析表明，現有的VLGMs比預期毒性更大，安全性更低。隨著模型規模越來越大和網絡數據越來越不幹凈，還有可能進一步惡化，強調了提前制定策略以減輕此類風險的必要性和緊迫性。
我們提出了一種平方損失互信息瓶頸SMIB。定義 為一個由 參數化的映射函數，該函數可以將輸入 的內部表示轉換為中間表示 ，以減少有害信息並激發無毒輸出 。為了優化 θ ，我們最小化SMIB損失：
其中 是由 參數化的等待去毒的VLG模型， 是用 參數化的分類器，用於預測 的毒性， 是二分類毒性標簽， 是標記的（輸入，輸出，毒性）元組，共 個元組， 是超參數。在訓練過程中，VLG模型的參數 是固定的，而分類器 和映射函數 分別通過標準分類損失和SMIB損失交替優化。
SMIB損失定理：當分類器 被訓練且毒性先驗分佈估計足夠好時，即 且 ，最小化SMIB損失等價於最大化 的下界和最小化 的上界。這表明通過最小化SMIB損失，我們可以通過用平方損失互信息（SMI）代替互信息（MI）來優化信息瓶頸（IB）：
我們選取了三個I2T模型進行去毒實驗，包括評估結果毒性最強的BLIP，具有高毒性且對毒性註入不敏感的GIT，以及更容易受到毒性註入的影響GRIT。
映射函數 θ 和分類器 均使用多層感知器（MLP），並且添加在每個模型的視覺編碼器之後。使用來自COCO的5000個無毒圖像-文本對和來自我們的雙邊有毒的5000個圖像-文本對進行訓練。采用BERTScore (BS)、ROUGE (R)和CLIPScore (CS)評估生成質量。
我們將去毒方法SMIB與兩種baseline進行了比較。第一種是單詞過濾方法，直接從輸出分佈中過濾出被禁止的候選token。第二種是一種輸出校正方法FUDGE[18]，通過學習一個屬性預測器來調整模型的原始概率。
去毒實驗結果如表5所示。可以看到，SMIB的毒性比baseline下降更為明顯。我們也註意到在R和CS兩個指標上模型生成質量明顯下降，主要原因是去毒方法對有毒token進行了修改或刪除，從而影響到基於n-gram匹配的質量指標，而在BERTScore上質量降低並不明顯。
我們也對模型生成結果在毒性和質量兩個方面進行了人工評價（如表6），結果表明SMIB方法能夠在有效去毒的同時保持與原始模型持平的生成質量。
圖5展示了GIT去毒前後的生成結果。盡管輸入是非常毒的，使用SMIB去毒方法後之前生成的冒犯性單詞也都會被去除，並保留了原始圖像的大部分語義。
本文深入研究了之前尚未探索的VLGMs的毒性問題。為了探究不同VLGMs對毒性的易感性，我們構建了一個包含毒性文本-圖像對的數據集ToViLaG，並引入了一種為VLG設計的新的毒性指標WInToRe。我們對一系列模型的毒性進行了基準測試，揭示了現有模型可能比預期更容易生成有毒內容。
此外，我們提出了一種新的去毒方法SMIB，可以在不顯著犧牲生成質量的情況下降低毒性。在未來工作中，我們計劃將SMIB方法應用於更大規模的VLGMs，例如LLaMA-based模型，並探究毒性生成的潛在機制。我們計劃將研究擴展到更廣泛的道德風險，努力為VLG領域創造一個理想的有道德的未來。
[1] PerspectiveAPI https://www.perspectiveapi.com/
[2] Jianfeng Wang, Zhengyuan Yang, Xiaowei Hu, Linjie Li, Kevin Lin, Zhe Gan, Zicheng Liu, Ce Liu, and Lijuan Wang. 2022d. GIT: A generative image-to-text transformer for vision and language. Transactions on Machine Learning Research.
[3] Diptanu Sarkar, Marcos Zampieri, Tharindu Ranasinghe, and Alexander Ororbia. 2021. fbert: A neural transformer for identifying offensive content. In Findings of the Association for Computational Linguistics: EMNLP 2021, pages 1792–1798.
[4] Junnan Li, Dongxu Li, Caiming Xiong, and Steven Hoi. 2022. Blip: Bootstrapping language-image pretraining for unified vision-language understanding and generation. In International Conference on Machine Learning, pages 12888–12900. PMLR.
[5] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. 2022. High resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 10684–10695.
[6] Eric Wallace, Shi Feng, Nikhil Kandpal, Matt Gardner, and Sameer Singh. 2019. Universal adversarial triggers for attacking and analyzing NLP. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 2153–2162, Hong Kong, China. Association for Computational Linguistics.
[7] Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, and Noah A Smith. 2020a. Realtoxicityprompts: Evaluating neural toxic degeneration in language models. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 3356–3369.
[8] Pengchuan Zhang, Xiujun Li, Xiaowei Hu, Jianwei Yang, Lei Zhang, Lijuan Wang, Yejin Choi, and Jianfeng Gao. 2021. Vinvl: Revisiting visual representations in vision-language models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 5579–5588.
[9] Van-Quang Nguyen, Masanori Suganuma, and Takayuki Okatani. 2022. Grit: Faster and better image captioning transformer using dual visual features. In Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XXXVI, pages 167–184. Springer.
[10] Peng Wang, An Yang, Rui Men, Junyang Lin, Shuai Bai, Zhikang Li, Jianxin Ma, Chang Zhou, Jingren Zhou, and Hongxia Yang. 2022e. Ofa: Unifying architectures, tasks, and modalities through a simple sequence-to-sequence learning framework. In International Conference on Machine Learning, pages 23318–23340. PMLR.
[11] Sheng Shen, Liunian Harold Li, Hao Tan, Mohit Bansal, Anna Rohrbach, Kai-Wei Chang, Zhewei Yao, and Kurt Keutzer. 2022. How much can CLIP benefit vision-and-language tasks? In International Conference on Learning Representations.
[12] Junnan Li, Dongxu Li, Silvio Savarese, and Steven Hoi. 2023. Blip-2: Bootstrapping language-image pretraining with frozen image encoders and large language models. arXiv preprint arXiv:2301.12597.
[13] Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. 2023. Visual instruction tuning. arXiv preprint arXiv:2304.08485.
[14] DALLE-Mage https://github.com/borisdayma/dalle-mini
[15] Yufan Zhou, Ruiyi Zhang, Changyou Chen, Chunyuan Li, Chris Tensmeyer, Tong Yu, Jiuxiang Gu, Jinhui Xu, and Tong Sun. 2021. Lafite: Towards languagefree training for text-to-image generation. arXiv preprint arXiv:2111.13792.
[16] Zihao Wang, Wei Liu, Qian He, Xinglong Wu, and Zili Yi. 2022f. Clip-gen: Language-free training of a text-to-image generator with clip. arXiv preprint arXiv:2203.00386.
[17] Ming Ding, Wendi Zheng, Wenyi Hong, and Jie Tang. 2022. Cogview2: Faster and better text-to-image generation via hierarchical transformers. arXiv preprint arXiv:2204.14217.
[18] Kevin Yang and Dan Klein. 2021. Fudge: Controlled text generation with future discriminators. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 3511–3535.
Illustration From IconScout By Delesign Graphics
“AI技術流”原創投稿計劃
TechBeat是由將門創投建立的AI學習社區（www.techbeat.net）。社區上線500 期talk視頻，3000 篇技術幹貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質量、知識型交流平臺，希望為AI人才打造更專業的服務和體驗，加速並陪伴其成長。
投稿內容
// 最新技術解讀/系統性知識分享 //
// 前沿資訊解說/心得經歷講述 //
投稿須知
稿件需要為原創文章，並標明作者信息。
我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發更大的文章，做原創性內容獎勵
投稿方式
發送郵件到
[email protected]
或添加工作人員微信（chemn493）投稿，溝通投稿詳情；還可以關註“將門創投”公眾號，後臺回復“投稿”二字，獲得投稿說明。
將門是一傢以專註於數智核心科技領域的新型創投機構，也是北京市標桿型孵化器。公司致力於通過連接技術與商業，發掘和培育具有全球影響力的科技創新企業，推動企業創新發展與產業升級。
將門成立於2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126傢創新的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給我“門”:
