如何拯救一只拖更的漫畫家

我身上的陰影比你的好看丨《在下坂本，有何貴干》

凡有光線，必有陰影。

所以，就算同一張臉同一塊布，也有明暗交替，從來不是一成不變。

攝影師直接借用真實的光影就好，但漫畫師借不到光，只能靠想象。畢竟線稿是蒼白的，手動打上合適的陰影，畫面才會立體，才會有光亮。

上《少女新娘物語》，下《寄生獸》同人漫丨森薰 & Banana Fish

這道工序并不簡單，考驗畫師對空間的理解，萌新常常花大把的時（tou）間（fa）來調(diào)整陰影；就算有了經(jīng)驗，上陰影依然是一項費時費力令人頭禿的活動。

不過現(xiàn)在，漫畫家（的助手）們有理由期待一個有頭發(fā)的未來了。因為，打陰影已經(jīng)不是人類的專屬技能，下面這個妹子的陰影，就是一只AI的手筆：

圖丨參考文獻1

只要為AI指明光源的方向，畫面便有了光影錯落。它仿佛還看得出花瓣的邊緣，看得見葉子的脈絡。

除此之外，它也可以給動畫上陰影，畫面自然流暢：

給動畫上陰影，素材來自克勞斯《圣誕節(jié)的秘密》丨參考文獻1

這只技藝精湛的AI，來自馬里蘭大學巴爾的摩郡分校的鄭清元和小伙伴們，登上了計算機視覺頂會CVPR 2020。

誰還沒有空間想象力了

像開頭提到的那樣，打陰影靠的是對空間的理解。

可漫畫線稿是2D的，AI要怎么看出3D空間來？需要修煉空間想象力。

曾經(jīng)，有大前輩用物體的2D輪廓和3D渲染模型做成一對數(shù)據(jù)，訓練AI去想象2D線稿的3D形狀，再加上寫實派的陰影：

大前輩Sketch2Normal丨參考文獻2

不過，漫畫有時并不那么寫實，這里AI首先要學的是單色陰影，不漸變的那種。于是，研究團隊想找到一種更合適的方法。

既然，人類能依靠畫面的光影來判斷物體的3D形狀，應該也可以利用漫畫家已經(jīng)打好的陰影，訓練AI想象3D形狀的能力。

當然，下面這樣的成品不便當做訓練數(shù)據(jù)，因為它不光打了陰影還上了色，AI分不清哪里是陰影，哪里是物體本身的顏色，會困惑的：

兩儀小姐姐的頭發(fā)和腰帶已經(jīng)有了顏色丨《空之境界》

相比之下，研究人員們機智地選擇了Toshi老師著名的陰影教程。那里，有打上陰影前后的對照，人物有各式各樣的姿勢和朝向，還有不同的光照方向。

光線與陰影丨Toshi

訓練數(shù)據(jù)集里，每張線稿都有它對應的陰影（Toshi老師畫的），以及陰影對應的光源方向（手動標記），三者合起來算是一個樣本。

左為線稿，中為陰影，右為光照方向丨參考文獻1

數(shù)據(jù)集有了，它要調(diào)教的是怎樣一只AI？陰影生成器分成兩部分：第一部分叫做形狀網(wǎng)絡（shape net），負責給一張線稿編碼3D空間信息；第二部分叫做渲染網(wǎng)絡（render net），根據(jù)編碼出的3D空間信息來生成陰影。每輸入一個線稿和一個方向，就輸出一個陰影。

打了陰影之后，還有一個判別器負責檢查它生成的陰影真不真實。最初的判斷依據(jù)，就是訓練集里的那些樣本，隨著生成器不斷生成新的樣本，判斷力也會不斷升級。判別器越來越難被騙，生成器就要打上更逼真的陰影，才能繼續(xù)騙過那雙火眼。

終于，生成器在判別器的鞭策之下，生成的陰影自然了起來：

成果展丨參考文獻1

肉眼可見，它獲得了一些有用的技巧。比如，參考已經(jīng)存在的各種線條，不論頭發(fā)還是衣服的褶皺：

不要觀察歐派（誤）丨參考文獻1

比如，光在側(cè)面的時候，陰影打給了半邊臉，剛好以鼻子為界：

歐派隱身了（誤）丨參考文獻1

更重要的是，當光照的方向連續(xù)變化，AI生成的陰影也在連續(xù)變化。注意，在訓練數(shù)據(jù)集里，光照方向只有離散的26種，但AI依然學會了給更多不同的光照方向打陰影。

生成單色陰影之后，只要把不同光照方向的陰影合成起來，還能擁有漸變的陰影：

放大看，甚至可以有網(wǎng)點 (d)丨參考文獻1

另外，就算畫里的主角突然跑起來，AI一樣可以招架：

給動畫上陰影，素材來自吉成曜丨參考文獻1這讓人想起了光影能力者新海誠。雖然，現(xiàn)在AI的能力還停留在給人物上陰影，離把人物放進背景、放到更多的人物中間，可能有很長一段路；但假如有一天，動畫的陰影可以交給AI來上，省下的時間拿去生產(chǎn)更多大作，那畫師還是會禿頭，想想都覺得興奮呢。

躲避夷族的追擊丨《追逐繁星的孩子》

打完陰影了然后呢

問題來了，就算有一天真的不用手動上陰影，還是要手動上色吧，就算黑白漫也一樣。

那樣的話，就等著上色AI也進化到不用人類上手的那一天吧。

其實也不會太遠了，因為半自動的上色AI已經(jīng)出現(xiàn)了。比如，來自我國的Style2Paints，目前進化到了第四代（最新版本v4.5）。不加任何手動調(diào)色，便能得到這樣的效果：

圖丨參考文獻3

稍微調(diào)教一下下，就獲得了更加令人心曠神怡的作品：

素材來自《俺は、八乙女一華が苦手だ》丨柚木'N

之前因為網(wǎng)頁版游玩人數(shù)太多，官方宣布服務器撐不下去了，現(xiàn)在Style2Paints又以PC版的身份重生，想必是個生命力更強的變體。

看來，不論是上陰影還是上色，不論是漫畫本子還是動畫，一個高產(chǎn)的美好世界，仿佛就要來了。

參考文獻

[1] Zheng, Q., Li, Z., & Bargteil, A. (2020). Learning to Shadow Hand-drawn Sketches. arXiv preprint arXiv:2002.11812.

[2] Su, W., Yang, X., & Fu, H. (2017). Sketch2normal: deep networks for normal map generation. In SIGGRAPH Asia 2017 Posters (pp. 1-2).

[3] Lllyasviel. (2019, December 18). lllyasviel/style2paints. Retrieved from https://github.com/lllyasviel/style2paints

作者：栗子

編輯：odette

鳴謝：鄭清元團隊，八云

本文來自果殼，未經(jīng)授權(quán)不得轉(zhuǎn)載.

如有需要請聯(lián)系sns@guokr.com