近年來，越來越多的研究人員嘗試開發(fā)機(jī)器學(xué)習(xí)技術(shù)（例如CNN）來分析藝術(shù)品。到目前為止，這些工具主要用于識(shí)別創(chuàng)作特定藝術(shù)品的藝術(shù)家或確定繪畫是真實(shí)的還是偽造的。
荷蘭TU Delft的研究人員最近開發(fā)了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的模型，用于重建隨著時(shí)間而惡化的圖紙。在發(fā)表于Springer的《機(jī)器視覺與應(yīng)用》中的研究中，他們專門使用該模型重建了Vincent Van Gogh的一些繪圖，這些繪圖由于墨水褪色和變色而多年來被破壞。
進(jìn)行這項(xiàng)研究的研究者之一揚(yáng)·范德·盧貝（Jan van der Lubbe）告訴作者：“荷蘭在藝術(shù)方面享有國際聲譽(yù)，其中包括倫勃朗，蒙德里安和梵高等著名藝術(shù)家。” “因此，藝術(shù)史研究和如何保護(hù)文化遺產(chǎn)的研究在荷蘭起著重要作用。”
圖片提供：Zeng，van der Lubbe和Loog
與先前的研究形成對(duì)比，范德魯貝（Van der Lubbe）和他的同事著手研究如何使用機(jī)器學(xué)習(xí)技術(shù)對(duì)劣化的繪畫進(jìn)行像素化重構(gòu)。在藝術(shù)保存方面，繪畫和素描的惡化是一個(gè)關(guān)鍵挑戰(zhàn)，因此可以自動(dòng)重建殘缺或殘缺藝術(shù)品的工具將大大簡化藝術(shù)史學(xué)家的工作。
代爾夫特理工大學(xué)的研究人員團(tuán)隊(duì)對(duì)后印象派畫家梵高（Van Gogh）的作品進(jìn)行了基于CNN的模型的退化畫質(zhì)復(fù)制品培訓(xùn)。實(shí)際上，在過去的一個(gè)世紀(jì)中，梵高的一些水墨畫已經(jīng)大大惡化，藝術(shù)史學(xué)家經(jīng)常嘗試復(fù)制它們。
這些圖形目前無法顯示，并且在幾十年后它們可能會(huì)完全退化。考慮到這一點(diǎn)，范德魯貝（Van der Lubbe）和他的同事們希望開發(fā)一種模型，該模型可以自動(dòng)重建這些珍貴的藝術(shù)品，以保護(hù)它們并使公眾可以使用。
圖片提供：Zeng，van der Lubbe和Loog。
“我們研究的主要目標(biāo)之一是通過機(jī)器學(xué)習(xí)方法來預(yù)測藝術(shù)品在紙上的原始，過去和將來的外觀，這些方法結(jié)合了對(duì)所用顏色及其隨時(shí)間變色的深入研究結(jié)果，范德魯貝說。“這可能有助于設(shè)想例如梵高的一幅畫在創(chuàng)作時(shí)的樣子。”
van der Lubbe和他的同事設(shè)計(jì)的方法將多分辨率圖像分析技術(shù)和深層CNN結(jié)合在一起，以像素為單位預(yù)測圖形的過去外觀。CNN是受生物神經(jīng)網(wǎng)絡(luò)（例如人腦中的神經(jīng)網(wǎng)絡(luò)）啟發(fā)的算法，可以通過分析大量數(shù)據(jù)來訓(xùn)練它們完成特定任務(wù)。
van der Lubbe說：“據(jù)我們所知，關(guān)于使用機(jī)器學(xué)習(xí)方法進(jìn)行藝術(shù)品的數(shù)字重建的研究很少或很少。” “這是推動(dòng)我們的研究和使用機(jī)器學(xué)習(xí)來重建藝術(shù)品的關(guān)鍵思想。從早期的研究中，我們考慮了不同的機(jī)器學(xué)習(xí)算法，卷積神經(jīng)網(wǎng)絡(luò)（CNN）方法似乎最有前途。”
在他們的研究中，研究人員專門培訓(xùn)了CNN，以數(shù)字方式重建紙上褪色的梵高圖紙。該算法在一個(gè)數(shù)據(jù)集上進(jìn)行了訓(xùn)練，該數(shù)據(jù)集包含上個(gè)世紀(jì)在不同時(shí)間制作的質(zhì)量不同的原始圖紙的復(fù)制品。
范德魯貝說：“我們?cè)谘芯恐惺褂玫睦邮欠哺咦髌返膹?fù)制品，KUKA機(jī)器人示教器維修，其內(nèi)容和顏色的褪色程度不那么嚴(yán)重，因此它們更接近凡高制作的原始作品。” “我們從梵高博物館收藏中獲得了原始圖紙和復(fù)制品。”
范德·盧貝（van der Lubbe）和他的同事們提出的方法除了揭示過去的繪畫外觀之外，還可以幫助藝術(shù)史學(xué)家確定適當(dāng)?shù)乃囆g(shù)品保存和修復(fù)策略，以及藝術(shù)品保存和展示的有效做法。
圖片提供：Zeng，van der Lubbe和Loog
研究人員通過一系列實(shí)驗(yàn)評(píng)估了他們的模型，發(fā)現(xiàn)該模型取得了顯著成果。他們的發(fā)現(xiàn)強(qiáng)調(diào)了使用機(jī)器學(xué)習(xí)對(duì)退化的圖像，文檔和藝術(shù)品進(jìn)行預(yù)測性重建的可行性。盡管研究人員專門使用他們的模型來重建梵高的繪畫，但也可以將其應(yīng)用于其他惡化的紙上藝術(shù)品或19世紀(jì)手稿。
van der Lubbe說：“與迄今為止使用其他方法所獲得的結(jié)果相比，對(duì)梵高工程圖進(jìn)行數(shù)字重建所獲得的結(jié)果更好。” “當(dāng)然，KUKA機(jī)器人維修，梵高只是一個(gè)試驗(yàn)或一個(gè)例子。我們的技術(shù)也可以從梵高的圖紙擴(kuò)展到其他藝術(shù)家，繪畫和舊文件的圖紙。”
將來，范德·盧貝（van der Lubbe）和他的同事開發(fā)的工具可以幫助藝術(shù)史學(xué)家對(duì)藝術(shù)品進(jìn)行逼真的重建，否則這些藝術(shù)品可能會(huì)完全退化。在他們最近的研究中，研究人員一次只專注于一幅畫，www.whsntf.cn，在有限數(shù)量的復(fù)制品上訓(xùn)練了他們的CNN。但是，該模型還可以用于基于大量復(fù)制品來預(yù)測原始圖紙的外觀。
另外，該技術(shù)當(dāng)前通過分析視覺信息而起作用。在他們的下一個(gè)研究中，研究人員希望調(diào)查分析視覺和化學(xué)相關(guān)信息（例如，墨水的成分及其降解率）是否可以增強(qiáng)模型的性能。
van der Lubbe說：“在目前的研究中，我們繪制的今日?qǐng)D紙質(zhì)量有所下降。” “我們認(rèn)為重建原始圖形也將是一個(gè)巨大的挑戰(zhàn)，特別是在原始圖形不可用或已消失的情況下，因此我們只能復(fù)制過去的圖形。”