超解析度技術: Adobe Photoshop與深度神經網路對比

與領先的超解析度深度神經網路模型相比，Adobe的超解析度有多有效？這篇文章試圖評估這一點，Adobe的超級解析度的結果非常令人印象深刻。

超解析度技術

超解析度是透過提高影象的視解析度來提高影象質量的過程。擁有一種演算法，可以有效地想象出在更高解析度的影象中將會出現的細節。

有很多正面評論描述了Adobe Photoshop的Super Resolution的出色表現，例如“ Made My Jaw Hit the Floor”。 在超解析度方面進行了多年的研究和試驗之後，我想對影象解析度增強和實際影象質量指標進行更為實證的比較。 在本文中，我將進行比較：

雙三次插值法

Adobe相機Raw的超級解析度

資訊蒸餾網路超解析度

雙三次插值演算法

雙三次插值是放大影象的最常用方法，通常會導致放大影象的外觀模糊。 幾乎每個影象編輯器都支援雙三次插值，實際上，大多數Internet瀏覽器使用雙三次插值來顯示大於其物理尺寸影象。

Adobe Camera Raw的超級解析度

Adobe Camera Raw超解析度，或同等的Photoshop Camera Raw濾鏡是最近非常快速和容易使用的超解析度方法。

Adobe公司表示，這是一種先進的機器學習模型，可以對數百萬張照片進行訓練，但沒有給出更多細節。更多資訊來自Adobe的部落格。

似乎該演算法是一種深度神經網路，Adobe從推理速度、效能和處理非常大解析度影象的能力上都取得了顯著的成果。

資訊蒸餾網路(IDN)超解析度

透過資訊蒸餾網路快速準確的單幅影象超解析度展示了研究人員在深度卷積神經網路結構上訓練的模型。

由於資訊蒸餾網路（IDN）的超解析度效能仍處於最先進水平，且具有很好的泛化性，因此我們選擇了它進行比較。

研究人員還在相對高解析度的影象上評估了他們的超解析度結果，而不是早期基於深度神經網路的超解析度通常使用的典型的“郵票”大小的影象。

質量（損失）度量

哪一種質量指標是最好的，這是一個有爭議的問題，在不同的研究人員之間存在差異。我個人認為SSIM和MAE是最好的質量指標，儘管PSNR是學術研究評價超解析度模型和演算法最常見的指標。

為了比較，也將雙三次插值的度量包括在內，在這些解析度下，雙三次放大的結果是一個相對高質量的影象。

峰值信噪比（PSNR）

峰值信噪比（PSNR）對於評估影象增強技術非常常見，例如“超解析度”，其中訊號是地面真實/原始影象，而噪聲是模型無法恢復的誤差。 儘管PSNR是一個基於基於MSE和對數的度量。作為一個質量指標，值越高質量越高。

結構相似性指數(SSIM)

結構相似性指數（SSIM）是一種感性的度量指標。SSIM基於影象中的可見結構。 使用SSIM進行影象增強評估是因為一些研究人員不再將PSNR視為影象質量下降的可靠指標。 它是一種感知指標，用於量化由處理引起的影象質量下降。 作為質量度量，較高的值表示較高的質量。

均方誤差（MSE

）

均方誤差（MSE）用於比較真值/原始影象畫素與預測/生成的影象畫素之間的距離。 取每個畫素差異的平均值，然後平方。 作為損耗或錯誤度量標準，較低的值表示較高的質量。

平均絕對誤差（MAE）

平均絕對誤差（MAE）是真值/原始影像與預測/生成的影像之間的絕對差之和。 作為損耗或錯誤度量標準，較低的值表示較高的質量。

使用Unsplash圖片進行測試

這些是在受歡迎的Unsplash免版權攝影網站上對高質量和高解析度影象執行的Super Resolution的各種示例集。

在每個示例中，左圖是三次三次插值放大，中間圖是Adobe的Super Resolution，右圖是IDN深度神經網路的Super Resolution。

如上所述，這些指標正在將每種放大/超解析度方法的輸出與原始真實影象進行比較。

有了這些高解析度影象，雙三次插值的指標通常會很高，因為透過有效地單獨使用模糊濾鏡進行升頻可以產生高質量的指標，尤其是對於MSE。

從Adobe的“超解析度”中可以明顯看出大多數影象在解析度和質量上的視覺改善，儘管在IDN深度神經網路超解析度中沒有引入或誇大的偽影。

左:雙三次插值

PSNR：38。3776

SSIM：0。9331

MSE：9。4475

MAE ：0。0122

中: Adobe’s Super Resolution

PSNR： 31。8368

SSIM： 0。8905

MSE： 42。5988

MAE： 0。0358

右: IDN Super Resolution

PSNR： 38。9078

SSIM： 0。9400

MSE： 8。3619

MAE： 0。0122

儘管指標並沒有表明這一點，但從人類的視覺角度來看，Adobe的超級解析度的改進優於雙三次插值。與IDN模型的超解析度相比，改進幅度更大。

左

PSNR：28。0634

SSIM： 0。8128

MSE： 101。5632

MAE：0。0278

中

PSNR值：26。6016

SSIM： 0。7796

MSE： 142。2055

MAE：0。0384

右

PSNR：29。0446

SSIM： 0。8541

MSE： 81。0245

MAE：0。0254

這張圖片的改進非常類似於Adobe的超級解析度和IDN模型。IDN模型處理後毛皮和貓的鬍鬚看起來稍微更明確和尖銳

左

PSNR：31。5566

SSIM： 0。9564

MSE： 45。4386

MAE：0。0091

中

PSNR：31。1871

SSIM： 0。9319

MSE： 49。4732

MAE：0。0147

右

PSNR：34。1575

SSIM： 0。9712

MSE： 24。9650

MAE：0。0077

Adobe的超級解析度提高了解析度，恢復了影象中的一些細節和特徵，儘管誇大了影象中的許多工件，IDN模型再次得到了一個解析度大大提高的影象。

左

PSNR：28。5939

SSIM： 0。7417

MSE： 89。8862

MAE：0。0559

中

PSNR：26。5685

SSIM： 0。6350

MSE： 143。2957

MAE：0。0747

右

PSNR：29。4697

SSIM： 0。8064

MSE： 73。4695

MAE：0。0513

作者拍攝照片測試

這是廚房裡的一張非典型照片，用來測試超解析度的能力。

從度量的角度來看，Adobe的超級解析度比雙三次插值要差得多，在視覺上它確實比雙三次插值好，儘管只是稍微好一點。

左

PSNR： 37。2630

SSIM： 0。9419

MSE： 12。2117

MAE： 0。0101

中

PSNR： 34。1691

SSIM： 0。8990

MSE： 24。8983

MAE： 0。0167

右

PSNR： 39。3837

SSIM： 0。9528

MSE： 7。4939

MAE： 0。0089

作為額外的比較，這張位於英國伯明翰Oozells square的櫻花樹的超解析度照片是對源影象進行超解析度處理的一個例子，而不是源影象的低解析度縮小版。這種比較是為了避免任何考慮而使用用於建立較低解析度輸入的雙三次縮減。

在這裡，原始輸入影象的解析度比原始影象高，因此沒有真值來比較指標。從人類視覺的角度來看，與Adobe的超級解析度相比，IDN模型在解析度上的增強顯得更大。例如，磚牆、樹枝和窗戶覆層都明顯地更尖銳了。

注意Adobe的超解析度是在原始相機影象上執行的，這給了Adobe的演算法一個潛在的優勢。

這個例子之所以被包括進來，是因為有研究人員認為將影象降尺度作為比較使用並不是一個真實世界的測試，雙三次降尺度並不等同於最初以較低解析度捕獲的影象。例如，來自微軟研究中心的ImagePairs：透過分束器相機平臺紙獲得的真實超解析度資料集，其中一個數據集使用一個相機平臺，同時使用一個低解析度和更高解析度的相機感測器，從而得到一個真正的低解析度和高解析度的影象對。

總結

Adobe在增強影象解析度方面的超高解析度效能是一個內建在影象處理和編輯軟體套件中的功能。

雖然與IDN模型有顯著的差異，但隨著解析度的提高，一些影象的解析度提高接近於最先進的深度神經網路。改進過程中的變化表明，該演算法的泛化性可能不太好。

從度量的角度來看，在本文的許多測試中，Adobe的超級解析度是超解析度中最低的。然而，從人類的視覺角度來看，它的改進遠遠優於雙三次插值。很有可能它的演算法是用一個更感性的度量來訓練的。正如我經常提到的，什麼更重要：引數還是人們對質量的感知？

Adobe的超級解析度對影象中的噪音和偽影的容忍度要低得多，通常在低質量的影象上表現得更差。

Adobe的超級解析度只能實現影象解析度的2倍增強，而許多深度神經網路模型已經被訓練可以實現影象解析度的4倍增強。

對DIV2K驗證資料集也進行了評估，該資料集為超解析度競賽和研究進行了整理。由於DIV2K資料集只允許學術使用，所以不能在這裡使用。Adobe的超級解析度在DIV2K驗證資料集上表現得非常好。與這裡的結果相比，原因可能是Adobe的超級解析度訓練過程包含了這些影象，這就是我們經常所說的資料洩露了。

高解析度

Adobe的超級解析度突出的特徵是驚人的影象大小，它可以執行超級解析度增強，一個令人難以置信的11，205×8，404畫素影象升級到22，409×16，807畫素。大多數深度學習模型在較小的解析度下都會導致記憶體不足的問題。

如何使用Adobe的超級解析度

使用Adobe的超級解析度從Adobe Bridge中選擇一張影象，並在Camera Raw中開啟它，然後在上下文選單中選擇“增強”，最後選擇你的影象。

本文作者：Christopher Thomas