Görüntü İşleme

Image Inpainting: İnsanlar vs. Yapay Zeka

İnsanlar vs. Yapay Zeka

Derin öğrenme teknolojisi, son birkaç yıldır bilgisayar  ve görüntü işleme alanında insanlara umut veren gelişmeler gösterdi. Birçok denemede, derin öğrenme teknolojisi, işinde uzman bilim adamlarını geride bıraktı. Örneğin, GoogleNet’in ImageNet karşılaştırmalı denemesindeki performansı, insan performansını aşmaktadır ( Dodge ve Karam 2017 ). Bu yazıda, daha iyi görüntü-boyaması sonuçları elde edebilmek için profesyonel sanatçıları ve bilgisayar algoritmalarını (derin sinir ağlarına ya da DNN’lere dayanan yeni yaklaşımlar dahil) karşılaştıracağız.

Görüntü Boyama (Image Inpainting) Nedir?

Görüntü boyama, bir görüntünün eksik kısımlarını yeniden oluşturma sürecidir. Bu teknik genellikle istenmeyen nesneleri bir görüntüden kaldırmak veya eski fotoğrafların hasarlı kısımlarını geri yüklemek için kullanılır. Aşağıdaki şekiller örnek resim-boyama sonuçlarını göstermektedir.

(Görsel: Bertalmío et al., 2000.)

(Görsel: Bertalmío et al., 2000.)

Veri Kümesi

Bir dizi test görüntüsü oluşturmak için, özel bir koleksiyondaki fotoğraflardan otuz üç adet 512 × 512 piksel yama kesildi. Daha sonra, her bir yamanın ortasına siyah bir 180 × 180 piksel kare koyuldu. Hem sanatçılar hem de yapay zeka için görev, yalnızca siyah karedeki pikselleri değiştirerek bozulmuş görüntüye doğal bir görünüm kazandırmaktı.

Aşağıda veri kümesindeki görseller verilmiştir.

Otomatik Inpainting Yöntemleri

Test veri setinde yapay ağlara dayanan altı adet boyama yöntemi uygulandı:

  1. Derin Görüntü Öncesi ( Ulyanov, Vedaldi ve Lempitsky, 2017 )
  2. Küresel ve Yerel İstikrarlı Görüntü Tamamlama ( Iizuka, Simo-Serra ve Ishikawa, 2017 )
  3. Yüksek Çözünürlüklü Görüntü Inpainting ( Yang ve diğerleri, 2017 )
  4. Shift-Net ( Yan ve diğerleri, 2018 )
  5. Bağlamsal Dikkatle Birlikte Oluşan Üretken Görüntü Inpainting ( Yu ve ark., 2018 ) – sonuçlarımızda bu yöntem iki kez gözükmektedir, çünkü her biri farklı bir veri setinde (ImageNet ve Places2) eğitilmiş iki versiyonu test ettik.
  6. Kısmi Konvolüsyonlar Kullanılarak Düzensiz Delikler İçin Görüntü Boyaması ( Liu et al., 2018 )

Başlangıç ​​olarak, derin öğrenmede önerilen üç boya yöntemi test edildi:

  1. Örnek Temelli İmaj Inpainting ( Criminisi, Pérez ve Toyama, 2004 )
  2. Görüntü Tamamlama için Yama Ofsetleri İstatistikleri ( He ve Sun, 2012 )
  3. Adobe Photoshop CS5’te İçeriğe Uygun Doldurma

Profesyonel Sanatçılar

Fotoğraf rötuşlama ve restorasyon yapan üç profesyonel sanatçıyı işe aldık ve her birinden, veri setimizden rastgele seçilen üç görüntüyü işlemeleri istendi. Sıkı bir zaman sınırı koyulmasına rağmen, sanatçılar işlemi yaklaşık 90 dakika içinde tamamladılar.

Sonuçlar:

İnsanlar vs Algoritmalar

Üç profesyonel sanatçıdan gelen sonuçlar ve otomatik inpainting yöntemlerinin sonuçları, Subjectify.us platformu kullanılarak, orijinal, bozulmamış görüntüler ile karşılaştırıldı. Bu platform, katılımcıları bir araya getirerek, her bir görüntüden en iyi görsel kaliteye sahip görüntü seçmelerini istedi ve sonuçları bir araya getirdi. Platform toplamda 215 katılımcıdan 6.945 adet cevap topladı.

Aşağıda, bu karşılaştırma için genel ve resim başına kalite puanları verilmiştir:

Sonuçlar.

Algoritmalar vs Algoritmalar

Yapay görüntü-boyama yöntemlerini yapay olmayanlarla daha fazla karşılaştırmak için, Subjectify.us kullanılarak ek bir öznel karşılaştırma gerçekleştirildi. İlk karşılaştırmadan farklı olarak, tüm 33 görüntü verisini kullanarak bu yöntemleri karşılaştırıldı.

Aşağıda, 147 çalışma katılımcısı tarafından 3,969 adet oy kullanılarak hesaplanan genel öznel puanlar verilmiştir.

Sonuç

Profesyonel sanatçılar ve yapay zeka arasında gerçekleştirdiğimiz araştırmamızın sonuçları şu şekildedir:

  1. Sanatçıların işlediği fotoğraflar, orijinal fotoğraflara yapay zekadan daha yakın kalitede. (Şimdilik)
  2. Yapay inpainting yöntemlerinin sonuçları, sadece belirli görüntüler için insan sanatçıları ile eşit olabiliyor.
  3. Otomatik yöntemler arasında birincisi, derin bir öğrenme algoritmasına gitmiş olmasına rağmen, yapay olmayan algoritmalar güçlü bir duruş sergilemekte ve çok sayıda test üzerinde derin öğrenme alternatiflerinden daha iyi performans gösteriyor.

Gelecekteki araştırmaların yanı sıra, GPU hesaplama gücü ve RAM boyutundaki büyümenin, derin öğrenme algoritmalarının rakiplerinden daha iyi performans göstermesine ve insanlar ile eşit bir şekilde görüntü-boyama sonuçları sunmasına olanak sağlayacağına inanılıyor.


Kaynak (Source): https://towardsdatascience.com/image-inpainting-humans-vs-ai-48fc4bca7ecc

Yazar Hakkında

Mustafa Sarıdal

Cyber Security R&D Engineer / PRISMA CSI

Yorum

Yorum yap

This site uses Akismet to reduce spam. Learn how your comment data is processed.