Başlık: 3 Boyutlu Model Jenerasyonu ve Manipülasyon
Danışman: Emre Uğur
Özet:Bilgisayar grafikleri, 3B bilgisayarlı görü ve robotik komüniteleri yıllar içinde 3B şekilleri ifade etmek, modellemek ve jenere etmek için pek çok yöntem geliştirmiş ve kullanım alanı oluşturmuştur. Bu kullanım alanlarının bazıları 3B şekilleri kodlama ve sıkıştırma ve kısmı 3B şekillerin tamamlanması olmakla beraber; 3B şekil manipülasyonu ve tek resimden 3B şekil üretme hala görece az çalışılmış konulardır. 3B şekil manipülasyonu ve tek resimden 3B şekil üretme konuları birbirleriyle derinden alakalı olup, bu konular üzerindeki çalışmalar yeni dizayn metodolojilerini mümkün kılacaktır. Bu tezde 3B şekil manipülasyonu için bir çerçeve geliştirip, baz model olarak Deep Implicit Templates’i kullandık. Bu model 3B şekil üretmenin haricinde, aynı kategoriye ait şekiller için topolojik benzerlik haritaları çıkartabilmektedir. Bunun için öncelikle 3B şekil temsil formatlarını ve ilgili araştırmaları anlatmakla başlayıp, daha sonra geliştirdiğimiz metodları ve çerçeveyi anlattık. Tezimizde ana veri kümesi olarak ShapeNetV2’yi kullanarak Deep Implicit Templates katmanları içinde denetimli ve denetimsiz yönler bulduk. Deneylerimiz sonucunda, PCA uygulayarak bulduğumuz denetimsiz yönlerin pek çok lokal ve global özelliği temsil ettiğini gördük: sandalye yüksekliği, araba uzunluğu, dizayn trendleri ve şekil alt kategorileri gibi. Ek olarak, ShapeNetV2 meta verisini ve öğrenilmiş şekil kodlarını kullanarak eğitilmiş lineer SVM modelleriyle başarılı şekilde denetimli manipülasyon yapabileceğimizi g ̈osterdik. Son olarak, eğitilmiş bir Vision Transformer (ViT) modelinin ve eğitilmiş bir birleşik resim-yazı temsili modeli olan, CLIP’in ara katmanlarını kullanarak gerçek zamanlı ve efektif bir tek resimden 3B şekil üretme metodu geliştirdik. Geliştirdiğimiz metod, ViT ve CLIP’in ara katmanlarıyla DIT’in ara katmanları arasında köprü görevi görmekte olup, poz ve perspektiften bağımsız olarak gerçek zamanlı ve yüksek kalitede resimleri 3B şekillere dönüştürebilmektedir.
