Three Dimensional Face Recognition Under Occlusion Variance

Three Dimensional Face Recognition Under Occlusion Variance

Advisor: 

Lale Akarun

Assigned to: 

Nese Alyuz

Type: 

Year: 

2013

Status: 

Summary:

With advances in sensor technology, three dimensional (3D) face has become an emerging biometric modality, preferred especially in high security applications. However, dealing with occlusions covering the facial surface is a great challenge. In this thesis, we propose a fully automatic 3D face recognition system, attacking three sequential problems: (i)Registration of occluded surfaces, (ii) detection of occluded regions, and (iii) classification of occlusion-removed faces. For the alignment problem, we propose an adaptively selected model based registration scheme, where a model is selected for an occluded face such that only the valid non-occluded patches are utilized in correspondence establishment. After registration, occlusions are detected, where we propose two different occlusion detection approaches. In the first detector, fitness to a pixelwise statistical model of the facial surface is used. In the second approach, in addition to the facial model, neighborhood information is incorporated. For occlusion handling, two different strategies are evaluated: (i) Removal of occlusions, and (ii) restoration of missing parts. In the classification stage, a masking strategy, which we call masked projection, is proposed to enable the use of subspace analysis techniques with incomplete data. Experimental results on two databases with realistic facial occlusions, namely, the Bosphorus and the UMB-DB, confirm that: (i) The proposed registration technique based on the adaptively selected model is a good alternative to obtain occlusion robustness; (ii) in occlusion detection, use of a statistical facial model is beneficial to make a pixelwise decision, which can further be improved by incorporating neighborhood relations to model coherency of surfaces; (iii) restoration provides only an approximation of the surface and is not suitable for classification purposes, (iv) masked projection serves as a viable approach to apply subspace techniques on incomplete data.

Özet:

Sensor teknolojisindeki gelişmeler sayesinde, üç¸ boyutlu (3B) yüz tanıma sıklıkla kullanılan bir biyometrik kip haline gelmiştir ve özellikle güvenlik uygulamalarında tercih edilmektedir. Ama yüz yüzeyini kapatan örtme durumları, çözülmesi gereken zor bir sorun olmaktadır. Bu tezde, üç farklı problemi ele alarak tamamen otomatik bir 3B yüz tanıma sistemi önermekteyiz: (i) Örtmeli yüzeylerin kayıtlanması, (ii) örtmeli bölgelerin belirlenmesi, ve (iii) örtmelerin çıkarıldığı boşluklu yüzeylerden öznitelik çıkarılması ve tanıma işleminin gerçekleştirilmesi. Kayıtlama için, adaptif olarak model seçimine dayalı bir yöntem önermekteyiz. Bu yöntemde, örtmesiz yüzeye uygun şekilde model seçilerek, nokta eşleştirmede yalnızca örtmesiz yüz parçalarının kullanılması sağlanmaktadır. Kayıtlama sonrası, örtmeli yüzeyleri bulmak için iki farklı örtme kestirim yöntemi önermekteyiz: İlk yöntemde, piksel bazlı istatistiksel yöntemler kullanılmakta ve herbir pikselin karşılık gelen modele uyumu test edilmektedir. İkinci yöntemde ise, komşuluk ilişkileri de kestirim aşamasına dahil edilmektedir. Örtme durumlarının üstesinden gelmek için iki farklı yaklaşım değerlendirilmektedir: (i) Örtmelerin yüzeydençıkarılması, (ii) Eksik bölgelerin geri çatma ile doldurulması. Öznitelik çıkarımı ve sınıflandırma aşamasında ise, bir maskeleme stratejisi önermekteyiz. Maskeli projeksiyon adını verdiğimiz bu yöntem sayesinde, alt-uzay yöntemleri boşluklu veri ile kullanılabilir hale gelmektedir. Gerçekçi örtmeli kayıtlar içeren iki farklı 3B yüz veri kütüphanesi (Bosphorus ve UMB-DB) ile elde edilen deneysel sonuçlar sayesinde şu çıkarımlar yapılabilir: (i) Önerilen kayıtlama tekniği örtmeli durumlar için iyi bir alternatif olmaktadır; (ii) Örtme kestiriminde, istatistiksel yüz modelleme piksel bazlı karar vermeyi sağlarken, yüzey devamlılığını ifade eden komşuluk bilgisini dahil etmek sonuçları iyileştirmektedir; (iii) Geri çatma sadece yüzey yaklaştırımı sağladığı için tanımada yarar sağlamamaktadır; (iv) Maskeli projeksiyon alt-uzay tekniklerini boşluklu veriye uygulamaya olanak sağlamaktadır.

Contact us

Department of Computer Engineering, Boğaziçi University,
34342 Bebek, Istanbul, Turkey

  • Phone: +90 212 359 45 23/24
  • Fax: +90 212 2872461
 

Connect with us

We're on Social Networks. Follow us & get in touch.