Hareket, poz, ifade ve örtme değişiklikleri içeren, nirengi noktaları elle belirlenmiş 105 kişilik bir veritabanı.
Üç boyutlu yüzler üzerine yürütülecek her türlü çalışma için referans veritabanı olarak kullanılabilir.
Veritabanına CmpE web sitesi üzerinden ulaşılabilir.

El işaretleri ile bilgisayar uygulaması yönetme - STARS

Bilgisayar kullanımında fare ve klavyenin aradan çıkarılarak, sistemin kameralar yardımı ile el hareket ve işaretleri kullanılarak yönetilmesi
Geliştirilen metodla iki kamera ile üç boyutlu hareketler çözümlenir, sistem kullanıcı tarafından tanımlanmış yeni hareketlerle eğitilir, ve hareketler program akımının kontrolüne bağlanır.
Bu sistemi her türlü modelleme, çizim, oyun ve sanal gerçeklik uygulamasına bağlamak mümkün olduğu gibi, internet tarayıcısı ve masa üstü gibi genel kullanım amaçlı uygulamalarda da fare ve klavyenin yerini alabilir.

Gerçek zamanlı yüz animasyonu - Xface

Açık kaynak kodlu, dünyaca kullanılan bir gerçek zamanlı yüz animasyon programı
Sistem, yazı halinde verilmiş konuşmaları otomatik olarak sese çevirip, animasyonunu da gerçek zamanlı olarak yaratmaktadır.
Sistem bunun yanı sıra kullanılan yüz modelinin ifadelerini ve kafa hareketlerini de basit komutlarla değiştirmeyi desteklemektedir.
Bunun yanı sıra network üzerinden kullanılmaya hazır bir yapıya sahiptir, ve düşük bant genişliğine sahip yapılarda yüz videosu ve konuşma göndermeye göre önemli bir alternatiftir.

Sağlık sektörü için el hareketleriyle insan bilgisayar etkileşimi

Yatalak ya da konuşarak derdini anlatmakta zorlanan hastalar ya da yaşlılar için bilgisayar arayüzü.
Hasta veya yaşlıların standart ya da acil ihtiyaçlarını çabuk anlamak ve gerekli yerlere çabuk iletmek için geliştirilmiş bir sistemdir.
Sistemin tanıdığı “doktor”, “yemek”, “üşüdüm”, “ağrım var” gibi ifadelere denk gelen basit el hareketleri hasta tarafından uygulanınca kameralar tarafından otomatik olarak algılanır ve bilgi merkezi bir sisteme iletilir.
Ayrıca bir monitörden hastaya bir yüz modelinin animasyonuyla gerekli bilgiler verilir.

Fotoğraf ve videodan otomatik üç boyutlu modelleme

Bir bina, insan veya objenin etrafından çekilmiş resimlerin veya videonun kullanılarak üç boyutlu model çıkarılması.
Geliştirilmiş yöntemlerle, seçilen objenin kullanıcı tarafından belirlenmiş noktaları üç boyutlu olarak çıkarılabildiği gibi, bütün görünen alanda otomatik olarak belirlenmiş önemli noktaların üç boyutlu olarak modellenmesi de mümkündür.

Doku kaplama

Varolan bir üç boyutlu modelin yüzeylerine resim veya videolardan çıkarılmış ve düzeltilmiş dokuların otomatik kaplanması.
Bu yöntem ile otomatik olarak üç boyutlu modeli çıkarılan objelerin dokuları çıkarılıp kaplanabildiği, ve daha realistik modelleme sonuçları alınabildiği gibi, birkaç resim veya videodan çıkarılmış dokularla jenerik modeller de kaplanabilir.
Örneğin bu şekilde jenerik bir yüz modeline gerçek bir insanın yüz dokusu kaplanabilir.

İnteraktif işaret dili eğitmeni

İşaret dilini tanıyan ve öğreten görmeye dayalı bir sistem.
Geliştirilen bu sistemde, ana dili işaret dili olan kişilerden toplanmış bir işaret veritabanı kullanılarak, yeni yapılan bir işaretin başarımı ölçülebilmektedir.
Sadece bir webcam yardımıyla kullanılabilen bu sistem, işaret dili öğrenmek isteyen kişilerin pratik yapmasına ve işaretleri ne kadar doğru yaptıklarını ölçmelerine imkan vermektedir.

İşaret dili videolarından ayrık işaret çıkarımı

Duraklamasız işaret dili videolarından otomatik ayrık işaret çıkarımı yapan bir yöntem.
Geliştirilen metodla, konuşma ve işaret dili içeren videolarda konuşma kullanılarak aynı işaretin farklı zamanlarda yapılmış örnekleri tespit edilir.
Daha sonra el ve yüz hareketleri izlenir, ellerin şekil ve konum bilgileri çözümlenir ve hizalama yöntemleri kullanılarak işaretlerin başlangıç ve bitiş noktaları tespit edilir.
Böylece sistemi eğitmek için gerekli hareketler otomatik olarak bulunmuş olur.
Bu sistemi kullanarak işaret dili sözlüğü oluşturmak ya da işaret dili eğiten otomatik bir sistem oluşturmak mümkündür.

İki boyutlu yüz tanıma

İki boyutlu yüz resimlerinden insan tanıma.
Amaç, aydınlatma ve ifade değişikliklerine dayanıklı bir yüz tanıma sistemi geliştirmektir.
Öncelikle tanınması gereken insanların yüzlerinin belirli miktarda resmi ile bir veritabanı oluşturulur ve bu yüzlerden kişiye özel nirengi özellikleri belirlenir.
Daha sonra, veritabanındaki kişilere ait, ama veritabanında olmayan bir yüz resmi geldiğinde, resim analiz edilir ve kime ait olduğu kestirilir.

Üç boyutlu yüz tanıma

Üç boyutlu yüz modellerinden kişi tanıma.
Üç boyutlu kamera ve tarayıcıların kullanıma girmeye başlamasıyla beraber yüzdeki derinlik bilgisi de yüz tanımada kullanılmaya başlanmıştır.
Bu amaçla büyük bir veritabanı oluşturulmuş, farklı yöntemlerin denenebilmesi için kullanıma açılmıştır.
Üç boyutun iki boyuta göre önemli faydası, poz değişikliklerinin ve ışıklandırmanın etkisinin daha az olmasıdır.

İki boyutlu yüzlerde otomatik nirengi noktası takip etme ve yüz ifadesi tanıma

İşaret dili temelli, tek kameradan alınmış yüz ifadesi ve baş hareketi içeren videolarda yüz özniteliklerinin otomatik bulunması ve takibi sağlanır.
Gözler, kaşlar, dudaklar, burun ucu ve çenede belirnenen noktalar otomatik olarak bulunur ve takip edilir. Takip edilen noktalardan kişinin yaptığı yüz ifadesi ve baş hareleti algılanır.
Bu proje, işaret dili tanımak için el jestlerinin yanısıra eşzamanlı yapılan yüz ifadesi ve baş hareketlerinin de tanınması gereksiniminden doğmuştur.
Projede kullanmak amaçlı bir veritabanı da oluşturulmuştur.

Üç boyutlu yüzlerde ifade tanıma

İfadelerin üç boyut bilgisi üzerinden otomatik sınıflandırılması.
Mutluluk, üzüntü, heyecan, korku gibi ifadeler, nokta bulutlarından çıkarılmış bilgilerle otomatik olarak sınıflandırılabilir.
Üç boyutlu yüz veritabanımızda ifade değişikliklerin de yer alması, bu tarz algoritmaların geliştirilmesine olanak tanıyor.

İki boyutta insan hareketi takibi

Yeri saptanmış insan silüetlerinin zamanda takibi.
Geliştirilen yöntemle yeri belirlenmiş insan silüetine her video karesi için bir iskelet modeli oturtularak her uzvun bağımsız olarak takibi sağlanır.
İki boyutun izdüşümsel belirsizliği ile sınırlı bir başarım gösteren sistem, daha gelişmiş takip sistemlerine önayak olacak niteliktedir.

Üç boyutta insan hareketi takibi

Çoklu kamera sistemi kullanılarak üç boyutlu ortamda insanın duruş biçimini bulma ve zaman içindeki hareketini takip etme.
Bu çalışmada, daha önce iki boyutta basit bir model kullanarak yaptığımız benzer çalışmanın daha karmaşık bir model ile üç boyuta taşınması amaçlanmaktadır.
İnsanın yaptığı hareketin analizi güvenlik uygulamalarında, animasyon yapımında, bilgisayar oyunlarında kullanılabilir ve bilgisayarların yönetiminde klavye-fare kullanımının yerini alabilir.

Üç boyutlu vücut animasyonu

Hareket yakalama donanımı ile elde edilen üç boyutlu vücut hareketleri bilgisayar oyunları, reklam filmlerinde yaygın olarak kullanılmaktadır.
Ancak alınan verinin doğrudan kullanımı oldukça güçtür.
Bu çalışmada, farklı hareket tiplerindeki performanslardan (koşma, yürüme, zıplama, vs.) oluşan üç boyutlu hareket verilerini, kullanıcı isteklerine göre otomatik olarak birleştirerek daha uzun bir animasyon üretilebilecek bir yazılım geliştirilmektedir.

Tek-Kanal ses kayıtlarından vurmalı ve tonsal enstrümanların ayrıştırılması

Çeşitli entrümanlara ait ses sinyallerinin zaman-frekans uzayındaki özelliklerini kullanarak, katışmış sinyallerden bu entrümanlara ait kaynak sinyalleri ayırmak mümkündür.
Geliştirilen yöntem, herhangi bir öğrenme aşaması kullanmadan vurmalı ve tonsal enstrümanları birbiriden ayırabilmektedir.
Tonsal enstrümanlara ait zaman-frekans katsayılarına ait bir veritabanı kullanıldığında herhangi iki enstrümana ait kaynak sinyaller birbirinden ayrılabilmektedir.

Contact Information

PiLab:

Office: ETA 27 Tel:0 212 359 (7183)

MediaLab:

Office: ETA 26 Tel:0 212 359 (4490)