Context-Aware Mobile Diary

Summary:

Human memory is fallible. As a remedy to this problem, in the near future wearable devices will have the potential to automatically record every bit of information concerning a person and his/her environment continuously. This way, lifelog of a person can be generated. In this thesis, we present a mobile lifelogging application that captures daily experiences of a smartphone user and allows to retrieve them later. In this direction, we first introduce a system named Smartphone Tracker which allows us to conduct large-scale data collection studies using smartphones. Using this system, we investigate the sensing capabilities of smartphones through a real life data collection study with 22 participants. Second, we present a novel algorithm which provides semantic location awareness to mobile devices. Using this algorithm, we are able to detect the entry/departure times to/from semantically meaningful places a user visits, such as home, office, parents' home, etc. Finally, we present a mobile lifelogging application named Auto Diary which automatically records SMS messages, phone calls, weather conditions, ambient audio and visited locations. In addition, a retrieval functionality is offered which allows to retrieve past experiences via associative cues. For example, the cues from the statements ``It was a rainy Monday morning. I was in my office and received a phone call from my brother between 10 am and 12 am." can be used as query terms in the application to retrieve the experiences (e.g., audio recordings) captured in the described day. We envision that Auto Diary can be useful for people experiencing episodic memory impairment. It can also be useful for people who want to remember their past experiences with greater precision.

Özet:

İnsan hafızası yanılabilir. Bu probleme bir çözüm olarak, yakın gelecekte giyilebilir cihazlar bir kişi ve kişinin çevresi ile ilgili her türlü bilgiyi otomatik ve aralıksız bir şekilde kaydetme potansiyeline sahip olacaklar. Bu sayede bir kişinin hayatı kayıt altına alınabilir. Bu tezde, bir akıllı telefon kullanıcısının günlük deneyimlerini kaydeden ve daha sonra elde edilmesini sağlayan bir mobil hayat-kayıt uygulaması sunulmaktadır. Bu bağlamda ilk olarak Smartphone Tracker adında, akıllı telefonlar kullanarak geniş çaplı veri toplama çalışmaları yürütmemizi sağlayan bir sistem sunuyoruz. Bu sistemi kullanarak, 22 katılımcılı bir veri toplama çalışması üzerinden akıllı telefonların çevresini algılama yeteneklerini inceliyoruz. İkinci olarak, mobil cihazlara anlamsal mekan farkındalığı sağlayan yeni bir algoritma sunuyoruz. Bu algoritmayı kullanarak, bir kullanıcının ziyaret ettiği ev, iş yeri ve ebeveynlerin evi gibi anlamsal olarak değerli mekanlara giriş ve çıkış zamanlarını belirleyebiliyoruz. Son olarak, telefon görüşmelerini, kısa mesajları, hava koşullarını, ortamın sesini ve ziyaret edilen mekanları otomatik olarak kayıt altına alan Auto Diary adında bir mobil hayat-kayıt uygulaması sunuyoruz. Ek olarak uygulama içerisinde, geçmiş deneyimlerin ilişkisel işaretler ile elde edilmesini sağlayan bir özellik de sunulmaktadır. Örneğin, ``Yağmurlu bir pazartesi sabahıydı. Ofisimdeydim ve kardeşimden saat 10 ile 12 arası bir telefon aldım." cümlelerindeki işaretler, tanımlanan gün içerisinde kaydedilen ses ve benzeri deneyimlerin elde edilmesi amacı ile uygulama içerisinde sorgu terimleri olarak kullanılabilir. Auto Diary'nin epizodik bellek bozukluğu yaşayan insanlar için faydalı olabiliceğini öngörüyoruz. Uygulama, geçmiş deneyimlerini çok daha detaylı şekilde hatırlamak isteyen insanlar için de faydalı olabilir.