Using Genetic Algorithms With Lexical Chains For Automatic Text Summarization

Summary:

With the rapid increase in the amount of online text information, it became more important to have tools that would help users distinguish the important content. Automatic text summarization attempts to address this problem by taking an input text and extracting the most important content of it. However, the determination of the salience of information in the text depends on different factors and remains as a key problem of automatic text summarization. In the literature, there are some studies that use lexical chains as an indicator of lexical cohesion in the text and as an intermediate representation for text summarization. Also, some studies make use of genetic algorithms in order to examine some manually generated summaries and learn the patterns in the text which lead to the summaries by identifying relevant features which are most correlated with human generated summaries. In this study, we combine these two approaches of summarization. Firstly, lexical chains are computed to exploit the lexical cohesion that exists in the text. Then, this deep level of knowledge about the text is combined with other higher level analysis results. Finally, all these results that give different levels of knowledge about the text are combined using genetic algorithms to obtain a general understanding.

Özet:

Elektronik ortamda bulunan bilginin miktarının hızla artmasıyla, kullanıcılara bu bilginin içindeki önemli içeriği ayırt etmekte yardımcı olacak araçlar önem kazandı. Otomatik metin özetleme, bir girdi metni alıp içindeki en önemli içeriği seçip çıkartarak bu probleme hitap etmeyi amaçlamaktadır. Ancak metindeki belli başlı bilginin belirlenmesi değişik unsurlara dayanmakta ve otomatik metin özetlemenin önemli sorunlarından birini oluşturmaya devam etmektedir. Literatürde bazı çalışmalar metindeki sözcüksel bağlılığın göstergesi ve metin özetlemenin ara gösterimi olarak sözcük zincirlerini kullanmıştır. Ayrıca, elle yaratılmış özetlerle en çok ilintili metin özelliklerini ayırt ederek, özetlere götüren kalıplar öğrenmek için genetik algoritmalardan faydalanan çalışmalar da bulunmaktadır. Bu çalışmada, özetlemenin bu iki yaklaşımını birleştiriyoruz. Öncelikle, metinde bulunan sözcüksel bağlılıktan yararlanmak için sözcük zincileri hesaplanıyor. Ardından, metinle ilgili bu derin seviyedeki bilgi, daha üst seviye analiz sonuçları ile birleştiriliyor. Sonunda, metinle ilgili değişik seviyelerde bilgi veren bütün bu sonuçlar, genetik algoritmalar kullanılarak birleştiriliyor.