Metin madenciliği
Metin madenciliği, çalışmaları metni veri kaynağı olarak kabul eden veri madenciliği (İngilizce: data mining) çalışmasıdır. Diğer bir tanımla metin üzerinden yapısallaştırılmış veri elde etmeyi amaçlar. Metin madenciliği, metinlerin sınıflandırılması, bölütlenmesi (İngilizce: clustering), metinlerden konu çıkarılması (İngilizce: concept/entity extraction), metinler için sınıf taneciklerinin üretilmesi (İngilizce: production of granular taxonomy), metinlerde görüş analizi yapılması (İngilizce: sentimental analysis),[1] metin özetlerinin çıkarılması (İngilizce: document summarization) ve metinin özü ile ilgili ilişki modellemesi (İngilizce: entity relationship modelling) gibi çalışmaları hedefler.
Yukarıdaki hedeflere ulaşılması için metin madenciliği çalışmaları kapsamında enformasyon getirimi (İngilizce: information retrieval), hece analizi (İngilizce: lexical analysis), kelime frekans dağılımı (İngilizce: word requency distribution), örüntü tanıma (İngilizce: pattern recognition), etiketleme (İngilizce: tagging), enformasyon çıkarımı (İngilizce: information extraction), veri madenciliği (İngilizce: data mining) ve hatta görselleştirme (İngilizce: visualization) gibi yöntemleri kullanmaktadır.
Metin madenciliği çalışmaları, metin kaynaklı literatürdeki diğer bir çalışma alanı olan doğal dil işleme (İngilizce: natural language processing, NLP) çalışmaları ile çoğu zaman beraber yürütülmektedir. Doğal dil işleme çalışmaları daha çok yapay zeka altındaki dil bilim bilgisine dayalı çalışmaları kapsamaktadır. Metin madenciliği çalışmaları ise daha çok istatistiksel olarak metin üzerinden sonuçlara ulaşmayı hedefler. Metin madenciliği çalışmaları sırasında çoğu zaman doğal dil işleme kullanılarak özellik çıkarımı da yapılmaktadır.[2]
Tarihçe değiştir
İnsan-yoğun elle metin madenciliği çalışmalarının 1980'lerin ortalarında başladığı söylenebilir,[3] ancak teknolojik gelişmelerin ışığında konu 2000'lerden sonra parlamıştır. Metin madenciliği disiplinler arası bir çalışma alanı olup enformasyon getirimi, veri madenciliği, makine öğrenmesi, istatistik ve işlemsel dilbilim kavramlarının ortak çalışma alanıdır. Günümüzde enformasyonun büyük kısmı (bilimsel tahminlere göre %80'lik kısmı) metin olarak tutulmaktadır.[4] Bu yüzden metin madenciliği çalışmalarının yüksek ekonomik değeri olduğu ve olacağı söylenebilir. Ayrıca çok dilli veri madenciliği gibi farklı dillerden aynı özellikleri taşıyan değerlerin çıkarılması da güncel konulardandır.
Genelde, metin madenciliği çalışmalarının çözüm aradığı zorluk, yüksek miktardaki yapılandırılmamış verinin, yapısal bir hale dönüştürülmesidir.[5] İş zekası çalışmalarının ilk yayınlarında, aşağıdaki şekilde tanımlandığı görülebilir:
"... makinelerin metinler üzerinde otomatik-özetleme veya otomatik-kodlama gibi işletmelerin ilgilendiği 'eylem noktalarını' ilgi çekici profiller haline getiren veri-işlem'den faydalanmaktır. Hem dışarıdan alınan hem de içeriden üretilen dökümanlar otomatik olarak özetlenebilir, kelime örüntülerine göre yorumlanabilir ve uygun işlere otomatik olarak yönlendirilebilir.
Her ne kadar enformasyon sistemleri 1960'larda başlasa da, iş zekası kavramının yazılım dünyasında kabul gören bir kategori haline dönüşmesi 80'ler ve 90'larda başlamıştır. Ardından metinin 'yapısız' özelliğinden dolayı işlenmesi zor bir hedef olarak seçilmesi ve metin analiz çalışmalarının başarısı için algoritmaların geliştirilmesi 1990'ların sonunu bulmuştur. Prof. Marti A. Hearst, 'Untangling Text Data Mining' başlıklı makalesinde bu konudan detaylıca bahseder.[6]
Neredeyse 10 yıllık bir süreçte, işlenebilir dilbilim camiası, büyük metin kümelerini daha iyi bir metin analiz algoritması bulmak için inceledi. Bu makalede, yeni bir yaklaşım sunmak istiyorum: Büyük çevrimiçi metin birikimlerini dünyanın kendisi ile ilgili gerçekleri keşfetmek için kullanmayı öneriyorum. Bu önerimin arkasında, tamamen yapay zeka ile metin analizi yapan ve hatta işlemsel olarak veya kullanıcılar tarafından yönlendirilen analizlerin ötesinde, heyecan verici yeni bir kapı açmak isteği vardır.
Hearst'ün 1999 yılındaki bu makalesinden 10 yıl kadar sonra, metin madenciliği çalışmaları kabul gören ve çok sayıda uygulama alanı olan bir dünyaya dönüşmüştü.
Uygulama Alanları değiştir
Metin madenciliği çalışmaları genelde devlet seviyesi, bilimsel araştırma ve iş dünyası ihtiyaçları için çeşitli çözümler sunmaktadır. Bu amaçlardan bazıları aşağıdaki şekilde sıralanabilir:
- Kurumsal İş Zekası, Veri Madenciliği ve Rekabet Zekası (İngilizce: Competitive Intelligence)
- E-Keşif, Kayıt Yönetimi
- Ulusal Güvenlik ve İstihbarat
- Özellikle beşeri bilimler başta olmak üzere bilimsel metinlerin işlenmesi
- Duygusal Analiz Araçları
- Doğal Dil / Anlambilimsel araç veya hizmetler
- Yayıncılık
- Otomatik reklam yerleştirme
- Arama / Bilgi Erişimi
- Sosyal medya gözetlemesi
Kaynakça değiştir
- ^ Şadi Evren Şeker, Khaled Al-Naami, Sentimental Analysis on Turkish Blogs via Ensemble Classifier, (DMIN'13), Proceedings of the 2013 International Conference on Data Mining, ISBN=1-60132-239-9 , pp. 10-16, 2013
- ^ Şadi Evren Şeker. "Metin Madenciliği". MISSozluk. 5 Mart 2016 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Haziran 2014.
- ^ "Content Analysis of Verbatim Explanations". 13 Şubat 2015 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Haziran 2014.
- ^ "Unstructured Data and the 80 Percent Rule". 18 Şubat 2017 tarihinde kaynağından arşivlendi. Erişim tarihi: 9 Kasım 2016.
- ^ "Arşivlenmiş kopya". 8 Aralık 2017 tarihinde kaynağından arşivlendi. Erişim tarihi: 15 Haziran 2014.
- ^ Hearst, Marti A. (1999). Untangling text data mining"Proceedings of the 37th annual meeting of the Association for Computational Linguistics on Computational Linguistics". ss. 3-10. doi:10.3115/1034678.1034679. ISBN 1-55860-609-2.