Bellek içi işleme

Bilgisayar biliminde, bellek içi işleme, bellek içi bir veritabanında depolanan verilerin işlenmesi için gelişen bir teknolojidir. Daha eski sistemler, SQL sorgu dilini kullanan disk depolama ve ilişkisel veritabanlarına dayanıyordu, ancak bunlar iş zekası (BI) ihtiyaçlarını karşılamada giderek yetersiz kalıyor. Depolanan verilere, rastgele erişimli belleğe (RAM) veya flash belleğe yerleştirildiğinde çok daha hızlı erişildiğinden, bellek içi işleme, verilerin gerçek zamanlı olarak analiz edilmesini sağlayarak iş dünyasında daha hızlı raporlama ve karar vermeyi mümkün kılar.

Disk tabanlı İş Zekası

Veri yapıları

Disk tabanlı teknoloji ile veriler, sorguların çalıştırıldığı çoklu tablolar ve çok boyutlu yapılar şeklinde bilgisayarın sabit diskine yüklenir . Disk tabanlı teknolojiler , genellikle SQL Server, MySQL, Oracle ve diğerleri gibi yapılandırılmış sorgu diline ( SQL ) dayanan ilişkisel veritabanı yönetim sistemleridir (RDBMS). RDBMS, işlemsel işleme gereksinimleri için tasarlanmıştır . Eklemeleri ve güncellemeleri destekleyen bir veritabanı kullanmanın yanı sıra toplamalar, birleştirmeler(BI çözümlerinde tipiktir) tipik olarak çok yavaştır. Diğer bir dezavantaj, SQL'in veri satırlarını verimli bir şekilde getirmek için tasarlanmış olması ve BI sorgularının genellikle ağır hesaplamalar içeren kısmi veri satırlarının getirilmesini içermesidir.

Sorgu performansını iyileştirmek için çok boyutlu veritabanları veya çok boyutlu çevrimiçi analitik işleme (MOLAP) olarak da adlandırılan OLAP küpleri oluşturulur. Küp tasarlamak ayrıntılı ve uzun bir süreçtir ve küpün yapısını dinamik olarak değişen iş gereksinimlerine uyum sağlayacak şekilde değiştirmek zahmetli olabilir. Küpler, belirli sorguları yanıtlamak için verilerle önceden doldurulur ve performansı artırsalar da, geçici sorguları yanıtlamak için hala uygun değildirler.

Bilgi teknolojisi (BT) personeli, veritabanlarını optimize etmeye, dizinler ve kümeler oluşturmaya , küpler ve yıldız şemaları tasarlamaya, veri modellemeye ve sorgu analizine önemli ölçüde geliştirme zamanı harcar.

İşlem Hızı

Aynı verileri RAM'den okumaya kıyasla, sabit diskten veri okumak çok daha yavaştır (muhtemelen yüzlerce kez). Özellikle büyük hacimli verileri analiz ederken performans ciddi şekilde düşer. SQL çok güçlü bir araç olmasına rağmen, karmaşık sorguların yürütülmesi nispeten uzun zaman alır ve genellikle işlemsel işleme performansının düşmesine neden olur. Kabul edilebilir bir yanıt süresi içinde sonuçlar elde etmek için, birçok veri ambarı , özetleri önceden hesaplayacak ve yalnızca belirli sorguları yanıtlayacak şekilde tasarlanmıştır. Performansı artırmak için optimize edilmiş toplama algoritmalarına ihtiyaç vardır.

Bellek içi işleme teknolojisinin avantajları

Bilgisayar teknolojisindeki ve iş gereksinimlerindeki belirli gelişmeler, bellek içi teknolojinin göreli avantajlarını artırma eğiliminde olmuştur.

• Moore yasasına göre donanım giderek daha ucuz ve daha yüksek performanslı hale geliyor . Bilgi işlem gücü, maliyetlerde düşerken her iki ila üç yılda bir ikiye katlanır. CPU işleme, bellek ve disk depolama, tümü bu yasanın bazı varyasyonlarına tabidir. Sütun merkezli veri tabanları, sıkıştırma teknikleri ve toplu tabloları işleme gibi yazılım yeniliklerine ek olarak, çok çekirdekli mimari, NAND flash bellek, paralel sunucular ve artırılmış bellek işleme kapasitesi gibi donanım yenilikleri de bellek içi talebe katkıda bulunmuştur.
• 32 bit sistemlerde erişilebilen 2 veya 4 GB'den çok daha fazla RAM'e (100 GB veya daha fazla) erişime izin veren 64 bit işletim sistemlerinin ortaya çıkışı.64 bit işletim sistemleri, depolama ve analiz için Terabayt (1 TB = 1.024 GB) alan sağlayarak bellek içi işlemeyi ölçeklenebilir hale getirir. Flash bellek kullanımı, sistemlerin daha ekonomik olarak birçok Terabayta ölçeklenmesini sağlar.
• Artan veri hacimleri, geleneksel veri ambarlarının artık verileri zamanında ve doğru bir şekilde işleyemeyeceği anlamına geliyordu. Veri ambarlarını operasyonel verilerle periyodik olarak güncelleyen ETL sürecinin tamamlanması birkaç saatten haftalara kadar sürebilir. Ayıkla, dönüştür, yükle (ETL) sürecinin tamamlanması haftalar veya birkaç saat arasında sürebilir. Bu nedenle, herhangi bir zaman noktasında veriler en az bir günlüktür. Bellek içi işleme, gerçek zamanlı raporlama için terabaytlarca veriye anında erişim sağlar.
• Bellek içi işleme, geleneksel BI araçlarına kıyasla daha düşük bir maliyetle sunulur ve daha kolay dağıtılıp bakımı yapılabilir.

İş Hayatında Uygulama

Bir dizi bellek içi ürün, mevcut veri kaynaklarına bağlanma ve görsel olarak zengin etkileşimli panolara erişim olanağı sağlar. Bu, iş analistlerinin ve son kullanıcıların fazla eğitim veya uzmanlık gerektirmeden özel raporlar ve sorgular oluşturmasına olanak tanır. Kolay gezinme ve sorguları anında değiştirme yeteneği, birçok kullanıcı için faydalıdır. Bu panolar yeni verilerle doldurulabildiğinden, kullanıcılar gerçek zamanlı verilere erişebilir ve dakikalar içinde raporlar oluşturabilir. Bellek içi işleme, çağrı merkezlerinde ve depo yönetiminde özellikle faydalı olabilir.

Bellek içi işleme ile, her sorgu çalıştırıldığında veritabanına erişmek yerine kaynak veritabanı yalnızca bir kez sorgulanır, böylece tekrarlayan işlemeleri ortadan kaldırır ve veritabanı sunucuları üzerindeki yükü azaltır. Bellek içi veritabanını bir gecede doldurmak için zamanlama yaparak, veritabanı sunucuları yoğun saatlerde operasyonel amaçlar için kullanılabilir.

Bellek içi teknolojinin benimsenmesi

Çok sayıda kullanıcıyla, bellek içi yapılandırma için büyük miktarda RAM gerekir ve bu da donanım maliyetlerini etkiler. Yatırımın, sorgu yanıt hızının yüksek öncelikli olduğu ve veri hacminde önemli bir büyümenin ve raporlama olanaklarına olan talebin arttığı durumlarda uygun olma olasılığı daha yüksektir; bilginin hızlı değişime tabi olmadığı durumlarda yine de uygun maliyetli olmayabilir. Bellek içi araçlar son kullanıcılara büyük miktarda veri sunduğundan, güvenlik de dikkate alınması gereken bir diğer konudur. Üreticiler, verilere yalnızca yetkili kullanıcılara erişim verilmesini sağlamayı önerir.

Kaynakça

1. Plattner, Hasso; Zeier, Alexander (2012). In-Memory Data Management: Technology and Applications Springer Science & Business Media. ISBN 9783642295744

2. Zhang, Hao; Gang Chen; Beng Chin Ooi; Kian-Lee Tan; Meihui Zhang (July 2015). "In-Memory Big Data Management and Processing: A Survey" 24 Mayıs 2020 tarihinde Wayback Machine sitesinde arşivlendi.. IEEE Transactions on Knowledge and Data Engineering. 27 (7): 1920–1948. doi:10.1109/TKDE.2015.2427795

3. Gill, John (2007). "Shifting the BI Paradigm with In-Memory Database Technologies". Business Intelligence Journal. 12 (2): 58–62.

4. Earls, A (2011). Tips on evaluating, deploying and managing in-memory analytics tools (PDF). Tableau. Archived from the original (PDF) on 2012-04-25.

5. "In_memory Analytics" 23 Mart 2021 tarihinde Wayback Machine sitesinde arşivlendi. (Eng). yellowfin. s. 6. Erişim tarihi: 22 Eylül 2021.

6. Kote, Sparjan. "In-memory computing in Business Intelligence" orijinalinden arşivlenmiştir. orijinal

7. "In_memory Analytics" 23 Mart 2021 tarihinde Wayback Machine sitesinde arşivlendi. (Eng). yellowfin. s. 9. Erişim tarihi: 22 Eylül 2021.

8. "In_memory Analytics" 23 Mart 2021 tarihinde Wayback Machine sitesinde arşivlendi. (Eng). yellowfin. s. 12. Erişim tarihi: 22 Eylül 2021.