Veri Depolama Sistemlerinin Yönetiminde Yenilikçi Yaklaşımlar

Veri Depolama Sistemlerinin Yönetiminde Yenilikçi Yaklaşımlar

Swissotel the Bosphorus, İstanbul / 15 Şubat 2012
Veri Depolama Sistemlerinin Yönetiminde Yenilikçi
Yaklaşımlar
Fatih AKGÜL
Proje Yönetici Yardımcısı
Türkiye İş Bankası A.Ş.
AJANDA
• Giriş
• İş Bankası Hedefleri
• Veri Depolama Sistem Yönetimi Yaklaşımı
• Multi-Tier (Çok Katmanlı) Veri Depolama
• Veri Depolama Sürekliliği (Storage Side
Mirroring)
• Veri Yedekliliği
• Veri Depolama Verimliliği
• Veri Depolama Stratejisi
• Bulut Bilişim ve Büyük Veri Yönetimine Hazırlık
GİRİŞ
Türkiye İş Bankası Veri Depolama Altyapısı:
• ≈ 3 PB büyüklüğünde veri depolama büyüklüğü
• Heterojen bir veri depolama altyapısı
• Yıllık >%90 büyüme
•
500 TB büyüklüğünde Felaket Kurtarma
Altyapısı ( > 500 km)
• > 3000 sunuculu açık sistem altyapısı
• Yıllık > 20000 Veri Depolama Operasyonu
• Sürekli devam eden veri taşımaları
İş Bankası Hedefler
• Veri depolama maliyetlerini düşürmek
• Veri depolama sürekliliğini arttırmak
• Operasyon miktarını ve karmaşıklığını azaltmak
•
Veri depolama sanallaştırmasını sağlayarak
o Bulut bilişim temel adımlarını atmak
o Veri depolama otomasyonunu
kolaylaştırmak
• SSD teknolojisinden faydalanmak
• Veri katmanları ve depolama sistemleri arası
geçişleri kolaylaştırmak
Veri Depolama Sistem Yönetimi
Heterojen Veri Depolama Altyapısı:
Vendor X Storage
X Console
X Otomasyon
Vendor Y Storage
X Driver
•
•
•
•
Y Console Y Otomasyon
Vendor Z Storage
Y Driver
Z Driver
Z Console Z Otomasyon
Farklı yönetim arayüzleri & metodları
Otomasyon karmaşıklığı
Farklı istemci konfigürasyonları
Farklı izleme arayüzleri & izleme sistemleri uyumsuzluğu
Veri Depolama Sistem Yönetimi
Heterojen Veri Depolama Altyapısı → Veri Depolama Sanallaştırması (IBM SVC)
Vendor X Storage
Vendor Y Storage
Vendor Z Storage
SVC Console
• Tek yönetim arayüzü
SVC Driver
SVC Otomasyon
• Kolay otomasyon
• Standart istemci yapısı
• Tek bir izleme altyapısı, uyum problemi yok
Veri Depolama Sistem Yönetimi
Heterojen Veri Depolama Altyapısı Operasyonları:
Veri Depolama Altyapı Yenilemeleri
Veri Depolama Kapasite Arttırımları
B
C
Vendor X Storage
Vendor X Storage
C
Vendor Y Storage
B
• Kesintili veri taşımaları
• Kesintiler sunucu, veri tabanı ve uygulama ekiplerini
etkileyen ve koordinasyon gerektiren karmaşık süreçler
Veri Depolama Sistem Yönetimi
Heterojen Veri Depolama Altyapısı Operasyonları:
Veri Depolama Altyapı Yenilemeleri
Veri Depolama Kapasite Arttırımları
B
C
Vendor X Storage
Vendor X Storage
C
Vendor Y Storage
B
• Kesintisiz veri taşımaları
• Storage taşımaları diğer birimlerden tamamen bağımsız
Veri Depolama Sistem Yönetimi
Heterojen Veri Depolama Altyapısı Operasyonları: (Uzak Kopyalama)
B
B
DC 1
DC 2
• Değişik üreticilere ait sistemler için kopyalama yöntemleri
değişik, her biri ayrı ayrı yönetilmeli
• Değişik üreticilere ait sistemler arası tutarlı kopya
sağlanamıyor, depolama sistem yönetimi karmaşıklaşıyor
• Kapasite yönetimi karmaşık
• Felaket kurtarma prosedürleri karmaşık
Veri Depolama Sistem Yönetimi
Heterojen Veri Depolama Altyapısı Operasyonları: (Uzak Kopyalama)
B
B
DC 1
DC 2
• Tek bir uzak kopyalama tekniği
• Üretici firma bağımsız tutarlı kopya sağlanabiliyor
• Kapasite yönetimi basit
• Felaket kurtarma prosedürleri basit
Çok Katmanlı Veri Depolama
SSD Storage
High-End Storage
High-End Storage
SSD Storage
Mid-RangeStorage
Mid-RangeStorage
Klasik Veri Depolama Yönetimi
VS
Çok Katmanlı Veri Depolama Yönetimi
•
SSD kullanımı yaygın değil (maliyet)
•
Daha verimli SSD kullanımı ile daha fazla fayda
•
Farklı sınıf depolama aygıtları arası
•
Farklı sınıf depolama alanları arası iletişim basit
•
Veri segmentasyonu otomatik sınıflandırma
teknikleri ile daha faydalı
iletişim zor
•
Veri segmentasyonu basit arşiv mantığıyla
sürdürülebiliniyor
Veri Depolama Sistem Sürekliliği
Veri Depolama sistemleri kaynaklı problemler den nasıl korunabiliriz?
Senkron Kopyalama
Storage Mirroring
VS
•
Sistem kesintisi oluşur
•
Sistem kesintisi riski yoktur
•
•
Sistem çalışırlılığı zaten etkilenmez
•
Sistem çalışırlılığının tekrar sağlanması
operasyon gerektirir
Çözüm üretici bağımlıdır
•
Çözüm üretici bağımsızdır
•
Recovery sonrası corruption oluşabilir
•
Corruption riski yoktur
Veri Yedekliliği
Veri Depolama altyapısı veri yedekliliğini geliştirmek için kullanılabilir mi?
Veri yedekliliği için pahalı bir çözüm & veri
depolama maliyetlerine etkisi?
•
•
Multi-Tier Veri Depolama Altyapısı
Space Efficient Flash Copy- (Tier’lar Arası !!! )
Otomasyon karmaşık, yönetimi zor?
•
Storage Sanallaştırma (IBM SVC )
•
Content Manager& File Server backup problemlerine çözüm
•
Backup çözümleri ile elde edilemeyecek kadar iyi RPO & RTO değerleri
•
Backup window’u uzun olan sistemler için alternatif
Veri Depolama Verimliliği
•
Multi-Tier veri depolama altyapısı
o Doğru veri, doğru veri depolama katmanında
o Automatic Tiering ile verimli SSD kullanımı
•
Thin Provisioning
o Atıl kapasite yönetimi
•
Test ve prod eşit ortamlarının çoğaltılması süreçlerinde kopyalama
tekniklerinin kullanılması
o Çoklu test ortamlarının depolama ihtiyaçlarının yönetilmesi
o Prod eşit ortamlarının hızlı oluşturulması
Veri Depolama Stratejisi
• Veri depolama ihtiyaçları kaç boyutlu düşünülmelidir?
High End / Midrange / Entry Level ?
• Veri depolama / Orta Katman / Sunucu / Veri tabanı stratejileri
bağımsız düşünülebilir mi?
Veri tabanı sürekliliği veri depolama çözümleri ile
iyileştirilebilir mi?
Server Provisioning veri depolama çözümleri ile
kolaylıştırılabilir mi?
• Veri depolama maliyetleri gereksinimlere göre nasıl optimize
edilir?
Yüksek performans = Yüksek Maliyet ?
Maliyetlendirme otomasyonu? (Cloud)
Veri Depolama Sınıflandırmaları
o Performans İhtiyacı
o Veri Katmanları
o Maliyet
o Erişebilirlik
o Production / Test
o Veri büyüklüğü
o Veri Tipi (Datawarehouse – Transactional ?)
o Felaket kurtarma
Server Storage
Strategy
Veri Depolama Sınıflandırmaları
Class A (Database)
Class A (Middleware)
o Multi Tier High-End + SSD
(Automatic Tiering)
o Mid-Range + No Tiering
o Storage Mirrored
o RPO=0
o RTO< 30 min
o Data Size <= 3TB
o Response Time <=5 ms
Per Tb= 5x $
o No Mirroring
o Thin Provisioned
o RPO< 1 Day
o RTO< 30 min
o Veri büyüklüğü <= NA
o Response Time <= 15 ms
Per Tb= 2x $
Bulut Bilişim & Büyük Veri
Cloud:
Sanallaştırma
IBM SVC
Otomasyon
Standardizasyon
Maliyetlendirme
Büyük Veri Yönetimi:
Veri Hacmi
Çeşitlilik
Hız
Storage Strategy
Soru & Cevap
Teşekkürler!