P-Grade Portal

P-GRADE Portalı
Birsen Omay
[email protected]
Peter Kacsuk’un sunumundan alıntılarla
9-10 Temmuz 2007, Tübitak Ulakbim, Ankara
İçerik
P-GRADE Portalının geliştirilme nedeni
Kısaca P-GRADE Portalı
Portalda uygulama geliştirme
Portalda uygulama çalıştırma
Portalda parametre çalışma eklentisi
Genel Durum
Uygulama
Uygulama araçları,
standartları
Üst seviye grid servisleri
(aracı,…)
Temel grid servisleri:
AA, iş gönderme, bilgi alma, …
Kullanıcı arayüzleri
P-GRADE Portalı
Komut satırı araçları
Grid ortakatmanı
Grid Hesaplamanın Şimdiki Durumu ve
Geleceği
Grid sistemleri ve ortkatmanının hızlı gelişimi:
 GT2, OGSA, GT3 (OGSI), GT4 (WSRF), LCG-2, gLite, …
Birçok grid sistemleri bunlarla üretildi:
 EGEE (LCG-2  gLite), UK NGS (GT2),
Open Science Grid (GT2  GT4), NorduGrid (~GT2)
Aynı temel servisler her yerde kullanılabilir olmasına rağmen,
farklı yollarda geliştirildi




Veri servisleri
Hesaplama servisleri
Güvenlik servisleri (single sign-on)
Aracılar
Kısaca P-GRADE Portalı
Genel kullanımlı, iş akışı tabanlı Grid portalı
İş akışına dayanan grid uygulamalarının geliştirilmesini ve
çalıştırılmasını sağlar
GridSphere-2’ye dayalı
 Yeni portletler kolaylıkla eklenebilir
 Kullanıcı ihtiyaçlarına göre uyarlanabilir
Grid sistemlerindeki birlikte çalışabilirlik sorununu iş akışı
seviyesinde çözer
İlgili Projeler
Portalın geliştirilme ve eğitim çalışmaları çeşitli projeler
tarafından yürütülmektedir:
 SEE-GRID www.see-grid.eu
Geliştirme ve uygulama desteği
 Coregrid www.coregrid.net
Araştırma, geliştirme
 EGEE www.eu-egee.org
LCG ve gLite eğitimleri, uygulama geliştirme
 ICEAGE www.iceage-eu.org
Grid eğitimleri
P-GRADE Portalında iş akışı nedir?
Yönlendirilmiş, çevrimsiz
çizge (directed acyclic
graph, DAG)



Düğümler, program işlerini
Kapılar, işlerin istediği ya da
ürettiği girdi/çıktı dosyalarını
Düğümleri birbirine bağlayan
kenarlar, dosya transfer
işlemlerini temsil eder.
İş akışının anlamı:

Eğer bütün girdi dosyaları
hazırsa o iş çalıştırılabilir.
İş Akışlarında İki Seviyeli Paralellik
P-GRADE portalındaki iş
akışı kavramı, karmaşık
problemlerin etkili bir
şekilde paralelleştirilmesini
sağlar
İş akışları iki seviyede
paralellik sağlar :
– İş akışlarının
düğümleri içindeki
paralellik
– İş akışlarının
düğümleri arasındaki
paralellik
Birden fazla iş
paralel olarak
çalışabilir
İşler paralel bir
programdan
oluşabilir
Kısa Menzilli Hava Tahmini
(Macaristan Meteoroloji Servisi)
Tehlikeli hava koşullarının (fırtına,
sis) tahmin edilebilmesi can ve mal
güvenliği için oldukca önemlidir
25 x
10 x
25 x
5x
İşlenecek bilgi:
yüzey seviyesi, yükseklik
ölçümleri, radar, uydu,
aydınlanma, önceki
hesaplamaların sonuçları
Gereksinimler:
•Hesaplama zamanı < 10 dk
•Yüksek çözünürlük (1km)
Tipik Kullanıcı Senaryosu
(Geliştirme Aşaması)
Sertifika
sunucusu
İş akışını
kaydetme
Portal
sunucusu
Grid
servisleri
Editörü
başlatma
İş akışı
oluşturma, iş
akışı üzerinde
değişiklik yapma
İş Akışı Geliştirme
(İş Akışı Editörünü Açma)
Editör, bir Java Webstart uygulamasıdır.
İndirip kurulması, sadece bir “tık” ile!
İş Akışı Editörü
(Grafik Tanımlama)
Toplu işlerden yönlü,
çevirimsiz bir grafik
oluşturma amaçlanır:
1. Sürükle-bırak
birleşenleri:
işler ve kapılar
2. Özelliklerinin
tanımlanması
3. Kapıların bağlanması
(çevirim, döngü veya
koşul eklenemez)
İş Akışı Editörü
(İşin Özellikleri)
İşin özellikleri:
• (Linux) exe dosyası
• Tipi
• Gerekli işlemci sayısı
• Komut satırı
parametreleri
• Kullanılacak Grid/VO
(ve CE)
İş Akışı Editörü
(Hangi CE?)
Bilgi Sistemi
portleti, bu
sorgulamada
yardımcı olacaktır.
Otomatik Kaynak Seçimi
•
•
İş için aracı bir Grid/VO seçin
(ör. trgridb)
İşin belli gereksinimleri varsa bunları JDLde
tanımlayın.

•
İş akışı editörünün kendi JDL editörü vardır.
İş için en iyi kaynağı bulmak için portal aracıyı
kullanacaktır.
İş Akışı Editörü
(Seçimi Aracıya Bırakma)
“_BROKER” ile biten
Grid ismini seçin.
CE ismini önemsemeyin.
Dilerseniz JDL editörü ile
JDL komutları
ekleyebilirsiniz
İş Akışı Editörü
(JDL Editörü)
İş Akışı Editörü
(Port Tanımlama)
Tip:
input: İş için gerekli
output: İş üretir
Dosya tipi:
local: masaüstümde
remote: Grid üzerinde SE’de
Dosya:
dosyanın yeri
Dosya tutum tipi:
Permanent: iş akışının
sonuçlarına dahil
Volatile: yalnızca işler arası
veri aktarımı için
Dosya İsimlendirme Örnekleri
Local
 Kullanıcının bilgisayarında
c:\experiments\11-04.dat
Remote
 LFC mantıksal dosya ismi
lfn:/grid/egrid/sipos/11-04.dat
 GridFTP adresi
gsiftp://myhost.com/11-04.dat
Lokal ve Uzak Dosyalar
İşiniz depolama dosyalarına doğrudan ulaşabilir.
LOKAL GİRDİ
DOSYALARI ve
YÜRÜTÜLÜR
DOSYALAR
LOKAL GİRDİ
DOSYALARI ve
YÜRÜTÜLÜR
DOSYALAR
Portal
sunucusu
LOKAL
ÇIKTI
DOSYALARI
Depolama
elemenları
UZAK GİRDİ UZAK ÇIKTI
DOSYALARI DOSYALARI
LOKAL
ÇIKTI
DOSYALARI
Sadece kalıcı
dosyalar!
Grid
servisleri
Hesaplama
elemanları
İş Akışı Editörü
(İş Akışını Kaydetme)
İş akışı tanımlandı!
Şimdi çalıştırılabilir!
İş Akışının Çalıştırılması
Proxy indirilmesi
İş akışının gönderilmesi
İş akışının takip edilmesi
Hataların düzeltilmesi
Sonuçların indirilmesi
Tipik Kullanıcı Senaryosu
(Çalıştırma Aşaması –1. adım)
Sertifika sunucusu
PROXY
SERTİFİKASININ
İNDİRİLMESİ
Portal
sunucusu
Grid
servisleri
Sertifika Yöneticisi
(Sertifika Portleti)
• GSI tabanlı gridlere
ulaşabilmek için
portal sunucusu
proxy sertifikasına
ihtiyaç duyar
• “Sertifikalar” portleti:
•X.509
sertifikalarının
MyProxy
sunucularına
yüklenmesi
• kısa zamanlı
proxy
sertifikalarının
portal sunucusuna
indirilmesi
Sertifika Yöneticisi
(Proxy’nin İndirilmesi)
1.
1.
MyProxy sunucusu detayları
•
Makine ismi
•
Port numarası
•
Kullancı ismi (yüklemeden)
•
Şifre (yüklemeden)
Proxy parametreleri
•
Yaşam uzunluğu
•
Açıklama
Sertifika Yöneticisi
(Proxy’nin Grid/VO ile İlişkilendirilmesi)
Proxy detayları ve
seçebileceğiniz
Grid/VO olasılıkları
Sertifika Yöneticisi
(Proxy Sertifikalarının Taranması)
Portal
sunucusunda aynı
anda birden fazla
proxy sertifikası
bulunabilir!
SEE-GRID CE ve SEleri
HUNGRID CE ve SEleri
Tipik Kullanıcı Senaryosu
(Çalıştırma Aşaması –2. adım)
Sertifika
sunucusu
DOSYALARIN
TRANSFERİ, İŞLERİN
GÖNDERİLMESİ
Portal
sunucusu
Grid
servisleri
İş Akışı Yönetimi
(İş Akışı Portleti)
• Bu portlette, “Workflow” listesinde iş akışlarının durumu, boyutu ve biten
işlerin çıktıları gösterilir.
• Kullanıcıların portal sunucusundaki depolama alanlarını kontrol
edebilmek için, kota yöneticisi bulunmaktadır.
İş Akışı Çalıştırma
(İş Akışı Portletinden İşlerin Durumunu İzleme)
İş Akışı Çalıştırma
(İş Akışı Portletinden İşlerin Durumunu İzleme)
İş Akışı Çalıştırma
(İş Akışı Portletinden İşlerin Durumunu İzleme)
İş Akışı Çalıştırma
(İş Akışı Portletinden İşlerin Durumunu İzleme)
İş Akışı Çalıştırma
(İş Akışı Portletinden İşlerin Durumunu İzleme)
Tipik Kullanıcı Senaryosu
(Çalıştırma Aşaması –3. adım)
Sertifika
sunucusu
İŞLERİ
GÖZLEMLEME ve
İŞ AKIŞI
İLERLEMESİ
Portal
sunucusu
İŞLERİ
İZLEME
Grid
servisleri
İş Akışı ve İş Seviyesinde Gözleme
(İş Akışı Portleti)
- İş akışının
ilerleyişi
portaldan takip
edilip
gözlenebilir.
İş Akışı ve İş Seviyesinde Gözlemleme
(İş Akışı Portleti)
- Paralel işlerin
ilerleyişi de
portaldan takip
edilip
gözlenebilir.
(Eger Mercury monitor
için hazırlanmışsa)
Başarısız Olan İş Akışının Kurtarılması
1. Adım
İş akışı
çalıştırılırken bir
işte hata oluştu
Hata sebebini log
dosyasından
öğrenin
Başarısız Olan İş Akışının Kurtarılması
2. Adım
Biten işlerde
düzeltme
yapmanıza gerek
yok!
Hatalı işi başka
bir CEye
yönlendirin, ya
da yeni bir proxy
sertifikası
indirin.
İş akışının
çalıştırılması
hata alınan
noktadan devam
edebilir!
Tipik Kullanıcı Senaryosu
(Çalıştırma Aşaması – 4. Adım)
Sertifika
sunucusu
Portal
sunucusu
Grid
servisleri
SONUÇLARI
N
İNDİRİLMESİ
SONUÇLARI
N
İNDİRİLMESİ
Sonuçların İndirilmesi...
Ek Özellikler
İş akışları portal sunucusuna yüklenebilir.
İş akışları portal sunucusundan indirilebilir.
 İş akışları ve sonuçları araştırmacılar arasında paylaşılabilir!
 İş akışları farklı portallara taşınabilir!
İş Akışı Yükleme / İndirme
Portal
sunucusundan
iş akışı
indirilmesi
İş akışındaki
gereksiz
dosyaların
silinmesi
To
İş delete
akışı
trace/output
loglarının /of
the
sonuçlarının
workflow
silinmesi
(if any)
Parametre Çalışma Eklentisi
Kullanıcılar iş akışı seviyesinde parametre
çalışması desteğine ihtiyaç duymaktadır.
Parametre çalışması:
 Eger kullanıcının varolan, hazır bir iş akışı varsa
kullanıcılar bu iş akışını


Tekrar çalıştırmak (değişiklik yapmadan)
Farklı parametrelerle çalıştırmak
ihtiyacı duymaktadır.
İş Akışlarında Üç Seviyeli Paralellik
Aynı iş akışının birden fazla kopyası
farklı veri dosyalarıyla işlem yapabilir.
– İş akışlarının düğümleri
içindeki paralellik
(SIMD/MIMD/MISD)
– İş akışlarının düğümleri
arasındaki paralellik
(SIMD/MIMD/MISD)
– İş akışına parametre
çalışması eklentisi
(SIMD)
Birden fazla iş
paralel olarak
çalışabilir
İşler paralel bir
programdan
oluşabilir
Parametre Çalışması İş Akışı Çalıştırılması
1 PS iş akışı çalıştırılması
4 x 3 normal iş akışı çalıştırılması
PÇ kapısı:
girdi dosyasının 4
kopyası
PÇ kapısı:
girdi
dosyasının 3
kopyası
=
Böylece 3. seviyede paralellik sağlanarak,
çok fazla Grid kaynağına ihtiyaç duyulmaktadır.
Parametre Çalışması İş Akışı Geliştirme
1. Önceden Test Edilmiş İş Akışı
Parametre Çalışması İş Akışı Geliştirme
2. PÇ Kapılarının Tanımlanması
“Switch to PS”
seçeneğiyle girdi
kapısının PÇ
kapısına
dönüştürülmesi
Parametre Çalışması İş Akışı Geliştirme
3. Girdi Dosyalarının Bulunduğu Dizinin Belirlenmesi
Girdi dosyalarının
bulunduğu Grid
dosya katalog dizini
Parametre Çalışması İş Akışı Geliştirme
4. Sonuç Dosyalarının Kaydedileceği Dizinin Belirlenmesi
Parametre Çalışması İş Akışı Geliştirme
5. İş Akışının Gönderilmesi
Parametre Çalışması İş Akışı Geliştirme
5. İş Akışının Takip Edilmesi
Total = Init + Submitted + Rescue + Error + Finished
Sonuçlar
 P-GRADE Portalı gridler arasındaki farklılıkları ve karmaşıklıkları
saklar



Globus X – LCG2 – gLite iş akışı seviyesinde birlikte çalışılabilirliği
Grid teknolojileri arasındaki geçişler son kullanıcıdan saklanır
Çeşitli bileşenlerden oluşan büyük Grid uygulamaları geliştirilebilir
–
–
–
Sıralı kodlar
MPI kodları
Eski kodları (Legacy codes)
 Kodlarda gride özel konutların bulunmasına gerek kalmaz
 Uygulama geliştirme, çalıştırma ve izlemek için grafiksel araçlar
kullanılır
 Ortak takım çalışmalarını destekler


İş akışlarının paylaşılması
İşlerin paylaşılması
 Standart portlet APIsiyle geliştirilmiştir  özel uygulama
alanlarına, kullanıcı gruplarına göre ayarlanabilir.
Teşekkürler!
[email protected]
www.grid.org.tr/servisler/pgrade
www.lpds.sztaki.hu/pgportal
9-10 Temmuz 2007, Tübitak Ulakbim, Ankara