CRAB ile TR-Grid Üzerinde Analiz

Yorumlar

Transkript

CRAB ile TR-Grid Üzerinde Analiz
Enabling Grids for E-sciencE
CRAB ile TR-Grid Üzerinde
Analiz
Emrah AKKOYUN
TÜBİTAK-ULAKBİM
Mehmet Vergili
Çukurova Üniversitesi
www.eu-egee.org
TR T2 Durumu
Enabling Grids for E-sciencE
• TR T2 merkezinin durumunun istatistiksel olarak
özetlenmesi için aşağıda ki grafikler paylaşılmıştır.
• Bu grafikler, TR METU sitesine gelen test işlerinin
sonuçlarının toplanmasıyla edinilmiştir.
• T1 merkezleri ile production veri kanalları ve transfer
durumları örnek grafiklerde gösterilmiştir.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
2
TR T2 Durumu – 7 TeV Veriler
Enabling Grids for E-sciencE
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
3
Enabling Grids for E-sciencE
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
4
Enabling Grids for E-sciencE
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
5
TR T2 Durumu
Enabling Grids for E-sciencE
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
6
TR T2 Durumu
Enabling Grids for E-sciencE
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
7
Giriş
Enabling Grids for E-sciencE
• Bu sunum CERN twiki sayfasinda yer alan rehber
referans alinarak TR-Grid kaynaklari uzerinde CRAB
araciligiyla nasil veri analizi yapilacagi amaciyla
hazirlanmistir.
https://twiki.cern.ch/twiki/bin/view/CMS/WorkBookCRABTuto
• CERN wiki sayfasında yer alan analiz için gerekli olan
güncel komut setlerinin TR-Grid üzerinde ki karşılıkları
paylaşılacaktır.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
8
Kullanıcı Hesabı ve Grid Sertfikası
Enabling Grids for E-sciencE
• Kullanıcı arayüzü makinesi olan kefal.ulakbim.gov.tr
üzerinde kullanıcı hesabı ve grid sertifikası
http://www.grid.org.tr/uyelik/yonerge.uhtml
–
Üyelik başvuru formunun doldurulması:
•
–
–
Kurumsal belgerin gönderilmesi
Statik IP adresi veya OpenVPN
•
•
–
INFSO-RI-508833
http://www.grid.org.tr/uyelik/uyelik.php
FNAL ve CERN IP blokları erişimine izin verilmiştir.
IP kısıtlaması olmaksızın heryerden bağlanabilmek için
OpenVPN
– http://wiki.grid.org.tr/index.php/OpenVPN_Nas%C4%B1l
Sertifika Başvurusu
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
9
Kullanıcı Hesabı ve Grid Sertfikası (2)
Enabling Grids for E-sciencE
• Lxplus üzerinde hesabınız varsa ve TR-Grid üzerinde
yeni çalışmaya başlayacaksanız
–
Kullanıcı arayuzu bilgisayarında yeni bir hesap
açtırmanız
–
.globus dizinini bu hesaba kopyalamanız
yeterlidir.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
10
Sertifikanızın Yenilenmesi ve VO Kaydi
Enabling Grids for E-sciencE
• grid-cert-info komutu ile sertifikanızın süresini
sorgulayabilirsiniz. Süresi dolmuş sertifikalarınızı
yenilemek için [email protected] adresine eposta atınız.
• Sertifikanızın CMS sanal organizasyonuna dahil
edilmesi
–
İlk imzalandığında trgride sanal organizasyonuna (yerel)
dahil edilir.
• voms-proxy-init –voms cms komutu ile proxy
yaratabiliyorsaniz bu vo'ya dahilsiniz demektir.
http://cmsdoc.cern.ch/cms/aprom/www/top/CMS_VO.html
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
11
SiteDB Kaydı
Enabling Grids for E-sciencE
•
Analiz sonrası üretmiş olacağınız bilgileri DBS
üzerinden yayınlamak için SiteDB'ye kayıt
https://twiki.cern.ch/twiki/bin/view/CMS/SiteDBForCRAB
•
Hypernews kullanıcı adıyla SiteDB'ye giriş ve DN
bilginizin girilmesi
•
T* hesaplama merkezlerinin kaydı yanında, fizik
grupları ve kişilerin rolleri tanımlaması yapılmıştır.
İleri de bu bilgiler ışığında verinin nereye gideceği
kararlaştırılacaktır.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
12
Yüklü olan CMSSW Yazılımları
Enabling Grids for E-sciencE
VO-cms-CMSSW_2_2_13_offpatch1 VO-cms-CMSSW_2_2_6
VO-cms-CMSSW_2_2_9
VO-cms-CMSSW_3_1_4
VO-cms-CMSSW_3_1_6
VO-cms-CMSSW_3_2_5
VO-cms-CMSSW_3_2_8
VO-cms-CMSSW_3_3_1
VO-cms-CMSSW_3_3_3
VO-cms-CMSSW_3_3_3_TSG
VO-cms-CMSSW_3_3_3_patch1 VO-cms-CMSSW_3_3_5
VO-cms-CMSSW_3_3_5_patch1 VO-cms-CMSSW_3_3_5_patch2
VO-cms-CMSSW_3_3_5_patch3 VO-cms-CMSSW_3_3_5_patch4
VO-cms-CMSSW_3_3_6
VO-cms-CMSSW_3_3_6_patch1
VO-cms-CMSSW_3_3_6_patch2 VO-cms-CMSSW_3_3_6_patch3
VO-cms-CMSSW_3_3_6_patch4 VO-cms-CMSSW_3_3_6_patch5
VO-cms-CMSSW_3_3_6_patch6 VO-cms-CMSSW_3_4_0
VO-cms-CMSSW_3_4_1
VO-cms-CMSSW_3_4_2
VO-cms-CMSSW_3_4_2_patch1 VO-cms-CMSSW_3_5_0
VO-cms-CMSSW_3_5_0_patch1 VO-cms-CMSSW_3_5_1
VO-cms-CMSSW_3_5_1_patch1 VO-cms-CMSSW_3_5_2
VO-cms-CMSSW_3_5_2_patch1 VO-cms-CMSSW_3_5_2_patch2
VO-cms-CMSSW_3_5_3
VO-cms-CMSSW_3_5_4
VO-cms-CMSSW_3_5_4_patch1 VO-cms-CMSSW_3_5_4_patch2
VO-cms-CMSSW_3_5_6
VO-cms-CMSSW_3_5_6_patch1
VO-cms-slc4_ia32_gcc345
VO-cms-slc5_ia32_gcc434
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
13
CMS Yazılımları (SL5 geçişi)
Enabling Grids for E-sciencE
• WLCG yapısına dahil sitelerin büyük çoğunluğu
üzerinde SL5 işletim sistemi olan 64 bitlik orta katmana
sahip (glite3.2) yapıya geçmiştir.
• Hem 32 bit hem de 64 bitlik yazılımlar sitelerde kurulu
durumda olup her ikisi de desteklenmektedir.
• CMSSW_3_4_* sonrasi 64 bitlik olan analiz
yazilimlaridir.
• T2 METU, SL5 işletim sistemine geçmiş 32 ve 64 bitlik
yazılımları beraber destekler durumdadır.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
14
CMS Yazılımları
Enabling Grids for E-sciencE
• Yeni CMSSW yazılımlarının kurulması merkezi otorite
tarafından yapılmaktadır.
• İstediğiniz yazılım kurulu değilse kurulum için site
yöneticisi ile irtibata geçilmektedir.
• 32 bitlik METU sitesinde yuklu olan yazilimlari gormek
icin;
–
–
–
source /opt/exp_soft/cms/cmsset_default.sh
export SCRAM_ARCH=slc4_ia32_gcc345
scram list
• 64 bitlik yuklu olan yazilimlari gormek icin;
–
–
–
INFSO-RI-508833
source /opt/exp_soft/cms/cmsset_default.sh
export SCRAM_ARCH=slc5_ia32_gcc434
scram list
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
15
Yüklü olan CRAB Araçları
Enabling Grids for E-sciencE
CRAB_2_6_3_patch_2
CRAB_2_6_5
CRAB_2_6_6
CRAB_2_7_0
CRAB_2_7_1_pre12
CRAB_2_7_1
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
16
CRAB Araçları
Enabling Grids for E-sciencE
• Kullanıcı bu araçları kendi ev dizinine kolayca
kurabileceği gibi ortak yere kurulmuş olan sürümü de
kullanabilir.
• İstediğiniz CRAB sürümünün kullanıcı arayüzünde
bulunmaması ve ortak yere kurulmasını istediğiniz
durumda bizle irtibata geçmeniz gerekmektedir.
• /opt/exp_soft/cms/CRAB/ dizini altinda kurulu olan
CRAB araclarini bulabilirsiniz.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
17
Kullanıcı Arayüzü
Enabling Grids for E-sciencE
• ssh <kullanıcı adı>@kefal.ulakbim.gov.tr
• ls -ls .globus izinleri asagidaki gibi olmalıdır.
drwxr-xr-x 2 emrah trgridb 4096 Oct 2 2009 .
drwx-----x 96 emrah trgridb 12288 Apr 8 21:32 ..
-rw-r--r-- 1 akkoyun atlas 1701 Jun 1 2009 usercert.pem
-r-------- 1 akkoyun atlas 1920 Jun 1 2009 userkey.pem
• Root gibi programlarla goruntu almak istediğinizde
ssh -X parametresiyle bağlanmanız gerekmektedir.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
18
Kullanıcı Arayüzü
Enabling Grids for E-sciencE
• Kullanıcı arayüzü üzerinden lxplus hesabınıza /afs üzerinden
erişebilirsiniz.
ls -la /afs/cern.ch/user/a/akkoyun/
• Kefal üzerinden lxplus hesabınıza dosya taşıyabilir, dosya
alabilirsiniz. Bunun için kerberos bileti edinmelisiniz.
kinit -5 [email protected]
klog akkoyun
• klist komutu ile biletinizin gecerlilik zamanını sorgulayabilirsiniz.
Valid starting
Expires
Service principal
04/08/10 07:20:59 04/09/10 07:20:59 krbtgt/[email protected]
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
19
Çevre Değişkenlerinin Tanımlanması
Enabling Grids for E-sciencE
• cms ile ilgili komut setlerine erisebilmek icin
–
source /opt/exp_soft/cms/cmsset_default.sh
• İstediğiniz CMSSW yazılımını kullanabilmek için
–
–
–
–
–
mkdir Tutorial
cd Tutorial
cmsrel CMSSW_2_2_13
cd CMSSW_2_2_13/src/
cmsenv
• Ortak alanda kurulu olan CRAB versiyonunu kullanmak icin;
–
INFSO-RI-508833
source /opt/exp_soft/cms/CRAB/CRAB_2_6_5/crab.sh
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
20
Konfigürasyon Dosyası
Enabling Grids for E-sciencE
• Wiki sayfasında belirtilen konfigürasyon dosyasi (tutorial.py)
import FWCore.ParameterSet.Config as cms
process = cms.Process('Tutorial')
process.source = cms.Source("PoolSource", fileNames = cms.untracked.vstring())
process.maxEvents = cms.untracked.PSet( input
= cms.untracked.int32(10) )
process.options = cms.untracked.PSet( wantSummary =
cms.untracked.bool(True) )
process.output = cms.OutputModule("PoolOutputModule",
outputCommands = cms.untracked.vstring("drop *", "keep recoTracks_*_*_*"),
fileName = cms.untracked.string('out.root'),
)
process.out_step = cms.EndPath(process.output)
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
21
Veri Seti Seçme (Senaryo)
Enabling Grids for E-sciencE
• CMS'te gonderilen iş, veri setinin oldugu yere gider.
• Senaryo 1: Veri: yok, İş: Başka T2 merkezi
–
–
Kefal (kullanıcı arayüzü) üzerinden sadece CRAB
kullanılarak işinizi yönetebilirsiniz.
Crab dosyasında METU sitesi depolama olarak belirtilerek
gönderilen analiz işi başka sitede çalışsa bile sonuçların
buraya yazdırılması sağlanabilir. (Örn:ce_white_list)
•
•
INFSO-RI-508833
Akademik ağa dahil olunduğundan analiz verileri hızlıca
TR T2 merkezine hızlıca yazdırılabilir.
Aynı ağ içerisinde olduğundan depolama elemanından
kefal'e sonuçların alınması daha hızlı olacaktır.
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
22
Veri Seti Seçme (Senaryo)
Enabling Grids for E-sciencE
• Senaryo 2: Veri: var, İş: TR T2 merkezi
–
–
–
–
Eğer çalışmak istediğiniz veri seti burada bulunuyorsa
diğer sitelerde de bulunabileceği göz önünde
bulundurulmalıdır. İşinizin TR T2'de çalışması için
CRAB'da belirtilmelidir.
İşlerin analiz edilmesi ve lokale taşınması daha hızlı
olacaktır. (Aynı ağ içerisinde)
Yönetimi TR-Grid ekibinde olduğundan çalışmanıza özel
ihtiyaçlar daha hızlı karşılanabilir.
Ulusal kullanıcılara önceliklendirme yapılabilir.
• Aşağıda ki veri seti analiz için seçilebilir.
–
INFSO-RI-508833
/QCDpt30/Summer08_IDEAL_V9_v4/GEN-SIM-RECO
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
23
Crab Dosyasının Hazırlanması
Enabling Grids for E-sciencE
• Yardım dosyasına bakılıp parametreler hakkında
fazlaca bilgi alınabilir.
–
crab -h
• Örnek konfigürasyon dosyası
[CMSSW]
total_number_of_events=100
number_of_jobs=10
pset=tutorial.py
datasetpath=/QCDpt30/Summer08_IDEAL_V9_v4/GEN-SIM-RECO
output_file=out.root
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
24
Crab Dosyasının Hazırlanması
Enabling Grids for E-sciencE
[USER]
return_data=0
email=<e-posta adresiniz>
copy_data = 1
storage_element = T2_TR_METU
publish_data = 1
publish_data_name = <yayinlayacaginiz veri setinin adi>
dbs_url_for_publication =
http://cmssrv49.fnal.gov:8989/DBS209/servlet/DBSServlet
[CRAB]
scheduler=glite
jobtype=cmssw
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
25
İşin Yaratılması ve Gönderilmesi
Enabling Grids for E-sciencE
• Hazirlamiz oldugumuz isi yaratmak icin;
–
crab -create
• Bu komutu calistirdiktan sonra cikti ekranin da,
uzerinde calistiginiz veri setinin ne kadar olay icerdigi,
nerelerde bulundugu bilgisini bulabilirsiniz.
• Gondermek icin;
–
INFSO-RI-508833
crab -submit
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
26
İşin Durumunun Sorgulanması
Enabling Grids for E-sciencE
• CRAB ile işinizin durumunu sorgularken karşılaşmanız
muhtemel aşağıda ki hatayı alabilirsiniz.
–
Aldiginiz hatanin son satiri: ImportError: No module named
_glite_wmsui_LbWrapper
• Bu durumda aşağıda ki komutu çalıştırmanız gerekmektedir.
–
export PYTHONPATH=${PYTHONPATH}:${GLITE_LOCATION}/lib
• Daha fazla bilgi için
–
https://twiki.cern.ch/twiki/bin/view/Main/LSSlc5UIhttps://twiki.cern.ch/twiki/b
• İşin durumunu sorgulamak için
–
crab -status
• Web üzerinden iş numaranız ile sorgulama yapabilmek için
aşağıdaki adres kullanılabilir. (Crab sunucusu kullanıldıysa)
–
INFSO-RI-508833
http://crab1.ba.infn.it:8888/logginfo
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
27
İşlerin Sonuçlarının Alınması
Enabling Grids for E-sciencE
• crab -getoutput komutu ile analiz esnasinda yapilan
islerin kayitlarini tutan log dosyalarini edinebilirsiniz.
• Analiz sonrasi uretilen root dosyalari alınamaz, çünkü
konfigurasyon dosyasinda sonuclarin dogrudan
depaolama elemanina gonderileceği soylenmişti.
• Log dosyaları hatanın bulunmasında oldukça faydalıdır.
İşinizin hata alması durumunda site yöneticisi ile bu log
dosyalarını paylaşabilirsiniz.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
28
İşlerin Sonuçlarının Alınması (2)
Enabling Grids for E-sciencE
• Örnek: İşlerden birkaçının 60307 numaralı hata ile sonlanması (root
dosyasının SE'ye kopyalanamaması)
• Hatanın gösterildiği log dosyası
2010-02-24 14:25:04.617448:
Executed:
lcg-cp --verbose --vo=cms -b -D srmv2 --srm-timeout 2400 --sendreceive-timeout 2400 --connecttimeout 2400 --verbose file:///home/cms021/globustmp.alicegrid39.21032.0/https_3a_2f_2flb010.cnaf.infn.it_3a9000_2fJeUz8YVDseWWRwr3H3BcPw/CMSSW_2_
2_13/out_5.root srm://eymir.grid.metu.edu .tr:8446/srm/managerv2?
SFN=/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCDpt30/emrahtestmetu/85ab15de603ef7cf9b5741
fe5fa3c2df/out_5.root
Done with exit code:
256
and output:
Using grid catalog type: UNKNOWN
Using grid catalog : (null)
VO name: cms
Checksum type: None
Destination SE type: SRMv2
[SE][Mkdir][SRM_DUPLICATION_ERROR] srm://eymir.grid.metu.edu.tr:8446/srm/managerv2?
SFN=/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCDpt30/emraht
estmetu/85ab15de603ef7cf9b5741fe5fa3c2df/out_5.root: File exists
lcg_cp: File exists
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
29
TR T2 Merkezinde İş Koşturmak
Enabling Grids for E-sciencE
• Bu örnekte ki işler, WLCG alt yapisinda bulunan herhangi
bir T2 merkezinde calistirildi ve sonuclari METU sitesine
gonderildi.
• Eger veri seti METU sitesinde bulunuyorsa (DBS
uzerinden sorgulayabilirsiniz) asagidaki parametreleri
crab.cfg dosyaniza ekleyerek isinizin burada dogrudan
calismasini saglayabilirsiniz.
–
–
[GRID]
ce_white_list = cox01.grid.metu.edu.tr
• Çalışmak istediğiniz veri setini T2 TR merkezine taşımak
için PhEDEx üzerinden istekte bulunmanız gerekecektir.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
30
Analiz Sonuçlarının Lokale Taşınması
Enabling Grids for E-sciencE
•
SiteDB'de kayitli oldugum kullanici ismim akkoyun
Dolayisiyla uretilen veri setleri asagidaki dizin altina
kopyalanmistir.
–
•
/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/
Analiz sonrasında üretilen dosyaları görebilmek icin
asagida ki cevre degiskenlerinin tanımlanması
gerekmektedir.
–
–
INFSO-RI-508833
export DPM_HOST=eymir.grid.metu.edu.tr
export DPNS_HOST=eymir.grid.metu.edu.tr
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
31
Analiz Sonuçlarının Lokale Taşınması (2)
Enabling Grids for E-sciencE
•
Dizinin altında ki dosyaları sorgulamak için
–
rfdir /dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/
•
•
drwxrwxr-x 1 123
emrahtestmetu
106
0 Feb 24 15:25
emrahtestmetu adinda klasorun yaratildigi
görünüyor. Bu klasorun icerisinde ki root dosyalarini
sorgualamak icin;
–
INFSO-RI-508833
rfdir
/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCD
pt30/emrahtestmetu/85ab15de603ef7cf9b5741fe5fa3c2df
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
32
Analiz Sonuçlarının Lokale Taşınması (3)
Enabling Grids for E-sciencE
–
–
–
–
–
–
–
–
•
•
-rw-rw-r--rw-rw-r--rw-rw-r--rw-rw-r--rw-rw-r--rw-rw-r--rw-rw-r--rw-rw-r--
1 123
1 123
1 123
1 123
1 123
1 123
1 123
1 123
106
106
106
106
106
106
106
106
1449819 Feb 24 15:31 out_1.root
1436353 Feb 24 15:30 out_10.root
1432600 Feb 24 15:31 out_2.root
1446353 Feb 24 15:25 out_3.root
1480660 Feb 24 15:25 out_4.root
1437861 Feb 24 15:25 out_7.root
1459832 Feb 24 15:31 out_8.root
1459325 Feb 24 15:30 out_9.root
Hata ile sonuclanmis olan 5 ve 6 disinda ki tum dosyalar depolama elemaninda yaratılmıştır.
Ev dizinimde kopyasini alabilmek icin,
– rfcp
/dpm/grid.metu.edu.tr/home/cms/store/user/akkoyun/QCDpt30/emrahtestmetu/85ab15de6
03ef7cf9b5741fe5fa3c2df/out_1.root ~emrah/
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
33
Analiz Sonuçlarının Lokale Taşınması (4)
Enabling Grids for E-sciencE
•
Analiz verilerinin TR-Grid üzerinde saklanması
1.
Ev Dizininde Saklanması

Yüksek performanslı disklerden oluşmuş yapıdır. O yüzden
kullanıcının en fazla 10 GB bir disk kotası vardır.

Veri analiz edileceği zaman burada tutulmalıdır. (Küme)
1.
/depo1 dizininde tutulması

Verinizi lokal de saklamak veya root dosyası ile açmak için burada
tutabilirsiniz. Kullanıcı adınız ile burada dizin yaratılmış durumdadır.
Burada ki veriler silinmeyecektir.

Herhangi bir disk kotası kullanıcılar için tanımlanmamıştır.
1.
Depaolama Elemanı

Ulusal kullanıcılar için depolama elemanı üzerinde bir alan ayrılarak
analiz verilerinin burada tutulması sağlanabilir.
INFSO-RI-508833
TR-Grid Üzerinde Atlas Analizi, 08 Nisan 2010
34

Benzer belgeler