×
Yeni bir madde oluştur
Sayfa başlığınızı buraya yazın:
We currently have 15 articles on UHeM Wiki. Type your article name above or create one of the articles listed here!



    UHeM Wiki
    15Maddeler

    Altay sistemine iş vermek


    Altay Kümesi Donanım Bilgisi

    Bu kümenin hesaplama sunucularının donanımları:

    Makina Adı İşlemci Bilgisi İşlemci Kod Adı Makinadaki İşlemci

    (Çekirdek) Sayısı

    Hafıza Miktarı Ağ Kartı Özel Donanım Bu makinalarda

    Çalışacak Kuyruklar

    altay (login node) AMD EPYC 7302 2.99GHz znver2 32 256GB 200 Gbit/s Infiniband YOK Login makinasında

    iş çalıştırılamaz

    a001 - a088 AMD EPYC 7742 2.24GHz znver2 128 256GB 200 Gbit/s Infiniband YOK defq (varsayılan kuyruk, 7 gün)

    bigjobq (3 gün)

    a101 - a130 Intel XEON 8362 2.80GHz icelake-server 64 512GB 200 Gbit/s Infiniband 1 adet NVIDIA A100 80GB PCIe

    8.8TB /YEREL disk (scratch)

    a100q (7 gün)
    a141 - a150 AMD EPYC 7543 2.80GHz znver3 64 1024GB 200 Gbit/s Infiniband 4 adet NVIDIA A100 80GB NVlink

    12TB /YEREL disk (scratch)

    a100x4q (7 gün)


    Altay kümesindeki, a001-a088 makinalarında Red Hat Enterprise Linux release 8.5 işletim sistemi yüklüdür. a101-130 ve a141-a150 makinalarında Rocky Linux release 8.5 işletim sistemi yüklüdür.

    Disk Sistemi

    Altay kümesinde disk sistemi /ari adıyla sisteme bağlıdır. Kullanıcı dosyaları /ari/users dizininde, yeni programlar ise /ari/progs dizinde bulunur.

    GPU'lu Sunuculardaki YEREL Disk Kullanımı

    a100q ve a100x4q kuyruklarındaki makinalarda, verilen işlerin geçici okuma yazma amaçlı (scratch) kullanması için, yerel bir disk bulunur. a100q kuyruğundaki sunucularda 8.8TB /YEREL disk, a100x4q kuyruğundakilerde 12TB /YEREL disk mevcuttur. İş verdiğinizde hiçbir dosya yada program bu dizine kopyalanmaz, yada iş bitince geri bu dizinden ana diske(/ari) kopyalanmaz. Sadece siz isterseniz kendiniz kopyalıyabilirsiniz, yada kullandığınız programa gecici (tmp, scratch) dosyalarini yazabileceği yer olarak bu dizini gösterebilirsiniz.

    /YEREL dizini sadece a100q ve a100x4q kuyruklarındaki makinalarda bulunmaktadır, altay login node'unda yada diğer makinalarda bu dizin yoktur. Dahası /ari dizininin aksine her bir sunucuda kendisine ait ayrı bir dizindir. Yani mesela a120 sunucusunda /YEREL dizinine bir dosya koyarsaniz, diger makinalardan bu dosyaya erisemezsiniz. Birden fazla sunucuda çalışan bir iş için, her sunucuya kendi kopyasını koymalısınız.

    /YEREL diskteki dosyalar iş bitiminde otomatik olarak silinmektedir. Buraya yazdıracağınız dosyalarınızı saklamak isterseniz, iş betiğinizin içerisinde ev dizininize kopyalamalısınız.

    Mesela tek sunuculuk bir iş için aşağıdaki gibi bir betik kullanılabilir. Bu betiği /ari/progs/slurm_betikleri/YEREL-disk-kullanimi-tek-sunucu.sh adresinde bulabilirsiniz:

    #!/bin/bash
    #SBATCH -A hsaat                # account / proje adi
    #SBATCH -p a100q
    #SBATCH -N 1
    #SBATCH -n 64
    
    #Girdi dosyalari kopyalaniyor
    \cp -r   /ari/users/mercan/girdiler /YEREL
    
    # Calistirmak istedigimiz programa uygun parametrelerle /YEREL diskini kullanmasi soylenmeli
    # Tabiki kullanacaginiz programin parametreleri degisik olacaktir
    program --girdi  /YEREL/girdiler  --cikti  /YEREL/ciktilar
    
    #Program bitince olusan ve saklamak istediklerimizi geri ev dizinine kopyalamali
    \cp -r /YEREL/ciktilar /ari/users/mercan/
    

    Tabiki, bu betiklerdeki /ari/users/mercan/ dizinleri örnek kullanıcı dizini olarak kullanılmıştır. Siz kendi ev dizininizde uygun bir yer ile bu dizinleri değiştirmelisiniz.

    Yine birden çok sunuculuk bir iş için aşağıdaki gibi bir betik kullanılabilir. Bu betiği /ari/progs/slurm_betikleri/YEREL-disk-kullanimi-birden-cok-sunucu.sh adresinde bulabilirsiniz:

    #!/bin/bash
    #SBATCH -A hsaat                # account / proje adi
    #SBATCH -p a100q
    #SBATCH -N 3
    #SBATCH -n 192
    
    # Girdi dosyalari kopyalaniyor
    # Buradaki SUNUCU ifadesi her sunucunun adi ile otomatik degistirilecektir
    sunucular -r scp -r   /ari/users/mercan/girdiler SUNUCU:/YEREL/
    
    # Calistirmak istedigimiz programa uygun parametrelerle /YEREL diskini kullanmasi soylenmeli
    # Tabiki kullanacaginiz programin parametreleri degisik olacaktir
    program --girdi  /YEREL/girdiler  --cikti  /YEREL/ciktilar
    
    # Program bitince olusan ve saklamak istediklerimizi geri ev dizinine kopyalamali
    # Buradaki SUNUCU ifadesi her sunucunun adi ile otomatik degistirilecektir
    sunucular -r scp -r SUNUCU:/YEREL/ciktilar /ari/users/mercan/cikti.SUNUCU
    


    Son olarak şunu da belirtelim, /YEREL disk kullanımı kullanıcı kotasından harcamaz. Mesela, 100GB kotası olan bir kullanıcımızın işi çalışırken 12TB'lık /YEREL diski doldursa bile, kullanıcımız disk kotası sorunu yaşamayacaktır. Tabiki, buradaki dosyaların iş bitiminde otomatik silineceğini de unutmamak lazım.

    Derleyiciler

    Altay kümesindeki a001-a088 makinalarının işlemcileri AMD EPYC olduğu için, intel compiler paketi düzgün çalışmamaktadır. çeşitli intel modülleri kurulu olmasına rağmen bu modülleri kullanmamanızı tavsiye ederiz.


    Ön yüklü GCC derleyici sürümü 8.5.0 dır. Ancak bu derleyici, a001-a088 makinalarının kod adı "znver2" olan işlemcimizi tanımamaktadır. Bu sebeble, mümkünse, daha yeni bir derleyici (minimum gcc 9) kullanmanızı öneririz. Başka GCC Derleyicileri için, hazırda pek çok modül mevcuttur.


    Yukarıda bahsi geçen derleyicilerde; işlemci için eniyileme (optimizasyon) yapmak için verilmesi gereken işlemci kodu znver2 dir (a001-a088 makinaları için). Örneğin: -march=znver2 parametresi ile bu işlemciye özelleşmiş exe üretilebilir.

    a101-a130 makinalarının INTEL işlemcisinin işlemci kodu ise icelake-server dir. a141-a150 makinalarının AMD işlemcisinin işlemci kodu ise znver3 dir.


    Sistem Kullanımı

    Altay Kümesini kullanmak için kullanıcılarımız, VPN ile bağlı iken, altay.uhem.itu.edu.tr makinasına ssh yapmalıdırlar. Bu makinada işlerini/programlarını doğrudan çalıştırmak yerine, SLURM programına bu işlerini çalıştıran bir betik (ing. script) teslim etmelidirler.


    Altay kümesinin kullanımı konusunda bilgi edinmek için, lütfen Sarıyer sistemine iş vermek sayfasına bakınız. Çünkü, bu sayfada bahsedilmeyen her türlü kullanım bilgisi sariyer kümesi ile aynıdır.



    TRUBA ile Dosya Transferi

    UHeM'deki tüm sunuculardan vpn bağlantısı gerekmeksizin, TRUBA'daki levrek1.ulakbim.gov.tr sunucusuna scp komutu ile dosya gönderip, alabilir, ssh yapabilirsiniz.


    TRUBA'dan da, altay login sunucusuna (altay.uhem.itu.edu.tr), vpn bağlantısı gerekmeksizin scp ile dosya gönderip, alabilir, ssh yapabilirsiniz.


    Google-Drive, Dropbox, Amazon S3 vb. ile Dosya Transferi

    Çeşitli bulut saklama ortamlarına, UHeM'deki kullanıcı dosyalarınızı göndermek yada UHeM'deki ev dizininize dosya indirmek isterseniz, bu amaçla altay login makinasında rclone programını kullanabilirsiniz.

    rclone programının desteklediği saklama ortamları ve kullanımı konusunda rclone programının kendi sitesine ( https://rclone.org/ ) bakabilirsiniz.