Yazar arşivleri: Nuh Azgınoğlu

Slurm Faydalı Komutlar – Örnekler

Slurm ile ilgili yazdığımız bildiriye bağlantıdan ulaşabilirsiniz.

You can access our report about Slurm from the link

Bir kullanıcıya ait tüm işleri sonlandırma:

scancel -u username

Bir işi spesifik bir node’da çalıştırma:

sbatch --nodelist nodename scriptname

Belli bir node’u drain durumuna alarak sonraki işlerin ona verilmemesini sağlamak.

scontrol update nodename=nodeismi state=drain reason="sebebi"

Sunucuda node bilgilerini görme (node ismi belirtilmezse tüm node’ları gösterir);

scontrol show nodes nodeismi

Node’u resume moduyla tekrar aktif etme;

scontrol update nodename=nodeismi state=resume

Client’larda node bilgilerini görme;

slurmd -C

Çalışmayan node’lar ve çalışmama sebeplerini görme;

sinfo -R

Çalışan ve çalışmayan tüm node’ları gruplayarak listeleme;

sinfo -l

Sunucuda slurm servisini restart etme (çalışan işlere zarar vermez);

systemctl restart slurmctld.service

Kuyruktaki bir iş hakkında bilgi edinme;

scontrol show job job_id

Çalışan, bekleyen ve yeni bitmiş işler hakkında bilgi edinme

sacct 
sacct -u username | grep COMPLETED

Bir işi gönderirken bazı node’lara işin gönderilmesini önleme (yavaş çalışan bir node vardır işin bu node’a gitmesini istemiyorsunuzdur).takipçi satın al

sbatch --exclusive=nodeismi scriptname

Kuyrukta PENDING olarak bekleyen işin tahmini başlama süresini görüntüleme

squeue --start

Kuyruktaki bütün işlerin JOBID’ye göre sıralanmış hali.

squeue --sort=i 
veya
squeue -S i

ImportError: No module named pkg_resources

Bir Cevap Yazın

Error is:

Traceback (most recent call last):
 File "/usr/bin/python-html2text", line 5, in <module>
 from pkg_resources import load_entry_point
ImportError: No module named pkg_resources
(23) Failed writing body
Traceback (most recent call last):
 File "/usr/bin/python-html2text", line 5, in <module>
 from pkg_resources import load_entry_point
ImportError: No module named pkg_resources

Solution is:

yum install python-setuptools -y

Slurm node down: Reason=Low RealMemory

Bir Cevap Yazın

Slurm ile ilgili yazdığımız bildiriye bağlantıdan ulaşabilirsiniz.

You can access our report about Slurm from the link.

Sorun node’un gerçek bellek miktarını slurm konfigürasyonuna yanlış girdiğinizden kaynaklanmaktadır. Öncelikle node’da

slurmd -C

komutu çalıştırın ve

RealMemory

‘nin karşısında çıkan bellek boyutunu kopyalayın. Daha sonra kontrol bilgisayarına giderek /etc/slurm/slurm.conf dosyasında ilgili node’un RealMemory kısmına daha önce kopyaladığınız değeri yazın. Bu konfigürasyon dosyasını tüm node’lara gönderin. Sunucu bilgisayarda

systemctl restart slurmctld.service

komutu ile slurm’ı restart edin. Node hala down olarak görünüyorsa

scontrol update NodeName=nodeismi State=Resume

komutunu çalıştırın. Sorununuz düzelmiştir.

Çırpınırdı Karadeniz

Bir Cevap Yazın

Çırpınırdın Karadeniz,
Bakıp Türk’ün bayrağına
“Ah” deyerdin, hiç ölmezdim,
Düşebilsem ayağına.

Ayrı düşmüş dost elinden,
Yıllar var ki, çarpar sinem,
Vefalıdır, geldi giden,
Yol ver Türk’ün bayrağına.

İnciler dök gel yoluna,
Sırmalar düz sağ, soluna
Fırtınalar dursun yana
Selam Türk’ün bayrağına.                                                       

Hamidiye o Türk kanı
Hiç birinin bitmez şanı
Kazbek olsun ilk kurbanı,
Selam Türk’ün bayrağına.

Dost elinden esen yeller,
Bana şiir, selam söyler
Olsun bizim bütün eller,
Kurban Türk’ün bayrağına

15 Aralık 1914, Gence/Azerbaycan
AHMET CEVAD

Yararlanılan Kaynak: http://www.altayli.net/ahmed-cevadin-hikayesi.html

TRUBA (Türk Ulusal e-Bilim e-Altyapısı)

Bir Cevap Yazın

TRUBA (Türk Ulusal e-Bilim e-Altyapısı), TÜBİTAK ULAKBİM bünyesinde bulunan Yüksek Başarımlı ve Grid Hesaplama Merkezi’dir. 2011 yılından önce TR-Grid, sonrasında ise TRUBA ismiyle ülkemizdeki araştırmacılara hesaplama ortamı sunmak amacıyla hizmet vermektedir. Araştırmacı olarak sizler de bu ortam ve imkândan yararlanabilirsiniz. TRUBA’da küme biçiminde de iş çalıştırılabilmektedir. TRUBA altyapıda SLURM kuyruk yöneticisini kullanmaktadır. Kuyruğa nasıl iş gönderileceğini öğrenmek ya da TRUBA’nın kullanımı hakkında detaylı bilgi edinmek için http://wiki.truba.gov.tr bağlantısını kullanabilirsiniz.

TRUBA’yı Kullanmak İçin Yapmanız Gerekenler

  1. Öncelikle http://www.truba.gov.tr/uyelik/uyelik.php bağlantısı üzerinden sisteme kayıt olmanız gerekmektedir. İlgili web sayfasında sizden çalıştığınız kurum ve kullanmak istediğiniz çalışma ortamı (kullanmak istediğiniz yazılımlar) hakkında bilgiler istenilmektedir. Bilgileri doldurup sisteme kayıt olduğunuzda talebiniz ilgili birime incelenmek üzere gönderilecektir.
  2. Talebiniz uygun görüldüğü takdirde kayıt olurken bildirmiş olduğunuz e-posta adresi vasıtasıyla sizden nüfus cüzdanı ya da sürücü belgenizin ve çalıştığınız kuruma ait kimlik belgenizin bir kopyasını grid-teknik@ulakbim.gov.tr e-posta adresine iletmeniz istenmektedir. Bu adımı da gerçekleştirdikten sonra kullanıcı hesabınız açılacak ve sunucu erişim bilgileriniz kayıtlı e-posta adresinize gönderilecektir.
  3. TRUBA hesabınız açıldı. TRUBA’ya bağlanmak için iki yol var. Birincisi TRUBA’ya bağlanmak için statik bir IP’yi TÜBİTAK’a iletmek. Bu bilginin size gelen e-postada da yazıyor olması gerekir. Kurumunuzun size sağladığı statik IP’yi E-posta içerisindeki bağlantıya tıklayarak TÜBİTAK ULAKBİM’e iletiyorsunuz, onlar da gerekli izini veriyor. Bundan sonrası normal ssh bağlantısı şeklinde.
  4. Statik IP verme imkânınız yoksa TRUBA’ya bağlanmak için ikinci yol VPN (Sanal Özel Ağ) kullanarak bağlanmaktır. OpenVPN programı kullanarak bu ağa bağlanabilirsiniz. OpenVPN kullanmak için TRUBA CA tarafından onaylanmış kullanıcı sertifikasına sahip olmanız gerekmektedir. Sertifikayı oluşturabilmeniz için sunucu erişim bilgilerinizin gönderildiği e-postadaki talimatları izlemelisiniz. Sertifikayı oluştururken Web Tarayıcı olarak Mozilla Firefox kullanmanız ortaya çıkabilecek hataların en aza indirgenmesini sağlayacaktır. Talimatları izleyerek sertifika başvurusunu gönderdikten sonra sertifikanız size yine e-posta aracılığıyla ile gönderilecektir. Sertifikayı bilgisayarınıza indirdikten sonra http://wiki.truba.gov.tr/index.php/OpenVPN_Baglantısı bağlantısından işletim sisteminize uygun olan talimatları uygulayarak OpenVPN programını kurmalısınız. Ardından sisteme bağlanabilirsiniz.

TRUBA altyapısı kullanılarak gerçekleştirilen çalışmaların sonucunda ortaya çıkmış olan yayınlarda TRUBA altyapısının katkısı belirtilmelidir.

Linux/Centos LVM partition’ı bölerek iki partition yapma

Bir Cevap Yazın

Centos’ta lvm home partition’ın bir kısmını alarak başka bir partition oluşturmak istiyorum. Öncelikle

umount /home

komutuyla partition unmount ediyoruz.

lvdisplay

komutuyla logical volume’leri sıralıyoruz ve /home partition’ının LV path’ine bakıyoruz. Bu partition’ı

lvremove /dev/cl/home

komutu ile siliyoruz.

Eğer bu noktada Logical volume cl/home in use şeklinde bir hata alırsanız bilgisayarınızı yeniden başlattıktan sonra aynı işlemi tekrarlayın. Daha sonra

vgs

komutu ile sildiğimiz partition boş alan olarak görünüyor mu ona bakıyoruz. Aşağıdaki komutlarla iki yeni lvm partition oluşturuyorum ve lsblk komutu ile isimlerine bakarak bu partition’ları yeniden isimlendiriyorum.

lvcreate -L 450GB cl
lsblk
lvrename /dev/cl/lvol0 /dev/cl/mds
lvcreate -L 426GB cl
lvrename /dev/cl/lvol0 /dev/cl/home

Daha sonra bu oluşturulan partitionları istediğim dosya formatında formatlıyorum (ben ext4 olarak seçtim).

mkfs.ext4 /dev/mapper/cl-home /home/
mkfs.ext4 /dev/mapper/cl-mds /mds/

Daha sonra yeni oluşturduğum bu partitionları mount ediyorum.

mount /dev/cl/mds /mds
mount /dev/cl/home /home

Daha sonra bilgisayar her başladığında bu partitionlar mount edilsin diye /etc/fstab dosyasına aşağıdaki satırları ekliyorum. Bilgisayarı yeniden başlatıp df -h komutuyla yeni partitionların mount edilip edilmediğine bakıyorum. Sorun yok.

/dev/mapper/cl-home /home ext4 defaults 0 0
/dev/mapper/cl-mds /mds ext4 defaults 0 0

NOT:

Partition’ı dosya formatı vererek formatlamaz iseniz aşağıdaki hatayı alırsınız.

mount: /dev/mapper/cl-home is write-protected, mounting read-only
mount: unknown filesystem type '(null)'

Ben bunu yukarıda

mkfs.ext4 /dev/mapper/cl-home /home/

komutuyla hallettim.