Slurm Faydalı Komutlar

Bir kullanıcıya ait tüm işleri sonlandırma:

scancel -u username

Bir işi spesifik bir node’da çalıştırma:

sbatch --nodelist nodename scriptname

Can’t locate Data/Dumper.pm in @INC

Solution:

yum install 'perl(Data::Dumper)'

ImportError: No module named pkg_resources

Error is:

Traceback (most recent call last):
 File "/usr/bin/python-html2text", line 5, in <module>
 from pkg_resources import load_entry_point
ImportError: No module named pkg_resources
(23) Failed writing body
Traceback (most recent call last):
 File "/usr/bin/python-html2text", line 5, in <module>
 from pkg_resources import load_entry_point
ImportError: No module named pkg_resources

Solution is:

yum install python-setuptools -y

Fix Ubuntu: usb Read-only file system Error

sudo mount -o remount,rw '/media/blabla'

Slurm node down: Reason=Low RealMemory

Sorun node’un gerçek bellek miktarını slurm konfigürasyonuna yanlış girdiğinizden kaynaklanmaktadır. Öncelikle node’da

slurmd -C

komutu çalıştırın ve

RealMemory

‘nin karşısında çıkan bellek boyutunu kopyalayın. Daha sonra kontrol bilgisayarına giderek /etc/slurm/slurm.conf dosyasında ilgili node’un RealMemory kısmına daha önce kopyaladığınız değeri yazın. Bu konfigürasyon dosyasını tüm node’lara gönderin. Sunucu bilgisayarda

systemctl restart slurmctld.service

komutu ile slurm’ı restart edin. Node hala down olarak görünüyorsa

scontrol update NodeName=nodeismi State=Resume

komutunu çalıştırın. Sorununuz düzelmiştir.

Çırpınırdı Karadeniz

Çırpınırdın Karadeniz,
Bakıp Türk’ün bayrağına
“Ah” deyerdin, hiç ölmezdim,
Düşebilsem ayağına.

Ayrı düşmüş dost elinden,
Yıllar var ki, çarpar sinem,
Vefalıdır, geldi giden,
Yol ver Türk’ün bayrağına.

İnciler dök gel yoluna,
Sırmalar düz sağ, soluna
Fırtınalar dursun yana
Selam Türk’ün bayrağına.                                                       

Hamidiye o Türk kanı
Hiç birinin bitmez şanı
Kazbek olsun ilk kurbanı,
Selam Türk’ün bayrağına.

Dost elinden esen yeller,
Bana şiir, selam söyler
Olsun bizim bütün eller,
Kurban Türk’ün bayrağına

15 Aralık 1914, Gence/Azerbaycan
AHMET CEVAD

Yararlanılan Kaynak: http://www.altayli.net/ahmed-cevadin-hikayesi.html

TRUBA (Türk Ulusal e-Bilim e-Altyapısı)

TRUBA (Türk Ulusal e-Bilim e-Altyapısı), TÜBİTAK ULAKBİM bünyesinde bulunan Yüksek Başarımlı ve Grid Hesaplama Merkezi’dir. 2011 yılından önce TR-Grid, sonrasında ise TRUBA ismiyle ülkemizdeki araştırmacılara hesaplama ortamı sunmak amacıyla hizmet vermektedir. Araştırmacı olarak sizler de bu ortam ve imkândan yararlanabilirsiniz. TRUBA’da küme biçiminde de iş çalıştırılabilmektedir. TRUBA altyapıda SLURM kuyruk yöneticisini kullanmaktadır. Kuyruğa nasıl iş gönderileceğini öğrenmek ya da TRUBA’nın kullanımı hakkında detaylı bilgi edinmek için http://wiki.truba.gov.tr bağlantısını kullanabilirsiniz.

TRUBA’yı Kullanmak İçin Yapmanız Gerekenler

  1. Öncelikle http://www.truba.gov.tr/uyelik/uyelik.php bağlantısı üzerinden sisteme kayıt olmanız gerekmektedir. İlgili web sayfasında sizden çalıştığınız kurum ve kullanmak istediğiniz çalışma ortamı (kullanmak istediğiniz yazılımlar) hakkında bilgiler istenilmektedir. Bilgileri doldurup sisteme kayıt olduğunuzda talebiniz ilgili birime incelenmek üzere gönderilecektir.
  2. Talebiniz uygun görüldüğü takdirde kayıt olurken bildirmiş olduğunuz e-posta adresi vasıtasıyla sizden nüfus cüzdanı ya da sürücü belgenizin ve çalıştığınız kuruma ait kimlik belgenizin bir kopyasını grid-teknik@ulakbim.gov.tr e-posta adresine iletmeniz istenmektedir. Bu adımı da gerçekleştirdikten sonra kullanıcı hesabınız açılacak ve sunucu erişim bilgileriniz kayıtlı e-posta adresinize gönderilecektir.
  3. TRUBA hesabınız açıldı. TRUBA’ya bağlanmak için iki yol var. Birincisi TRUBA’ya bağlanmak için statik bir IP’yi TÜBİTAK’a iletmek. Bu bilginin size gelen e-postada da yazıyor olması gerekir. Kurumunuzun size sağladığı statik IP’yi E-posta içerisindeki bağlantıya tıklayarak TÜBİTAK ULAKBİM’e iletiyorsunuz, onlar da gerekli izini veriyor. Bundan sonrası normal ssh bağlantısı şeklinde.
  4. Statik IP verme imkânınız yoksa TRUBA’ya bağlanmak için ikinci yol VPN (Sanal Özel Ağ) kullanarak bağlanmaktır. OpenVPN programı kullanarak bu ağa bağlanabilirsiniz. OpenVPN kullanmak için TRUBA CA tarafından onaylanmış kullanıcı sertifikasına sahip olmanız gerekmektedir. Sertifikayı oluşturabilmeniz için sunucu erişim bilgilerinizin gönderildiği e-postadaki talimatları izlemelisiniz. Sertifikayı oluştururken Web Tarayıcı olarak Mozilla Firefox kullanmanız ortaya çıkabilecek hataların en aza indirgenmesini sağlayacaktır. Talimatları izleyerek sertifika başvurusunu gönderdikten sonra sertifikanız size yine e-posta aracılığıyla ile gönderilecektir. Sertifikayı bilgisayarınıza indirdikten sonra http://wiki.truba.gov.tr/index.php/OpenVPN_Baglantısı bağlantısından işletim sisteminize uygun olan talimatları uygulayarak OpenVPN programını kurmalısınız. Ardından sisteme bağlanabilirsiniz.

TRUBA altyapısı kullanılarak gerçekleştirilen çalışmaların sonucunda ortaya çıkmış olan yayınlarda TRUBA altyapısının katkısı belirtilmelidir.

Linux/Centos LVM partition’ı bölerek iki partition yapma

Centos’ta lvm home partition’ın bir kısmını alarak başka bir partition oluşturmak istiyorum. Öncelikle

umount /home

komutuyla partition unmount ediyoruz.

lvdisplay

komutuyla logical volume’leri sıralıyoruz ve /home partition’ının LV path’ine bakıyoruz. Bu partition’ı

lvremove /dev/cl/home

komutu ile siliyoruz.

Eğer bu noktada Logical volume cl/home in use şeklinde bir hata alırsanız bilgisayarınızı yeniden başlattıktan sonra aynı işlemi tekrarlayın. Daha sonra

vgs

komutu ile sildiğimiz partition boş alan olarak görünüyor mu ona bakıyoruz. Aşağıdaki komutlarla iki yeni lvm partition oluşturuyorum ve lsblk komutu ile isimlerine bakarak bu partition’ları yeniden isimlendiriyorum.

lvcreate -L 450GB cl
lsblk
lvrename /dev/cl/lvol0 /dev/cl/mds
lvcreate -L 426GB cl
lvrename /dev/cl/lvol0 /dev/cl/home

Daha sonra bu oluşturulan partitionları istediğim dosya formatında formatlıyorum (ben ext4 olarak seçtim).

mkfs.ext4 /dev/mapper/cl-home /home/
mkfs.ext4 /dev/mapper/cl-mds /mds/

Daha sonra yeni oluşturduğum bu partitionları mount ediyorum.

mount /dev/cl/mds /mds
mount /dev/cl/home /home

Daha sonra bilgisayar her başladığında bu partitionlar mount edilsin diye /etc/fstab dosyasına aşağıdaki satırları ekliyorum. Bilgisayarı yeniden başlatıp df -h komutuyla yeni partitionların mount edilip edilmediğine bakıyorum. Sorun yok.

/dev/mapper/cl-home /home ext4 defaults 0 0
/dev/mapper/cl-mds /mds ext4 defaults 0 0

NOT:

Partition’ı dosya formatı vererek formatlamaz iseniz aşağıdaki hatayı alırsınız.

mount: /dev/mapper/cl-home is write-protected, mounting read-only
mount: unknown filesystem type '(null)'

Ben bunu yukarıda

mkfs.ext4 /dev/mapper/cl-home /home/

komutuyla hallettim.