Aylık arşivler: Ocak 2017

Linux: Useful Commands (kullanışlı-faydalı komutlar)

Check if hyper-threading is enabled (Hyper threading aktif mi kontrolü);

lscpu
check Thread(s) per core

Delete all files except specific file extension (belirli bir uzantıya sahip dosyalar haricindeki tüm dosyaların silinmesi);

find . -type f ! -name '*.txt' -delete

Remove all files which has specific extension (belirli bir uzantıya sahip tüm dosyaların silinmesi);

find . -name "*.txt" -print0 | xargs -0 rm

Remove except some files (bazı dosyalar haricinden hepsini silme)

rm */!(align_*)  #dizin ve alt klasörlerdeki align ile başlayan dosyalar hariç tüm dosyaları siler

Delete all empty folders repititive (bir dizin içerisindeki bütün alt boş klasörlerin silinmesi).

find . -type d -empty -exec rmdir "{}" \;

Delete repetitive lines in a file and save as different file (bir dosyadaki tekrarlayan satırların silinip yalın bir şekilde başka bir dosyaya kaydedilmesi);

cat filename.txt | sort | uniq > new_file.txt

Find a file in subfolders (bir dosyayı tüm alt klasörlerde arama);

find ./ -name "filename*"

Get my public ip from commandline (public ip adresinin komut satırıyla bulunması);

curl ipinfo.io/ip

Run command with parameter on terminal (terminalden parametre ile komut çalıştırma);

parameter='ls'
$parameter | wc -l

List empty folders (Boş klasörleri listeleme)

find . -type d -empty

Count of just all files in directory (bir dizindeki alt dizinler dahil bütün dosyaların toplam sayısı)

find * -type f | wc -l

Find unique, distinct lines in text file (text dosyası içerisindeki unique satırları bulma)

sort file_name.txt | uniq > new_text.txt

LINUX: Dropbox Command Line Interface (CLI) Installation

Installation and Using:

mkdir -p ~/bin
wget -O ~/bin/dropbox.py "https://www.dropbox.com/download?dl=packages/dropbox.py"
chmod +x ~/bin/dropbox.py

Using:

 
 ~/bin/dropbox.py help

Source: http://www.dropboxwiki.com/tips-and-tricks/using-the-official-dropbox-command-line-interface-cli

Slurm Faydalı Komutlar – Örnekler

Slurm ile ilgili yazdığımız bildiriye bağlantıdan ulaşabilirsiniz.

You can access our report about Slurm from the link


Bir kullanıcıya ait tüm işleri sonlandırma:

scancel -u username

Bir işi spesifik bir node’da çalıştırma:

sbatch --nodelist nodename scriptname

Belli bir node’u drain durumuna alarak sonraki işlerin ona verilmemesini sağlamak.

scontrol update nodename=nodeismi state=drain reason="sebebi"

Sunucuda node bilgilerini görme (node ismi belirtilmezse tüm node’ları gösterir);

scontrol show nodes nodeismi

Node’u resume moduyla tekrar aktif etme;

scontrol update nodename=nodeismi state=resume

Client’larda node bilgilerini görme;

slurmd -C

Çalışmayan node’lar ve çalışmama sebeplerini görme;

sinfo -R

Çalışan ve çalışmayan tüm node’ları gruplayarak listeleme;

sinfo -l

Sunucuda slurm servisini restart etme (çalışan işlere zarar vermez);

systemctl restart slurmctld.service

Kuyruktaki bir iş hakkında bilgi edinme;

scontrol show job job_id

Çalışan, bekleyen ve yeni bitmiş işler hakkında bilgi edinme

sacct 
sacct -u username | grep COMPLETED

Bir işi gönderirken bazı node’lara işin gönderilmesini önleme (yavaş çalışan bir node vardır işin bu node’a gitmesini istemiyorsunuzdur).takipçi satın al

sbatch --exclusive=nodeismi scriptname

Kuyrukta PENDING olarak bekleyen işin tahmini başlama süresini görüntüleme

squeue --start

Kuyruktaki bütün işlerin JOBID’ye göre sıralanmış hali.

squeue --sort=i 
veya
squeue -S i

ImportError: No module named pkg_resources

Error is:

Traceback (most recent call last):
 File "/usr/bin/python-html2text", line 5, in <module>
 from pkg_resources import load_entry_point
ImportError: No module named pkg_resources
(23) Failed writing body
Traceback (most recent call last):
 File "/usr/bin/python-html2text", line 5, in <module>
 from pkg_resources import load_entry_point
ImportError: No module named pkg_resources

Solution is:

yum install python-setuptools -y

Slurm node down: Reason=Low RealMemory

Slurm ile ilgili yazdığımız bildiriye bağlantıdan ulaşabilirsiniz.

You can access our report about Slurm from the link.


Sorun node’un gerçek bellek miktarını slurm konfigürasyonuna yanlış girdiğinizden kaynaklanmaktadır. Öncelikle node’da

slurmd -C

komutu çalıştırın ve

RealMemory

‘nin karşısında çıkan bellek boyutunu kopyalayın. Daha sonra kontrol bilgisayarına giderek /etc/slurm/slurm.conf dosyasında ilgili node’un RealMemory kısmına daha önce kopyaladığınız değeri yazın. Bu konfigürasyon dosyasını tüm node’lara gönderin. Sunucu bilgisayarda

systemctl restart slurmctld.service

komutu ile slurm’ı restart edin. Node hala down olarak görünüyorsa

scontrol update NodeName=nodeismi State=Resume

komutunu çalıştırın. Sorununuz düzelmiştir.