Yazar arşivleri: Nuh Azgınoğlu

Linux: Useful Commands (kullanışlı-faydalı komutlar)

Check if hyper-threading is enabled (Hyper threading aktif mi kontrolü);

lscpu
check Thread(s) per core

Delete all files except specific file extension (belirli bir uzantıya sahip dosyalar haricindeki tüm dosyaların silinmesi);

find . -type f ! -name '*.txt' -delete

Remove all files which has specific extension (belirli bir uzantıya sahip tüm dosyaların silinmesi);

find . -name "*.txt" -print0 | xargs -0 rm

Remove except some files (bazı dosyalar haricinden hepsini silme)

rm */!(align_*)  #dizin ve alt klasörlerdeki align ile başlayan dosyalar hariç tüm dosyaları siler

Delete all empty folders repititive (bir dizin içerisindeki bütün alt boş klasörlerin silinmesi).

find . -type d -empty -exec rmdir "{}" \;

Delete repetitive lines in a file and save as different file (bir dosyadaki tekrarlayan satırların silinip yalın bir şekilde başka bir dosyaya kaydedilmesi);

cat filename.txt | sort | uniq > new_file.txt

Find a file in subfolders (bir dosyayı tüm alt klasörlerde arama);

find ./ -name "filename*"

Get my public ip from commandline (public ip adresinin komut satırıyla bulunması);

curl ipinfo.io/ip

Run command with parameter on terminal (terminalden parametre ile komut çalıştırma);

parameter='ls'
$parameter | wc -l

List empty folders (Boş klasörleri listeleme)

find . -type d -empty

Count of just all files in directory (bir dizindeki alt dizinler dahil bütün dosyaların toplam sayısı)

find * -type f | wc -l

Find unique, distinct lines in text file (text dosyası içerisindeki unique satırları bulma)

sort file_name.txt | uniq > new_text.txt

LINUX: Dropbox Command Line Interface (CLI) Installation

Installation and Using:

mkdir -p ~/bin
wget -O ~/bin/dropbox.py "https://www.dropbox.com/download?dl=packages/dropbox.py"
chmod +x ~/bin/dropbox.py

Using:

 
 ~/bin/dropbox.py help

Source: http://www.dropboxwiki.com/tips-and-tricks/using-the-official-dropbox-command-line-interface-cli

Slurm Faydalı Komutlar – Örnekler

Slurm ile ilgili yazdığımız bildiriye bağlantıdan ulaşabilirsiniz.

You can access our report about Slurm from the link


Bir kullanıcıya ait tüm işleri sonlandırma:

scancel -u username

Bir işi spesifik bir node’da çalıştırma:

sbatch --nodelist nodename scriptname

Belli bir node’u drain durumuna alarak sonraki işlerin ona verilmemesini sağlamak.

scontrol update nodename=nodeismi state=drain reason="sebebi"

Sunucuda node bilgilerini görme (node ismi belirtilmezse tüm node’ları gösterir);

scontrol show nodes nodeismi

Node’u resume moduyla tekrar aktif etme;

scontrol update nodename=nodeismi state=resume

Client’larda node bilgilerini görme;

slurmd -C

Çalışmayan node’lar ve çalışmama sebeplerini görme;

sinfo -R

Çalışan ve çalışmayan tüm node’ları gruplayarak listeleme;

sinfo -l

Sunucuda slurm servisini restart etme (çalışan işlere zarar vermez);

systemctl restart slurmctld.service

Kuyruktaki bir iş hakkında bilgi edinme;

scontrol show job job_id

Çalışan, bekleyen ve yeni bitmiş işler hakkında bilgi edinme

sacct 
sacct -u username | grep COMPLETED

Bir işi gönderirken bazı node’lara işin gönderilmesini önleme (yavaş çalışan bir node vardır işin bu node’a gitmesini istemiyorsunuzdur).takipçi satın al

sbatch --exclusive=nodeismi scriptname

Kuyrukta PENDING olarak bekleyen işin tahmini başlama süresini görüntüleme

squeue --start

Kuyruktaki bütün işlerin JOBID’ye göre sıralanmış hali.

squeue --sort=i 
veya
squeue -S i

ImportError: No module named pkg_resources

Error is:

Traceback (most recent call last):
 File "/usr/bin/python-html2text", line 5, in <module>
 from pkg_resources import load_entry_point
ImportError: No module named pkg_resources
(23) Failed writing body
Traceback (most recent call last):
 File "/usr/bin/python-html2text", line 5, in <module>
 from pkg_resources import load_entry_point
ImportError: No module named pkg_resources

Solution is:

yum install python-setuptools -y