staudtyves/infrastruktur-dok
1
0
Fork 0
forked from CDS/infrastruktur-dok
Code Pull Requests Activity

Workstations-Getting-Started.md aktualisiert

Browse Source 
Updated Slurm Commands
This commit is contained in:
Curdin Marxer 2025-12-08 11:18:09 +01:00
parent b338253df0
commit bc67124632
1 changed files with 14 additions and 6 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

20
Workstations-Getting-Started.md
View File

@ -96,12 +96,20 @@ Für *sbatch* muss ein Shellskript geschrieben werden das einerseits einen Absch
#SBATCH --cpus-per-task=16 ## Die Anzahl virtueller Cores, die für den Job reserviert werden
#SBATCH --gpus=a100:2 ## Die Anzahl GPUs (in diesem Beispiel zwei GPUs, mit der Syntax :2)
### Ausführen des effektiven Befehls in der Shell. Bei einer Machine Learning Aufgabe würde hier typischerweise ein Python Skript aufgerufen werden
```
Dieses Bash-File (.sh) können wir mit einem beliebigen Namen speichern, wie bspw. "test.sh". Mit dem folgenden Befehl können wir das Shell-Script Slurm übergeben:
```
sbatch test.sh
```
#### Alternative Slurm Aufrufe:
Einfaches Ausführen eines Bash-Befehls mit Slurm in der Shell (ohne sbatch):
```
srun factor 1234567890123456789012345678901234567890
### Ein etwas anspruchsvolleres Python Script mit dem Namen 'my-script.py' das eine bestehende Conda Umgebung mit dem Namen 'tf' benötigt würde so aussehen
## srun conda run -n tf python3 ml.py
```
Ein etwas anspruchsvolleres Python Script für bspw. Machine Learning oder Deeplearning mit dem Namen 'my-script.py', welches eine bestehende Conda Umgebung mit dem Namen 'tf' nutzt sieht so aus:
```
srun -p students --mem=80G cpus-per-task=4 --gpus=a100:1 conda run -n tf python3 ml.py
```
Ob das Skript nun aktiv ist (oder einfach nur hängt ohne etwas zu machen) ist nicht immer ganz eindeutig festzustellen. Jedoch sieht man mit den Befehlen ```top``` oder ```sudo nvtop``` ob das gestartete Skript CPU oder GPU Resourcen verwendet. Weiter kann in den Logfiles die im sbatch Skript angegeben wurden nachgeschaut werden ob es Fehler bei der Skriptausführung gegeben hat. Zum Beispiel für den Job 101 mit dem Befehl `cat slurm-101*`.
@ -109,7 +117,7 @@ Ob das Skript nun aktiv ist (oder einfach nur hängt ohne etwas zu machen) ist n
Es ist auch möglich eine interaktive Slurm Session zu nutzen. Dazu kann zum Beispiel der folgende Befehl am Workstation Prompt eingegeben werden:
```
salloc -p students --time=00:01:00
salloc -p students --time=00:01:00 --mem=10G --cpus-per-task=2
```
Danach können wir unsere Befehle interaktiv in der Konsole aufrufen.