staudtyves/infrastruktur-dok
1
0
Fork 0
forked from CDS/infrastruktur-dok
Code Pull Requests Activity

Update Cluster-PySpark-Howto.md

Browse Source
This commit is contained in:
Thomas Keller 2024-03-08 11:13:56 +01:00
parent 91a3278307
commit a7b0e2cb78
1 changed files with 2 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
Cluster-PySpark-Howto.md
View File

@ -71,7 +71,7 @@ cp magpie/submission-scripts/script-sbatch-srun/magpie.sbatch-srun-spark .
``` ```
Im Submission-Skript `magpie.sbatch-srun-spark` passen wir nun die folgenden Zeilen an; je nach benötigten Resourcen, können die Parameter zu den SBATCH Befehlen individuell angepasst werden. Im Submission-Skript `magpie.sbatch-srun-spark` passen wir nun die folgenden Zeilen an; je nach benötigten Resourcen, können die Parameter zu den SBATCH Befehlen individuell angepasst werden.
**Achtung: die Rautenzeichen müssen bestehen bleiben.** **Achtung: die Rautenzeichen for SBATCH müssen bestehen bleiben.**
``` ```
#SBATCH --nodes=5 #SBATCH --nodes=5
#SBATCH --time=180:00 #SBATCH --time=180:00
@ -89,7 +89,7 @@ Als nächstes können wir nun das Magpie Skript als Slurmjob an den HPC Cluster
``` ```
sinfo --all sinfo --all
``` ```
Falls genügend Nodes (in unserem Beispiel fünf) im Status 'Idle' erscheinen, können wir sofern wir uns noch im Verzeichnis "/home/-user-@edu.local/spark" befinden, den Slurmjob mit dem Befehl Falls genügend Nodes (in unserem Beispiel fünf) im Status 'Idle' erscheinen, können wir sofern wir uns noch im Verzeichnis "$HOME/spark" befinden, den Slurmjob mit dem Befehl
``` ```
sbatch -k magpie.sbatch-srun-spark sbatch -k magpie.sbatch-srun-spark