staudtyves/infrastruktur-dok
1
0
Fork 0
forked from CDS/infrastruktur-dok
Code Pull Requests Activity

Update Cluster-PySpark-Howto.md

Browse Source
This commit is contained in:
Thomas Keller 2024-03-07 14:07:21 +01:00
parent b273eca196
commit 43412286fa
1 changed files with 3 additions and 3 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

6
Cluster-PySpark-Howto.md
View File

@ -34,12 +34,12 @@ PRESET_LAUNCH_SCRIPT_CONFIGS="Y"
LOCAL_DIR_PATH="/tmp/$USER"
NETWORKFS_DIR_PATH="/scratch/$USER"
```
Danach das Skript mit dem Befehl `./magpie-download-and-setup.sh` ausführen. Während des eher gemächlichen Downloads von Spark kann die Zeit genutzt werden, um herauszufinden welche Version von Python und Java die verwendete Spark Version (in unserem Fall 3.3.2) voraussetzt.
Danach das Skript mit dem Befehl `./magpie-download-and-setup.sh` ausführen. Während des eher gemächlichen Downloads von Spark kann die Zeit genutzt werden, um herauszufinden welche Version von Python und Java die verwendete Spark Version (in unserem Fall 3.5.0) voraussetzt. Während des Downloads wird die Sparkversion angezeigt.
Diese Informationen können wir am Zuverlässigsten von der offiziellen Spark Webseite entnehmen. Im Falle von Spark 3.3.2 ist diese Information unter https://spark.apache.org/docs/3.3.2/ zu finden. Daher können wir folgende Prerequisits notieren:
Diese Informationen können wir am Zuverlässigsten aus der offiziellen Spark Webseite entnehmen. Im Falle von Spark 3.5.0 ist diese Information unter https://spark.apache.org/docs/3.5.0/ zu finden. Daher können wir folgende Prerequisits notieren:
* Java 17
* Python 3.7 und neuer
* Python 3.8 und neuer
Diese Softwarepakete installieren wir mit Miniconda - Lizenzvereinbarungen akzeptieren und Installationsorte übernehmen:
```