From 43412286fa6a4a0284768f1ab4bd744a082df5ec Mon Sep 17 00:00:00 2001 From: Thomas Keller Date: Thu, 7 Mar 2024 14:07:21 +0100 Subject: [PATCH] Update Cluster-PySpark-Howto.md --- Cluster-PySpark-Howto.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/Cluster-PySpark-Howto.md b/Cluster-PySpark-Howto.md index dd2f5e0..aa9135a 100644 --- a/Cluster-PySpark-Howto.md +++ b/Cluster-PySpark-Howto.md @@ -34,12 +34,12 @@ PRESET_LAUNCH_SCRIPT_CONFIGS="Y" LOCAL_DIR_PATH="/tmp/$USER" NETWORKFS_DIR_PATH="/scratch/$USER" ``` -Danach das Skript mit dem Befehl `./magpie-download-and-setup.sh` ausführen. Während des eher gemächlichen Downloads von Spark kann die Zeit genutzt werden, um herauszufinden welche Version von Python und Java die verwendete Spark Version (in unserem Fall 3.3.2) voraussetzt. +Danach das Skript mit dem Befehl `./magpie-download-and-setup.sh` ausführen. Während des eher gemächlichen Downloads von Spark kann die Zeit genutzt werden, um herauszufinden welche Version von Python und Java die verwendete Spark Version (in unserem Fall 3.5.0) voraussetzt. Während des Downloads wird die Sparkversion angezeigt. -Diese Informationen können wir am Zuverlässigsten von der offiziellen Spark Webseite entnehmen. Im Falle von Spark 3.3.2 ist diese Information unter https://spark.apache.org/docs/3.3.2/ zu finden. Daher können wir folgende Prerequisits notieren: +Diese Informationen können wir am Zuverlässigsten aus der offiziellen Spark Webseite entnehmen. Im Falle von Spark 3.5.0 ist diese Information unter https://spark.apache.org/docs/3.5.0/ zu finden. Daher können wir folgende Prerequisits notieren: * Java 17 -* Python 3.7 und neuer +* Python 3.8 und neuer Diese Softwarepakete installieren wir mit Miniconda - Lizenzvereinbarungen akzeptieren und Installationsorte übernehmen: ```