staudtyves/infrastruktur-dok
1
0
Fork 0
forked from CDS/infrastruktur-dok
Code Pull Requests Activity

Update Cluster-PySpark-Howto.md

Browse Source
This commit is contained in:
Thomas Keller 2024-03-08 11:37:50 +01:00
parent a7b0e2cb78
commit 9e8f88c8cc
1 changed files with 2 additions and 2 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
Cluster-PySpark-Howto.md
View File

@ -140,11 +140,11 @@ export JAVA_HOME="$HOME/miniconda3/envs/spark/bin"
export SPARK_HOME="$HOME/spark/spark-3.4.1-bin-hadoop3" export SPARK_HOME="$HOME/spark/spark-3.4.1-bin-hadoop3"
export SPARK_CONF_DIR="/tmp/$USER/spark/spark-test/*/spark/conf" export SPARK_CONF_DIR="/tmp/$USER/spark/spark-test/*/spark/conf"
``` ```
Danach die spark Environment starten Danach überprüfen ob die Spark Conda Environment bereits gestartet ist, ansonsten mit dem Befehl
``` ```
conda activate spark conda activate spark
``` ```
Danach kann ein beliebiger PySpark Befehl ausgeführt werden. Zum Beispiel eine Sparkshell: aktivieren. Danach kann ein beliebiger PySpark Befehl ausgeführt werden. Zum Beispiel eine Sparkshell:
``` ```
$SPARK_HOME/bin/pyspark $SPARK_HOME/bin/pyspark