adding corelation.py, corelation_old.py, README.md, hr_gramic.csv and sleep_gramic.csv

This commit is contained in:
TheOriginalGraLargeShrimpakaReaper committed 2024-10-16 20:48:05 +02:00
1 parent 8d575f2d56
commit bee98b90da
6 files changed
+218 -1

No files matched your search

+40
View File
@@ -0,0 +1,40 @@
import pandas as pd
# Lade die CSV-Dateien
# Datei 1 mit Semikolon (;) separiert (HR-Daten)
hr_data = pd.read_csv('/home/gra/PycharmProjects/cds_introduction_data_science_assignment/data/raw/hr_gramic.csv', sep=';')
# Datei 2 mit Komma (,) separiert (Schlafdaten)
sleep_data = pd.read_csv('/home/gra/PycharmProjects/cds_introduction_data_science_assignment/data/raw/sleep_gramic.csv', sep=',')
# Überprüfen der ersten Zeilen der Dateien
print("HR-Daten (vor der Berechnung des Durchschnitts):")
print(hr_data.head())
# Berechne den Durchschnitt der HR-Daten (zwischen Ruhe und Hoch)
# Erstelle eine neue Spalte 'avg_hr', die den Durchschnitt von 'Resting HR' und 'High HR' enthält
hr_data['avg_hr'] = hr_data[['In Ruhe', 'Hoch']].mean(axis=1)
# Überprüfen der ersten Zeilen nach dem Hinzufügen der 'avg_hr' Spalte
print("\nHR-Daten (nach der Berechnung des Durchschnitts):")
print(hr_data.head())
# Überprüfen der ersten Zeilen der Schlafdaten
print("\nSchlafdaten:")
print(sleep_data.head())
# Sicherstellen, dass beide Datensätze nach Woche sortiert sind
hr_data = hr_data.sort_values(by='Datum')
sleep_data = sleep_data.sort_values(by='Datum')
# Kombinieren der beiden Datensätze anhand der 'week' Spalte
combined_data = pd.merge(hr_data, sleep_data, on='Datum')
# Überprüfen der kombinierten Daten
print("\nKombinierte Daten:")
print(combined_data.head())
# Berechne die Korrelation zwischen dem durchschnittlichen Herzfrequenzwert ('avg_hr') und der Schlafdauer ('sleep_duration')
correlation = combined_data['avg_hr'].corr(combined_data['Durchschnittliche Dauer'])
print(f"\nDie Korrelation zwischen der durchschnittlichen Herzfrequenz und der Schlafdauer ist: {correlation}")
+35
View File
@@ -0,0 +1,35 @@
import pandas as pd
# Lade die CSV-Dateien
# Datei 1 mit Semikolon (;) separiert (HR-Daten)
hr_data = pd.read_csv('/home/gra/PycharmProjects/cds_introduction_data_science_assignment/data/raw/hr_gramic.csv', sep=';')
# Datei 2 mit Komma (,) separiert (Schlafdaten)
sleep_data = pd.read_csv('/home/gra/PycharmProjects/cds_introduction_data_science_assignment/data/raw/sleep_gramic.csv', sep=',')
# Überprüfen der ersten Zeilen der Dateien
print("HR-Daten:")
print(hr_data.head())
print("\nSchlafdaten:")
print(sleep_data.head())
# Annahme: Beide Datensätze enthalten eine Spalte für Wochen (z.B. 'week')
# und die jeweiligen Werte (z.B. 'avg_hr' für Herzfrequenz und 'sleep_duration' für Schlafdauer)
# Sicherstellen, dass beide Datensätze nach Woche sortiert sind
hr_data = hr_data.sort_values(by='Datum')
sleep_data = sleep_data.sort_values(by='week')
# Kombinieren der beiden Datensätze anhand der 'week' Spalte
combined_data = pd.merge(hr_data, sleep_data, on='Datum')
# Überprüfen der kombinierten Daten
print("\nKombinierte Daten:")
print(combined_data.head())
# Berechne die Korrelation zwischen der durchschnittlichen Herzfrequenz (z.B. 'avg_hr')
# und der Schlafdauer (z.B. 'sleep_duration')
correlation = combined_data['avg_hr'].corr(combined_data['Durchschnittliche Dauer'])
print(f"\nDie Korrelation zwischen der Herzfrequenz und der Schlafdauer ist: {correlation}")
+21
View File
@@ -0,0 +1,21 @@
import requests
from bs4 import BeautifulSoup
import queue
import re
import time
import random
urls = queue.PriorityQueue()
urls.put((0.5, "https://www.scrapingcourse.com/ecommerce/"))
visited_urls = []
while not urls.empty():
_, current_url = urls.get()
soup = BeautifulSoup(get_html(current_url), "html.parser")
visited_urls.append(current_url)
crawl_page(soup, current_url, visited_urls, urls)
# if it is a product page:
# scrape_page(soup, url, products)
time.sleep(random.uniform(1, 3))