schmidmarco/overpass_old
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Task 6: new modul utils, document function 'store_to_disk'

Browse Source
This commit is contained in:
Marco Schmid 2026-04-21 21:04:02 +02:00
parent 4f5b5d8dd3
commit 00d8336f94
1 changed files with 45 additions and 18 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

63
main.py
View File

@ -1,4 +1,6 @@
import logging import logging
import json
from pathlib import Path
from overpass import fetch_overpass from overpass import fetch_overpass
from queries.bergbahn import BERGBAHN_QUERY from queries.bergbahn import BERGBAHN_QUERY
from queries.restaurant import RESTAURANT_QUERY from queries.restaurant import RESTAURANT_QUERY
@ -24,10 +26,31 @@ logger = logging.getLogger(__name__)
# --------------------------------------------------------------------------- # ---------------------------------------------------------------------------
BBOXEN = { BBOXEN = {
"davos": (46.72, 9.70, 46.92, 10.00), "SW": (45.8, 5.9, 46.8, 8.2),
"schweiz": (45.8, 5.9, 47.8, 10.5), "SO": (45.8, 8.2, 46.8, 10.5),
"NW": (46.8, 5.9, 47.8, 8.2),
"NO": (46.8, 8.2, 47.8, 10.5)
} }
# BBOXEN = {
# 1: (45.8, 5.9, 46.4667, 7.4333),
# 2: (45.8, 7.4333, 46.4667, 8.9667),
# 3: (45.8, 8.9667, 46.4667, 10.5),
# 4: (46.4667, 5.9, 47.1333, 7.4333),
# 5: (46.4667, 7.4333, 47.1333, 8.9667),
# 6: (46.4667, 8.9667, 47.1333, 10.5),
# 7: (47.1333, 5.9, 47.8, 7.4333),
# 8: (47.1333, 7.4333, 47.8, 8.9667),
# 9: (47.1333, 8.9667, 47.8, 10.5)
# }
# BBOXEN = {
# 1: (45.8, 5.9, 46.3, 7.05), 2: (45.8, 7.05, 46.3, 8.2), 3: (45.8, 8.2, 46.3, 9.35), 4: (45.8, 9.35, 46.3, 10.5),
# 5: (46.3, 5.9, 46.8, 7.05), 6: (46.3, 7.05, 46.8, 8.2), 7: (46.3, 8.2, 46.8, 9.35), 8: (46.3, 9.35, 46.8, 10.5),
# 9: (46.8, 5.9, 47.3, 7.05), 10: (46.8, 7.05, 47.3, 8.2), 11: (46.8, 8.2, 47.3, 9.35), 12: (46.8, 9.35, 47.3, 10.5),
# 13: (47.3, 5.9, 47.8, 7.05), 14: (47.3, 7.05, 47.8, 8.2), 15: (47.3, 8.2, 47.8, 9.35), 16: (47.3, 9.35, 47.8, 10.5)
# }
QUERY = {"bergbahn": BERGBAHN_QUERY} QUERY = {"bergbahn": BERGBAHN_QUERY}
@ -36,6 +59,8 @@ QUERY = {"bergbahn": BERGBAHN_QUERY}
# --------------------------------------------------------------------------- # ---------------------------------------------------------------------------
def main() -> None: def main() -> None:
overall = []
errors = []
query_name = list(QUERY.keys())[0] query_name = list(QUERY.keys())[0]
for name, bbox in BBOXEN.items(): for name, bbox in BBOXEN.items():
@ -43,20 +68,25 @@ def main() -> None:
try: try:
result = fetch_overpass(overpass_query=QUERY.get(query_name,""), bbox=bbox) result = fetch_overpass(overpass_query=QUERY.get(query_name,""), bbox=bbox)
except RuntimeError as e: except RuntimeError as e:
errors.append(name)
logger.error(f"API-Fehler bei '{name}': {e}") logger.error(f"API-Fehler bei '{name}': {e}")
continue continue
except requests.Timeout: except requests.Timeout:
errors.append(name)
logger.error(f"Timeout bei '{name}' — bbox zu gross oder Server überlastet") logger.error(f"Timeout bei '{name}' — bbox zu gross oder Server überlastet")
continue continue
elements = result.get("elements", []) elements = result.get("elements", [])
logger.info(f"'{name}': {len(elements)} Elemente gefunden") logger.info(f"'{name}': {len(elements)} Elemente gefunden")
overall.extend(elements)
for el in elements: logger.info(f"Total: {len(overall)} Elemente gefunden")
el_type = el.get("type", "?") if errors:
tags = el.get("tags", {}) logger.info(f"Fehler in Fragmenten: {errors}")
el_name = tags.get("name", "–")
logger.debug(f" [{el_type}] {el_name}") # Ergebnisse speichern
with Path("overpass_results.json ").open("w", encoding="utf -8") as file:
json.dump(overall, file, indent=2, ensure_ascii=False)
logger.info("Fertig.") logger.info("Fertig.")
@ -66,17 +96,14 @@ if __name__ == "__main__":
# Was ist passiert? # Was ist passiert?
# * Wir haben den Logger eingebaut und können auf verschiedenen Levels loggen # * Wir haben die Resultate als .json auf unserer Festplatte gespeichert
# * Wir haben ein neues Model 'queries' erstellt und darin die Queries für bergbahn und restaurant abgelegt. # * Wir haben die Schweiz (bbox) verschiedener Grössen aufgesplittet
# -> Prinzip der Trennung von Daten und Logik!
# TASK: # TASK:
# * bbox für Schweiz scheint zu gross und wirft einen error ... Lösungsmöglichkeiten? # * Die Speicherung der Ergebnisse liegt nun in unserer Hauptlogik -> wir lagern diese in ein neues Modul 'utils'
# -> Wir können die Schweiz (Koordinaten) in Unterregionen aufsplitten. Macht das bitte. # als eigenständige Funktion 'store_to_disk()' aus.
# -> entfernt dazu die bbox für 'davos', nehmt die 'schweiz' und splittet sie in 4, 9 oder 16 # * Dokumentiert diese Funktion (docstrings) und fügt Typehints dazu.
# Koordinaten-Tuples auf. # * Fangt in der Hauptfunktion einen OSError ab, wenn etwas beim Speichern nicht klappt
# * Speichert und loggt in welchen Koordinaten-Tuples ein Fehler auftritt (gebt am Schluss eine Zusammenfassung # * Optional könnt ihr der Funktion 'store_to_disk()' auch einen beliebigen Pfad mitgeben, wo das File gespeichert
# dieser fehlerhaften Queries aus) # werden soll (Default wäre im aktuellen Verzeichnis)
# * Baut eine neue Liste für die erfolgreichen Resultate und speichert diese Liste am Schluss als .json auf
# eurer Festplatte