Compare commits
No commits in common. "main" and "Task_4" have entirely different histories.
13
TASK.md
13
TASK.md
@ -1,9 +1,8 @@
|
|||||||
# TASK 6:
|
# TASK 4:
|
||||||
|
|
||||||
* bbox für Schweiz scheint zu gross und wirft einen error ... Lösungsmöglichkeiten?
|
Wir arbeiten nun intern direkt mit den Daten von Overpass. Macht das Sinn? Warum vielleicht nicht?
|
||||||
-> Wir können die Schweiz (Koordinaten) in Unterregionen aufsplitten. Macht das bitte.
|
|
||||||
-> entfernt dazu die bbox für 'davos', nehmt die 'schweiz' und splittet sie in 4, 9 oder 16 Koordinaten-Tuples auf.
|
|
||||||
|
|
||||||
* Speichert und loggt in welchen Koordinaten-Tuples ein Fehler auftritt (gebt am Schluss eine Zusammenfassung
|
* Versucht einen Adapter zu bauen, wir wollen intern mit einer eigenen Dataclass `POI` arbeiten. Wir bauen also dazu eine
|
||||||
dieser fehlerhaften Queries aus)
|
Funktion `load_pois`, welche einerseits die Daten fetched und andererseits auch parsed. Den Fetching-Teil haben wir
|
||||||
* Bildet ein neues Modul `storage.py` und baut den Code, welcher zum Speichern der POIS als .json auf der Festplatte nötig ist.
|
bereits (`fetch_overpass`), den Pasing-Teil haben wir noch nicht.
|
||||||
|
Schreibt bitte eine eigene Dataclass`Poi` in welche die gefetchten Daten 'abgefüllt' werden können.
|
||||||
Binary file not shown.
Binary file not shown.
48
main.py
48
main.py
@ -1,23 +1,4 @@
|
|||||||
from overpass import load_pois, OverpassApiError
|
from overpass import fetch_overpass, OverpassApiError
|
||||||
from models import POI
|
|
||||||
import logging
|
|
||||||
from queries.bergbahn import BERGBAHN_QUERY
|
|
||||||
from queries.restaurant import RESTAURANT_QUERY
|
|
||||||
|
|
||||||
# ---------------------------------------------------------------------------
|
|
||||||
# Logging konfigurieren
|
|
||||||
# ---------------------------------------------------------------------------
|
|
||||||
|
|
||||||
# Erinnerung: Log-Levels -> DEBUG, INFO, WARNING, ERROR, CRITICAL
|
|
||||||
|
|
||||||
logging.basicConfig(
|
|
||||||
level=logging.INFO,
|
|
||||||
format="%(asctime)s [%(levelname)s] %(message)s",
|
|
||||||
datefmt="%H:%M:%S",
|
|
||||||
)
|
|
||||||
logger = logging.getLogger(__name__)
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
# ---------------------------------------------------------------------------
|
# ---------------------------------------------------------------------------
|
||||||
# Konfiguration
|
# Konfiguration
|
||||||
@ -28,29 +9,32 @@ BBOXEN = {
|
|||||||
"schweiz": (45.8, 5.9, 47.8, 10.5),
|
"schweiz": (45.8, 5.9, 47.8, 10.5),
|
||||||
}
|
}
|
||||||
|
|
||||||
QUERY = {"bergbahn": BERGBAHN_QUERY}
|
QUERY = """
|
||||||
|
[out:json][timeout:2][maxsize:500000];
|
||||||
|
(
|
||||||
|
node["aerialway"="station"]({bbox});
|
||||||
|
way["aerialway"="station"]({bbox});
|
||||||
|
node["railway"="funicular"]({bbox});
|
||||||
|
way["railway"="funicular"]({bbox});
|
||||||
|
node["railway"="station"]["funicular"="yes"]({bbox});
|
||||||
|
);
|
||||||
|
out center body;
|
||||||
|
"""
|
||||||
|
|
||||||
|
|
||||||
# ---------------------------------------------------------------------------
|
# ---------------------------------------------------------------------------
|
||||||
# Hauptlogik
|
# Hauptlogik
|
||||||
# ---------------------------------------------------------------------------
|
# ---------------------------------------------------------------------------
|
||||||
def main() -> None:
|
def main() -> None:
|
||||||
|
|
||||||
query_name = list(QUERY.keys())[0]
|
|
||||||
|
|
||||||
for name, bbox in BBOXEN.items():
|
for name, bbox in BBOXEN.items():
|
||||||
logger.info(f"Starte Abfrage für Query: {query_name}, '{name}' mit bbox={bbox}")
|
|
||||||
try:
|
try:
|
||||||
pois: list[POI] = load_pois(overpass_query=QUERY.get(query_name,""), bbox=bbox)
|
result = fetch_overpass(overpass_query=QUERY, bbox=bbox)
|
||||||
except OverpassApiError as exc:
|
except OverpassApiError as exc:
|
||||||
logger.error(f"Fehler bei '{name}': {exc}")
|
print(f" Fehler : {exc}")
|
||||||
continue
|
continue
|
||||||
|
|
||||||
logger.info(f"\n{name}: {len(pois)} POIs gefunden")
|
elements = result.get("elements", [])
|
||||||
for poi in pois:
|
print(elements)
|
||||||
logger.info(f" {poi.id}: ({poi.lat}, {poi.lon})")
|
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
main()
|
main()
|
||||||
15
models.py
15
models.py
@ -1,15 +0,0 @@
|
|||||||
from dataclasses import dataclass, field
|
|
||||||
|
|
||||||
@dataclass
|
|
||||||
class POI:
|
|
||||||
id: str
|
|
||||||
type: str
|
|
||||||
lat: float
|
|
||||||
lon: float
|
|
||||||
tags: dict = field(default_factory=dict) # weil mutable defaults in Dataclasses eine bekannte Python-Falle sind
|
|
||||||
# (alle Instanzen würden dasselbe Dict teilen...)
|
|
||||||
|
|
||||||
|
|
||||||
# REMARK:
|
|
||||||
# Wann eine eigene Dataclass für tags?
|
|
||||||
# Nur wenn die tags strukturiert und vorhersehbar sind, was bei OSM-Daten nicht der Fall ist...
|
|
||||||
66
overpass.py
66
overpass.py
@ -1,31 +1,15 @@
|
|||||||
import requests
|
import requests
|
||||||
from pprint import pprint
|
from pprint import pprint
|
||||||
from models import POI
|
|
||||||
import logging
|
|
||||||
|
|
||||||
logger = logging.getLogger(__name__)
|
|
||||||
|
|
||||||
|
|
||||||
OVERPASS_URL = "https://overpass-api.de/api/interpreter"
|
OVERPASS_URL = "https://overpass-api.de/api/interpreter"
|
||||||
|
|
||||||
|
|
||||||
# REMARK:
|
|
||||||
# zwei Strategien:
|
|
||||||
# Fail-fast: Ein Fehler bricht alles ab → sinnvoll, wenn jedes Element kritisch ist
|
|
||||||
# Best-effort: Fehlerhafte Elemente überspringen, Rest verarbeiten → sinnvoll bei OSM-Daten, wo einzelne Einträge unvollständig sein können
|
|
||||||
|
|
||||||
|
|
||||||
class OverpassApiError(Exception):
|
class OverpassApiError(Exception):
|
||||||
pass
|
pass
|
||||||
|
|
||||||
|
|
||||||
def load_pois(overpass_query: str, bbox: tuple) -> list[POI]:
|
def fetch_overpass(overpass_query: str, bbox: tuple) -> dict:
|
||||||
"""Führt Fetch und Parse zusammen aus."""
|
|
||||||
raw = _fetch_overpass(overpass_query=overpass_query, bbox=bbox)
|
|
||||||
return _parse_pois(raw)
|
|
||||||
|
|
||||||
|
|
||||||
def _fetch_overpass(overpass_query: str, bbox: tuple) -> dict:
|
|
||||||
"""
|
"""
|
||||||
Fragt die Overpass API nach Bergbahnen in der angegebenen Bounding Box ab.
|
Fragt die Overpass API nach Bergbahnen in der angegebenen Bounding Box ab.
|
||||||
Sendet einen HTTP-POST-Request an die Overpass API und gibt die geparste
|
Sendet einen HTTP-POST-Request an die Overpass API und gibt die geparste
|
||||||
@ -75,7 +59,7 @@ def _fetch_overpass(overpass_query: str, bbox: tuple) -> dict:
|
|||||||
response = requests.post(
|
response = requests.post(
|
||||||
OVERPASS_URL,
|
OVERPASS_URL,
|
||||||
data={"data": query},
|
data={"data": query},
|
||||||
timeout=15,
|
timeout=5,
|
||||||
headers={"User-Agent": "CDS Exercise"},
|
headers={"User-Agent": "CDS Exercise"},
|
||||||
)
|
)
|
||||||
response.raise_for_status() # prüft den HTTP-Statuscode der Antwort und wirft eine Exception, wenn es ein Fehler war (requests.HTTPError)
|
response.raise_for_status() # prüft den HTTP-Statuscode der Antwort und wirft eine Exception, wenn es ein Fehler war (requests.HTTPError)
|
||||||
@ -83,49 +67,7 @@ def _fetch_overpass(overpass_query: str, bbox: tuple) -> dict:
|
|||||||
raise OverpassApiError("Overpass-API Timeout") from exc
|
raise OverpassApiError("Overpass-API Timeout") from exc
|
||||||
except requests.RequestException as exc:
|
except requests.RequestException as exc:
|
||||||
raise OverpassApiError("Overpass-API Request fehlgeschlagen") from exc
|
raise OverpassApiError("Overpass-API Request fehlgeschlagen") from exc
|
||||||
|
return response.json()
|
||||||
data = response.json()
|
|
||||||
|
|
||||||
# zusätzliche Fehlermöglichkeit -> Status ist zwar 200, aber Liste mit Ergebnissen ist leer...
|
|
||||||
if "remark" in data:
|
|
||||||
raise OverpassApiError(f"Overpass Query-Fehler: {data['remark']}")
|
|
||||||
|
|
||||||
return data
|
|
||||||
|
|
||||||
|
|
||||||
def _parse_poi(data: dict) -> POI:
|
|
||||||
""" Wandelt ein einzelnes Overpass-Element in ein POI-Objekt um.
|
|
||||||
|
|
||||||
:param data: dictionary mit Daten für ein POI-Objekt
|
|
||||||
:return: POI-Objekt
|
|
||||||
"""
|
|
||||||
try:
|
|
||||||
return POI(
|
|
||||||
id=data['id'],
|
|
||||||
type=data.get('type', ''),
|
|
||||||
lat=float(data.get("lat") or data["center"]["lat"]),
|
|
||||||
lon=float(data.get("lon") or data["center"]["lon"]),
|
|
||||||
tags=data.get('tags', {}),
|
|
||||||
)
|
|
||||||
except KeyError as exc:
|
|
||||||
raise OverpassApiError("Feld in API - Antwort fehlt") from exc
|
|
||||||
except (TypeError, ValueError) as exc:
|
|
||||||
raise OverpassApiError("API - Antwort hat falsches Format ") from exc
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
def _parse_pois(raw: dict) -> list[POI]:
|
|
||||||
"""Extrahiert alle Elemente aus der API-Antwort und parst sie.
|
|
||||||
Fehlerhafte Elemente werden übersprungen und geloggt.
|
|
||||||
"""
|
|
||||||
pois = []
|
|
||||||
for element in raw.get("elements", []):
|
|
||||||
try:
|
|
||||||
pois.append(_parse_poi(element))
|
|
||||||
except OverpassApiError as exc:
|
|
||||||
logger.warning(f"POI übersprungen (id={element.get('id', '?')}): {exc}")
|
|
||||||
return pois
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
@ -144,5 +86,5 @@ if __name__ == "__main__":
|
|||||||
|
|
||||||
bbox = (46.72, 9.70, 46.92, 10.00)
|
bbox = (46.72, 9.70, 46.92, 10.00)
|
||||||
# bbox = (45.8, 5.9, 47.8, 10.5)
|
# bbox = (45.8, 5.9, 47.8, 10.5)
|
||||||
result = load_pois(overpass_query=BERGBAHN_QUERY, bbox=bbox)
|
result = fetch_overpass(overpass_query=BERGBAHN_QUERY, bbox=bbox)
|
||||||
pprint(result)
|
pprint(result)
|
||||||
Binary file not shown.
Binary file not shown.
@ -1,13 +0,0 @@
|
|||||||
# -> Prinzip der Trennung von Daten und Logik!
|
|
||||||
|
|
||||||
BERGBAHN_QUERY = """
|
|
||||||
[out:json][timeout:2][maxsize:500000];
|
|
||||||
(
|
|
||||||
node["aerialway"="station"]({bbox});
|
|
||||||
way["aerialway"="station"]({bbox});
|
|
||||||
node["railway"="funicular"]({bbox});
|
|
||||||
way["railway"="funicular"]({bbox});
|
|
||||||
node["railway"="station"]["funicular"="yes"]({bbox});
|
|
||||||
);
|
|
||||||
out center body;
|
|
||||||
"""
|
|
||||||
@ -1,12 +0,0 @@
|
|||||||
# -> Prinzip der Trennung von Daten und Logik!
|
|
||||||
|
|
||||||
RESTAURANT_QUERY = """
|
|
||||||
[out:json][timeout:10][maxsize:500000];
|
|
||||||
(
|
|
||||||
node["amenity"="restaurant"]({bbox});
|
|
||||||
way["amenity"="restaurant"]({bbox});
|
|
||||||
node["amenity"="cafe"]({bbox});
|
|
||||||
way["amenity"="cafe"]({bbox});
|
|
||||||
);
|
|
||||||
out center body;
|
|
||||||
"""
|
|
||||||
Loading…
x
Reference in New Issue
Block a user