Compare commits
No commits in common. "main" and "Task_3" have entirely different histories.
14
TASK.md
14
TASK.md
@ -1,9 +1,7 @@
|
|||||||
# TASK 6:
|
# TASK 3:
|
||||||
|
|
||||||
* bbox für Schweiz scheint zu gross und wirft einen error ... Lösungsmöglichkeiten?
|
* verlagert als Nächstes die Logik von 'fetch_bergbahnen' in ein eigenes Modul `overpass.py` aus.
|
||||||
-> Wir können die Schweiz (Koordinaten) in Unterregionen aufsplitten. Macht das bitte.
|
* nennt die Funktion allgemeiner `fetch_overpass` (anstelle `fetch_bergbahnen`) -> somit würde es Sinn
|
||||||
-> entfernt dazu die bbox für 'davos', nehmt die 'schweiz' und splittet sie in 4, 9 oder 16 Koordinaten-Tuples auf.
|
machen, wenn wir den Query der Funktion als Argument mitgeben könnten (ist genereller).
|
||||||
|
* Erstellt in diesem `main.py` eine eigene 'main-Funktion', welche nur die Hauptlogik beinhalten und somit `fetch_overpass`
|
||||||
* Speichert und loggt in welchen Koordinaten-Tuples ein Fehler auftritt (gebt am Schluss eine Zusammenfassung
|
importiert und aufruft.
|
||||||
dieser fehlerhaften Queries aus)
|
|
||||||
* Bildet ein neues Modul `storage.py` und baut den Code, welcher zum Speichern der POIS als .json auf der Festplatte nötig ist.
|
|
||||||
Binary file not shown.
Binary file not shown.
111
main.py
111
main.py
@ -1,56 +1,87 @@
|
|||||||
from overpass import load_pois, OverpassApiError
|
import requests
|
||||||
from models import POI
|
from pprint import pprint
|
||||||
import logging
|
|
||||||
from queries.bergbahn import BERGBAHN_QUERY
|
|
||||||
from queries.restaurant import RESTAURANT_QUERY
|
|
||||||
|
|
||||||
# ---------------------------------------------------------------------------
|
|
||||||
# Logging konfigurieren
|
|
||||||
# ---------------------------------------------------------------------------
|
|
||||||
|
|
||||||
# Erinnerung: Log-Levels -> DEBUG, INFO, WARNING, ERROR, CRITICAL
|
OVERPASS_URL = "https://overpass-api.de/api/interpreter"
|
||||||
|
|
||||||
logging.basicConfig(
|
BERGBAHN_QUERY = """
|
||||||
level=logging.INFO,
|
[out:json][timeout:3][maxsize:500000];
|
||||||
format="%(asctime)s [%(levelname)s] %(message)s",
|
(
|
||||||
datefmt="%H:%M:%S",
|
node["aerialway"="station"]({bbox});
|
||||||
)
|
way["aerialway"="station"]({bbox});
|
||||||
logger = logging.getLogger(__name__)
|
node["railway"="funicular"]({bbox});
|
||||||
|
way["railway"="funicular"]({bbox});
|
||||||
|
node["railway"="station"]["funicular"="yes"]({bbox});
|
||||||
|
);
|
||||||
|
out center body;
|
||||||
|
"""
|
||||||
|
|
||||||
|
|
||||||
|
class OverpassApiError(Exception):
|
||||||
|
pass
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
# ---------------------------------------------------------------------------
|
def fetch_bergbahnen(bbox: tuple) -> dict:
|
||||||
# Konfiguration
|
"""
|
||||||
# ---------------------------------------------------------------------------
|
Fragt die Overpass API nach Bergbahnen in der angegebenen Bounding Box ab.
|
||||||
|
Sendet einen HTTP-POST-Request an die Overpass API und gibt die geparste
|
||||||
|
JSON-Antwort zurück.
|
||||||
|
|
||||||
BBOXEN = {
|
Args:
|
||||||
"davos": (46.72, 9.70, 46.92, 10.00),
|
bbox (tuple): Bounding Box als 4-Tuple in Dezimalgrad:
|
||||||
"schweiz": (45.8, 5.9, 47.8, 10.5),
|
(south, west, north, east)
|
||||||
}
|
Beispiel Davos: (46.72, 9.70, 46.92, 10.00)
|
||||||
|
Beispiel Schweiz: (45.8, 5.9, 47.8, 10.5)
|
||||||
|
|
||||||
QUERY = {"bergbahn": BERGBAHN_QUERY}
|
Returns:
|
||||||
|
dict: Geparste JSON-Antwort der Overpass API. Die Antwort enthält
|
||||||
|
unter dem Schlüssel "elements" eine Liste von OSM-Objekten
|
||||||
|
(nodes und ways) mit ihren Tags und Koordinaten.
|
||||||
|
Beispiel:
|
||||||
|
{
|
||||||
|
"elements": [
|
||||||
|
{
|
||||||
|
"type": "node",
|
||||||
|
"id": 123456,
|
||||||
|
"lat": 46.8, "lon": 9.8,
|
||||||
|
"tags": {"aerialway": "station", "name": "Jakobshorn"}
|
||||||
|
},
|
||||||
|
...
|
||||||
|
]
|
||||||
|
}
|
||||||
|
|
||||||
|
Raises:
|
||||||
|
OverpassApiError: Wenn die API nicht innerhalb des gesetzten Timeouts
|
||||||
|
antwortet (clientseitig, unabhängig vom serverseitigen
|
||||||
|
Timeout im Query).
|
||||||
|
OverpassApiError: Wenn der Request aus einem anderen Grund fehlschlägt
|
||||||
|
(z.B. 429 Too Many Requests, 504 Gateway Timeout,
|
||||||
|
Netzwerkfehler).
|
||||||
|
"""
|
||||||
|
|
||||||
|
bbox_str = ",".join(map(str, bbox))
|
||||||
|
query = BERGBAHN_QUERY.format(bbox=bbox_str)
|
||||||
|
|
||||||
# ---------------------------------------------------------------------------
|
|
||||||
# Hauptlogik
|
|
||||||
# ---------------------------------------------------------------------------
|
|
||||||
def main() -> None:
|
|
||||||
|
|
||||||
query_name = list(QUERY.keys())[0]
|
|
||||||
|
|
||||||
for name, bbox in BBOXEN.items():
|
|
||||||
logger.info(f"Starte Abfrage für Query: {query_name}, '{name}' mit bbox={bbox}")
|
|
||||||
try:
|
try:
|
||||||
pois: list[POI] = load_pois(overpass_query=QUERY.get(query_name,""), bbox=bbox)
|
response = requests.post(
|
||||||
except OverpassApiError as exc:
|
OVERPASS_URL,
|
||||||
logger.error(f"Fehler bei '{name}': {exc}")
|
data={"data": query},
|
||||||
continue
|
timeout=5,
|
||||||
|
headers={"User-Agent": "CDS Exercise"},
|
||||||
|
)
|
||||||
|
response.raise_for_status() # prüft den HTTP-Statuscode der Antwort und wirft eine Exception, wenn es ein Fehler war (requests.HTTPError)
|
||||||
|
except requests.Timeout as exc:
|
||||||
|
raise OverpassApiError("Overpass-API Timeout") from exc
|
||||||
|
except requests.RequestException as exc:
|
||||||
|
raise OverpassApiError("Overpass-API Request fehlgeschlagen") from exc
|
||||||
|
return response.json()
|
||||||
|
|
||||||
logger.info(f"\n{name}: {len(pois)} POIs gefunden")
|
|
||||||
for poi in pois:
|
|
||||||
logger.info(f" {poi.id}: ({poi.lat}, {poi.lon})")
|
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
main()
|
|
||||||
|
# bbox = (46.72, 9.70, 46.92, 10.00)
|
||||||
|
bbox = (45.8, 5.9, 47.8, 10.5)
|
||||||
|
result = fetch_bergbahnen(bbox)
|
||||||
|
pprint(result)
|
||||||
15
models.py
15
models.py
@ -1,15 +0,0 @@
|
|||||||
from dataclasses import dataclass, field
|
|
||||||
|
|
||||||
@dataclass
|
|
||||||
class POI:
|
|
||||||
id: str
|
|
||||||
type: str
|
|
||||||
lat: float
|
|
||||||
lon: float
|
|
||||||
tags: dict = field(default_factory=dict) # weil mutable defaults in Dataclasses eine bekannte Python-Falle sind
|
|
||||||
# (alle Instanzen würden dasselbe Dict teilen...)
|
|
||||||
|
|
||||||
|
|
||||||
# REMARK:
|
|
||||||
# Wann eine eigene Dataclass für tags?
|
|
||||||
# Nur wenn die tags strukturiert und vorhersehbar sind, was bei OSM-Daten nicht der Fall ist...
|
|
||||||
148
overpass.py
148
overpass.py
@ -1,148 +0,0 @@
|
|||||||
import requests
|
|
||||||
from pprint import pprint
|
|
||||||
from models import POI
|
|
||||||
import logging
|
|
||||||
|
|
||||||
logger = logging.getLogger(__name__)
|
|
||||||
|
|
||||||
|
|
||||||
OVERPASS_URL = "https://overpass-api.de/api/interpreter"
|
|
||||||
|
|
||||||
|
|
||||||
# REMARK:
|
|
||||||
# zwei Strategien:
|
|
||||||
# Fail-fast: Ein Fehler bricht alles ab → sinnvoll, wenn jedes Element kritisch ist
|
|
||||||
# Best-effort: Fehlerhafte Elemente überspringen, Rest verarbeiten → sinnvoll bei OSM-Daten, wo einzelne Einträge unvollständig sein können
|
|
||||||
|
|
||||||
|
|
||||||
class OverpassApiError(Exception):
|
|
||||||
pass
|
|
||||||
|
|
||||||
|
|
||||||
def load_pois(overpass_query: str, bbox: tuple) -> list[POI]:
|
|
||||||
"""Führt Fetch und Parse zusammen aus."""
|
|
||||||
raw = _fetch_overpass(overpass_query=overpass_query, bbox=bbox)
|
|
||||||
return _parse_pois(raw)
|
|
||||||
|
|
||||||
|
|
||||||
def _fetch_overpass(overpass_query: str, bbox: tuple) -> dict:
|
|
||||||
"""
|
|
||||||
Fragt die Overpass API nach Bergbahnen in der angegebenen Bounding Box ab.
|
|
||||||
Sendet einen HTTP-POST-Request an die Overpass API und gibt die geparste
|
|
||||||
JSON-Antwort zurück.
|
|
||||||
|
|
||||||
Args:
|
|
||||||
overpass_query (str): Overpass-QL-Query mit dem Platzhalter {bbox}.
|
|
||||||
Beispiel:
|
|
||||||
'[out:json][timeout:5];
|
|
||||||
(node["aerialway"="station"]({bbox}););
|
|
||||||
out center body;'
|
|
||||||
bbox (tuple): Bounding Box als 4-Tuple in Dezimalgrad:
|
|
||||||
(south, west, north, east)
|
|
||||||
Beispiel Davos: (46.72, 9.70, 46.92, 10.00)
|
|
||||||
Beispiel Schweiz: (45.8, 5.9, 47.8, 10.5)
|
|
||||||
|
|
||||||
Returns:
|
|
||||||
dict: Geparste JSON-Antwort der Overpass API. Die Antwort enthält
|
|
||||||
unter dem Schlüssel "elements" eine Liste von OSM-Objekten
|
|
||||||
(nodes und ways) mit ihren Tags und Koordinaten.
|
|
||||||
Beispiel:
|
|
||||||
{
|
|
||||||
"elements": [
|
|
||||||
{
|
|
||||||
"type": "node",
|
|
||||||
"id": 123456,
|
|
||||||
"lat": 46.8, "lon": 9.8,
|
|
||||||
"tags": {"aerialway": "station", "name": "Jakobshorn"}
|
|
||||||
},
|
|
||||||
...
|
|
||||||
]
|
|
||||||
}
|
|
||||||
|
|
||||||
Raises:
|
|
||||||
OverpassApiError: Wenn die API nicht innerhalb des gesetzten Timeouts
|
|
||||||
antwortet (clientseitig, unabhängig vom serverseitigen
|
|
||||||
Timeout im Query).
|
|
||||||
OverpassApiError: Wenn der Request aus einem anderen Grund fehlschlägt
|
|
||||||
(z.B. 429 Too Many Requests, 504 Gateway Timeout,
|
|
||||||
Netzwerkfehler).
|
|
||||||
"""
|
|
||||||
|
|
||||||
bbox_str = ",".join(map(str, bbox))
|
|
||||||
query = overpass_query.format(bbox=bbox_str)
|
|
||||||
|
|
||||||
try:
|
|
||||||
response = requests.post(
|
|
||||||
OVERPASS_URL,
|
|
||||||
data={"data": query},
|
|
||||||
timeout=15,
|
|
||||||
headers={"User-Agent": "CDS Exercise"},
|
|
||||||
)
|
|
||||||
response.raise_for_status() # prüft den HTTP-Statuscode der Antwort und wirft eine Exception, wenn es ein Fehler war (requests.HTTPError)
|
|
||||||
except requests.Timeout as exc:
|
|
||||||
raise OverpassApiError("Overpass-API Timeout") from exc
|
|
||||||
except requests.RequestException as exc:
|
|
||||||
raise OverpassApiError("Overpass-API Request fehlgeschlagen") from exc
|
|
||||||
|
|
||||||
data = response.json()
|
|
||||||
|
|
||||||
# zusätzliche Fehlermöglichkeit -> Status ist zwar 200, aber Liste mit Ergebnissen ist leer...
|
|
||||||
if "remark" in data:
|
|
||||||
raise OverpassApiError(f"Overpass Query-Fehler: {data['remark']}")
|
|
||||||
|
|
||||||
return data
|
|
||||||
|
|
||||||
|
|
||||||
def _parse_poi(data: dict) -> POI:
|
|
||||||
""" Wandelt ein einzelnes Overpass-Element in ein POI-Objekt um.
|
|
||||||
|
|
||||||
:param data: dictionary mit Daten für ein POI-Objekt
|
|
||||||
:return: POI-Objekt
|
|
||||||
"""
|
|
||||||
try:
|
|
||||||
return POI(
|
|
||||||
id=data['id'],
|
|
||||||
type=data.get('type', ''),
|
|
||||||
lat=float(data.get("lat") or data["center"]["lat"]),
|
|
||||||
lon=float(data.get("lon") or data["center"]["lon"]),
|
|
||||||
tags=data.get('tags', {}),
|
|
||||||
)
|
|
||||||
except KeyError as exc:
|
|
||||||
raise OverpassApiError("Feld in API - Antwort fehlt") from exc
|
|
||||||
except (TypeError, ValueError) as exc:
|
|
||||||
raise OverpassApiError("API - Antwort hat falsches Format ") from exc
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
def _parse_pois(raw: dict) -> list[POI]:
|
|
||||||
"""Extrahiert alle Elemente aus der API-Antwort und parst sie.
|
|
||||||
Fehlerhafte Elemente werden übersprungen und geloggt.
|
|
||||||
"""
|
|
||||||
pois = []
|
|
||||||
for element in raw.get("elements", []):
|
|
||||||
try:
|
|
||||||
pois.append(_parse_poi(element))
|
|
||||||
except OverpassApiError as exc:
|
|
||||||
logger.warning(f"POI übersprungen (id={element.get('id', '?')}): {exc}")
|
|
||||||
return pois
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
if __name__ == "__main__":
|
|
||||||
|
|
||||||
BERGBAHN_QUERY = """
|
|
||||||
[out:json][timeout:2][maxsize:500000];
|
|
||||||
(
|
|
||||||
node["aerialway"="station"]({bbox});
|
|
||||||
way["aerialway"="station"]({bbox});
|
|
||||||
node["railway"="funicular"]({bbox});
|
|
||||||
way["railway"="funicular"]({bbox});
|
|
||||||
node["railway"="station"]["funicular"="yes"]({bbox});
|
|
||||||
);
|
|
||||||
out center body;
|
|
||||||
"""
|
|
||||||
|
|
||||||
bbox = (46.72, 9.70, 46.92, 10.00)
|
|
||||||
# bbox = (45.8, 5.9, 47.8, 10.5)
|
|
||||||
result = load_pois(overpass_query=BERGBAHN_QUERY, bbox=bbox)
|
|
||||||
pprint(result)
|
|
||||||
Binary file not shown.
Binary file not shown.
@ -1,13 +0,0 @@
|
|||||||
# -> Prinzip der Trennung von Daten und Logik!
|
|
||||||
|
|
||||||
BERGBAHN_QUERY = """
|
|
||||||
[out:json][timeout:2][maxsize:500000];
|
|
||||||
(
|
|
||||||
node["aerialway"="station"]({bbox});
|
|
||||||
way["aerialway"="station"]({bbox});
|
|
||||||
node["railway"="funicular"]({bbox});
|
|
||||||
way["railway"="funicular"]({bbox});
|
|
||||||
node["railway"="station"]["funicular"="yes"]({bbox});
|
|
||||||
);
|
|
||||||
out center body;
|
|
||||||
"""
|
|
||||||
@ -1,12 +0,0 @@
|
|||||||
# -> Prinzip der Trennung von Daten und Logik!
|
|
||||||
|
|
||||||
RESTAURANT_QUERY = """
|
|
||||||
[out:json][timeout:10][maxsize:500000];
|
|
||||||
(
|
|
||||||
node["amenity"="restaurant"]({bbox});
|
|
||||||
way["amenity"="restaurant"]({bbox});
|
|
||||||
node["amenity"="cafe"]({bbox});
|
|
||||||
way["amenity"="cafe"]({bbox});
|
|
||||||
);
|
|
||||||
out center body;
|
|
||||||
"""
|
|
||||||
Loading…
x
Reference in New Issue
Block a user