from openai import OpenAI from dotenv import load_dotenv import os from SystemPrompter import generate_prompt #environment vaarables sind in eigener .env Datei abgespeichert load_dotenv(dotenv_path=".env") HOST = os.getenv('HOST') PORT = os.getenv('PORT') API_KEY = os.getenv('API_KEY') MODEL = os.getenv('MODEL') def get_client() -> OpenAI: """Return an OpenAI-compatible client pointing at the vLLM server.""" base_url = f"http://{HOST}:{PORT}/v1" return OpenAI(base_url=base_url, api_key=API_KEY) client = get_client() def send_message(message: str) -> str: # hier gehts darum, die message vorzubereiten -> also nachricht aus den Chatfenster mit systemprompts und file_conntext verknüpfen # hier auch Zeug zusammenkürzen wenns zu lang wird? prompt = generate_prompt(message) response = send_prompt(prompt) return response def send_prompt(prompt: str) -> str: # hier wird send_message() aufgerufen, damit dann an qwen geschickt werden kann response = client.responses.create( input=prompt) return response.output_text