36 lines
998 B
Python
36 lines
998 B
Python
from openai import OpenAI
|
|
from dotenv import load_dotenv
|
|
import os
|
|
from SystemPrompter import generate_prompt
|
|
|
|
|
|
load_dotenv(dotenv_path=".env")
|
|
|
|
|
|
HOST = os.getenv('HOST')
|
|
PORT = os.getenv('PORT')
|
|
API_KEY = os.getenv('API_KEY')
|
|
MODEL = os.getenv('MODEL')
|
|
|
|
def get_client() -> OpenAI:
|
|
"""Return an OpenAI-compatible client pointing at the vLLM server."""
|
|
base_url = f"http://{HOST}:{PORT}/v1"
|
|
return OpenAI(base_url=base_url, api_key=API_KEY)
|
|
|
|
client = get_client()
|
|
|
|
|
|
def send_message(message: str):
|
|
# hier gehts darum, die message vorzubereiten -> also nachricht aus den Chatfenster mit systemprompts und file_conntext verknüpfen
|
|
# hier auch Zeug zusammenkürzen wenns zu lang wird?
|
|
prompt = generate_prompt(message)
|
|
response = send_prompt(prompt)
|
|
return response
|
|
|
|
def send_prompt(prompt: str):
|
|
# hier wird send_message() aufgerufen, damit dann geschickt werden kann
|
|
response = client.responses.create(
|
|
input=prompt)
|
|
return response.output_text
|
|
|