35 lines
934 B
Python
35 lines
934 B
Python
from openai import OpenAI
|
|
from dotenv import load_dotenv
|
|
import os
|
|
|
|
|
|
load_dotenv(dotenv_path=".env")
|
|
|
|
|
|
HOST = os.getenv('HOST')
|
|
PORT = os.getenv('PORT')
|
|
API_KEY = os.getenv('API_KEY')
|
|
MODEL = os.getenv('MODEL')
|
|
|
|
def get_client() -> OpenAI:
|
|
"""Return an OpenAI-compatible client pointing at the vLLM server."""
|
|
base_url = f"http://{HOST}:{PORT}/v1"
|
|
return OpenAI(base_url=base_url, api_key=API_KEY)
|
|
|
|
client = get_client()
|
|
|
|
|
|
def send_message(message):
|
|
# hier gehts darum, die message vorzubereiten -> also nachricht aus den Chatfenster mit systemprompts und file_conntext verknüpfen
|
|
# hier auch Zeug zusammenkürzen wenns zu lang wird?
|
|
return "Explain what a system prompt is."
|
|
|
|
def receive_response():
|
|
# hier wird send_message() aufgerufen, damit dann geschickt werden kann
|
|
response = client.responses.create(
|
|
input=send_message(""))
|
|
return response.output_text
|
|
|
|
print(receive_response())
|
|
|