#!/bin/sh
# Пример запуска llama-server (сборка llama.cpp) с GGUF Qwen2.5-1.5B-Instruct.
# Путь к бинарнику: задайте LLAMA_SERVER или положите llama-server в PATH.
#
# Переменные:
#   WESP_ASSISTANT_DIR  — корень (по умолчанию /app/assistant)
#   WESP_LLM_GGUF_FILE  — имя файла в models/ (по умолчанию qwen2.5-1.5b-instruct-q5_k_m.gguf)
#   WESP_LLM_PORT       — порт HTTP (по умолчанию 8080)
#   WESP_LLM_HOST       — bind (по умолчанию 127.0.0.1)
#
# WESP должен смотреть на тот же порт: export WESP_LLM_BASE_URL=http://127.0.0.1:8080
# Имя модели в API должно совпадать с -m (часто имя файла .gguf):
#   export WESP_LLM_MODEL=qwen2.5-1.5b-instruct-q5_k_m.gguf

set -e
ROOT="${WESP_ASSISTANT_DIR:-/app/assistant}"
FILE="${WESP_LLM_GGUF_FILE:-qwen2.5-1.5b-instruct-q5_k_m.gguf}"
HOST="${WESP_LLM_HOST:-127.0.0.1}"
PORT="${WESP_LLM_PORT:-8080}"
GGUF="$ROOT/models/$FILE"
BIN="${LLAMA_SERVER:-llama-server}"

if [ ! -f "$GGUF" ]; then
  echo "Нет файла модели: $GGUF" >&2
  echo "Запустите install/assistant/download_model.sh или скопируйте .gguf в $ROOT/models/" >&2
  exit 1
fi

exec "$BIN" \
  -m "$GGUF" \
  --host "$HOST" \
  --port "$PORT" \
  -c 8192