runner

1# LLM Stack Unified Environment Configuration
2
3# ==============================================================================
4# OLLAMA CONFIGURATION
5# ==============================================================================
6OLLAMA_HOST=0.0.0.0:11434
7OLLAMA_ORIGINS=*
8OLLAMA_MODELS=/root/.ollama/models
9OLLAMA_KEEP_ALIVE={{ llm_stack_ollama_keep_alive | default('1h') }}
10OLLAMA_NUM_PARALLEL=1
11OLLAMA_MAX_LOADED_MODELS=1
12OLLAMA_FLASH_ATTENTION=1
13OLLAMA_GPU_OVERHEAD=0
14OLLAMA_LOG_LEVEL={{ llm_stack_ollama_log_level }}
15
16{% if gpu_enabled %}
17# GPU Configuration
18NVIDIA_VISIBLE_DEVICES=all
19NVIDIA_DRIVER_CAPABILITIES=compute,utility
20{% endif %}
21
22# ==============================================================================
23# OPENWEBUI CONFIGURATION
24# ==============================================================================
25OLLAMA_BASE_URL=http://ollama:11434
26WEBUI_NAME={{ llm_stack_openwebui_name }}
27WEBUI_DESCRIPTION={{ llm_stack_openwebui_description }}
28WEBUI_AUTHOR={{ llm_stack_openwebui_author }}
29LOG_LEVEL={{ llm_stack_openwebui_log_level }}
30PORT=8080
31
32# Database Configuration (OpenWebUI - uses default)
33
34# Features
35ENABLE_SIGNUP=true
36ENABLE_ADMIN=true
37DEFAULT_MODELS={{ llm_stack_openwebui_default_models }}
38DEFAULT_PROMPT_SUGGESTIONS=
39ENABLE_IMAGE_GENERATION=false
40ENABLE_PDF_EXPORT=true
41ENABLE_MARKDOWN=true
42ENABLE_CODE_HIGHLIGHTING=true
43
44# Web Search (Tavily)
45{% if vault_runner.tavily_api_key | default('') != '' %}
46ENABLE_WEB_SEARCH=true
47WEB_SEARCH_ENGINE=tavily
48TAVILY_API_KEY={{ vault_runner.tavily_api_key }}
49{% else %}
50ENABLE_WEB_SEARCH=false
51{% endif %}
52
53# RAG Configuration
54ENABLE_RAG=false
55RAG_API_URL=http://litellm:4000
56
57# Security
58ALLOWED_HOSTS=*
59CORS_ORIGINS=*
60
61# ==============================================================================
62# LITELLM CONFIGURATION (in separate file)
63# ==============================================================================
64