runner

1# LLM Stack Unified Environment Configuration
2
3# ==============================================================================
4# OLLAMA CONFIGURATION
5# ==============================================================================
6OLLAMA_HOST=0.0.0.0:11434
7OLLAMA_ORIGINS=*
8OLLAMA_MODELS=/root/.ollama/models
9OLLAMA_KEEP_ALIVE=24h
10OLLAMA_NUM_PARALLEL=1
11OLLAMA_MAX_LOADED_MODELS=2
12OLLAMA_LOG_LEVEL={{ llm_stack_ollama_log_level }}
13
14{% if gpu_enabled %}
15# GPU Configuration
16NVIDIA_VISIBLE_DEVICES=all
17NVIDIA_DRIVER_CAPABILITIES=compute,utility
18{% endif %}
19
20# ==============================================================================
21# OPENWEBUI CONFIGURATION
22# ==============================================================================
23OLLAMA_BASE_URL=http://ollama:11434
24WEBUI_NAME={{ llm_stack_openwebui_name }}
25WEBUI_DESCRIPTION={{ llm_stack_openwebui_description }}
26WEBUI_AUTHOR={{ llm_stack_openwebui_author }}
27LOG_LEVEL={{ llm_stack_openwebui_log_level }}
28PORT=8080
29
30# Features
31ENABLE_SIGNUP=true
32ENABLE_ADMIN=true
33DEFAULT_MODELS={{ llm_stack_openwebui_default_models }}
34DEFAULT_PROMPT_SUGGESTIONS=
35ENABLE_WEB_SEARCH=false
36ENABLE_IMAGE_GENERATION=false
37ENABLE_PDF_EXPORT=true
38ENABLE_MARKDOWN=true
39ENABLE_CODE_HIGHLIGHTING=true
40
41ENABLE_WEB_SEARCH={{ false if llm_stack_openwebui_tavily_api_key == '' else true }}
42WEB_SEARCH_ENGINE=tavily
43TAVILY_API_KEY={{ llm_stack_openwebui_tavily_api_key }}
44
45# RAG Configuration
46ENABLE_RAG=false
47RAG_API_URL=http://litellm:4000
48
49# Security
50ALLOWED_HOSTS=*
51CORS_ORIGINS=*
52
53# ==============================================================================
54# LITELLM CONFIGURATION
55# ==============================================================================
56OLLAMA_API_BASE=http://ollama:11434
57MODEL_LIST={{ llm_stack_litellm_model_list }}
58COMPLETION_MODEL={{ llm_stack_litellm_completion_model }}
59STREAM={{ llm_stack_litellm_streaming_enabled | lower }}
60LOG_LEVEL={{ llm_stack_litellm_log_level }}
61
62# Model Parameters
63MAX_TOKENS=4096
64TEMPERATURE=0.7
65TOP_P=0.9
66FREQUENCY_PENALTY=0.0
67PRESENCE_PENALTY=0.0
68
69# Security & Access
70CORS_ORIGINS=*
71ALLOWED_IPS=*
72
73# Rate Limiting
74RATE_LIMIT_ENABLED=true
75RATE_LIMIT_REQUESTS_PER_MINUTE=60
76RATE_LIMIT_REQUESTS_PER_HOUR=1000
77
78# Caching
79CACHE_ENABLED=true
80CACHE_SIZE=100
81CACHE_TTL=3600
82