105 lines
4.2 KiB
YAML
105 lines
4.2 KiB
YAML
# LiteLLM — Gateway unificado de LLMs para o Arcádia Suite
|
|
# Documentação: https://docs.litellm.ai/docs/proxy/configs
|
|
#
|
|
# ESTRATÉGIA DE SOBERANIA DOS DADOS:
|
|
# ┌─────────────────────────────────────────────────────────────────────────┐
|
|
# │ TIER 1 (soberania total): LLMFit — modelos fine-tuned locais │
|
|
# │ TIER 2 (soberania total): Ollama — modelos open source no servidor │
|
|
# │ TIER 3 (opt-in): Providers externos — só com configuração explícita │
|
|
# └─────────────────────────────────────────────────────────────────────────┘
|
|
# O Manus, Autonomous Agents e todos os serviços chamam APENAS este proxy.
|
|
# Nunca chamam APIs externas diretamente.
|
|
|
|
model_list:
|
|
|
|
# ── TIER 1: LLMFit (modelos fine-tuned locais — máxima soberania) ────────────
|
|
# Descomente quando o LLMFit estiver rodando no servidor
|
|
# O LLMFit expõe API compatível com OpenAI — basta apontar a URL
|
|
#
|
|
# - model_name: arcadia-finetuned
|
|
# litellm_params:
|
|
# model: openai/arcadia-v1 # nome do modelo no LLMFit
|
|
# api_base: os.environ/LLMFIT_BASE_URL
|
|
# api_key: llmfit-internal
|
|
#
|
|
# - model_name: arcadia-embed
|
|
# litellm_params:
|
|
# model: openai/arcadia-embed-v1 # modelo de embeddings fine-tuned
|
|
# api_base: os.environ/LLMFIT_BASE_URL
|
|
# api_key: llmfit-internal
|
|
|
|
# ── TIER 2: Ollama (LLMs locais — soberania total) ───────────────────────────
|
|
- model_name: llama3.3
|
|
litellm_params:
|
|
model: ollama/llama3.3
|
|
api_base: os.environ/OLLAMA_BASE_URL
|
|
|
|
- model_name: qwen2.5-coder
|
|
litellm_params:
|
|
model: ollama/qwen2.5-coder:7b
|
|
api_base: os.environ/OLLAMA_BASE_URL
|
|
|
|
- model_name: deepseek-r1
|
|
litellm_params:
|
|
model: ollama/deepseek-r1:7b
|
|
api_base: os.environ/OLLAMA_BASE_URL
|
|
|
|
- model_name: nomic-embed-text
|
|
litellm_params:
|
|
model: ollama/nomic-embed-text
|
|
api_base: os.environ/OLLAMA_BASE_URL
|
|
|
|
# ── TIER 3: OpenAI (opt-in — só ativo se OPENAI_API_KEY configurado) ─────────
|
|
- model_name: gpt-4o
|
|
litellm_params:
|
|
model: openai/gpt-4o
|
|
api_key: os.environ/OPENAI_API_KEY
|
|
|
|
- model_name: gpt-4o-mini
|
|
litellm_params:
|
|
model: openai/gpt-4o-mini
|
|
api_key: os.environ/OPENAI_API_KEY
|
|
|
|
# ── TIER 3: Anthropic (opt-in — descomente para habilitar) ───────────────────
|
|
# - model_name: claude-sonnet
|
|
# litellm_params:
|
|
# model: anthropic/claude-sonnet-4-6
|
|
# api_key: os.environ/ANTHROPIC_API_KEY
|
|
|
|
# ── TIER 3: Groq (opt-in — inferência rápida sem dados persistidos) ──────────
|
|
# - model_name: groq-llama
|
|
# litellm_params:
|
|
# model: groq/llama-3.3-70b-versatile
|
|
# api_key: os.environ/GROQ_API_KEY
|
|
|
|
# ── Modelo padrão do Arcádia (Manus usa este) ─────────────────────────────────
|
|
# Prioridade: LLMFit → OpenAI (se configurado) → Ollama (sempre disponível)
|
|
# Para soberania total: remova o fallback para gpt-4o-mini
|
|
- model_name: arcadia-default
|
|
litellm_params:
|
|
model: ollama/llama3.3
|
|
api_base: os.environ/OLLAMA_BASE_URL
|
|
model_info:
|
|
# fallbacks: ["gpt-4o-mini"] # descomente para habilitar fallback externo
|
|
|
|
router_settings:
|
|
routing_strategy: least-busy
|
|
fallbacks:
|
|
- {"gpt-4o": ["llama3.3"]}
|
|
- {"gpt-4o-mini": ["llama3.3"]}
|
|
- {"arcadia-default": ["llama3.3"]}
|
|
|
|
litellm_settings:
|
|
drop_params: true
|
|
request_timeout: 120
|
|
set_verbose: false
|
|
# Loga todas as chamadas no banco — essencial para auditoria e soberania
|
|
success_callback: ["langfuse"]
|
|
failure_callback: ["langfuse"]
|
|
|
|
general_settings:
|
|
master_key: os.environ/LITELLM_MASTER_KEY
|
|
database_url: os.environ/DATABASE_URL
|
|
# Habilita interface de gestão do LiteLLM (opcional)
|
|
# ui_access_mode: "all"
|