
LibreChat com Ollama, LiteLLM e SearXNG: busca web no Docker Compose
Guia de implantação do LibreChat com Ollama, LiteLLM, SearXNG e Firecrawl em Docker Compose, com configurações e requisitos de memória.
Um assistente com modelo local e busca na web
Uma pilha Docker Compose integra LibreChat, Ollama, LiteLLM, SearXNG e Firecrawl para criar um assistente de IA autohospedado. O LibreChat oferece a interface de conversa, o Ollama executa modelos no hardware do operador e o LiteLLM conecta os serviços por uma API compatível com a OpenAI.
O Firecrawl extrai o conteúdo das páginas encontradas, permitindo que o assistente combine informações recentes da web com respostas do modelo local. A infraestrutura de chat e extração fica sob administração do operador, mas o SearXNG encaminha as consultas aos mecanismos externos configurados, como Brave, Google e Bing.
O caminho de uma consulta
Apenas o Nginx fica exposto à rede. Ele recebe o tráfego HTTPS e o encaminha ao LibreChat, publicado na interface de loopback do servidor. Os demais contêineres se comunicam pela rede privada do Compose e são encontrados pelos nomes dos serviços.
Com a busca na web ativada, o LibreChat solicita resultados ao SearXNG, que distribui a consulta entre mecanismos como Brave, Google e Bing. Depois, o LibreChat envia ao Firecrawl os endereços encontrados; o serviço renderiza as páginas em um navegador Chromium sem interface e retorna o texto em Markdown.
O LibreChat passa o texto extraído e a pergunta ao LiteLLM, que encaminha a solicitação ao Ollama. MongoDB armazena contas e conversas, enquanto Meilisearch indexa o histórico para a busca na barra lateral. Esses dois serviços apoiam o chat, mas não participam do caminho da pesquisa na web.
Configurações para habilitar a busca
O SearXNG desativa a resposta em JSON por padrão, embora o LibreChat solicite resultados nesse formato. Sem habilitar JSON, a instância responde com o erro 403 Forbidden. O ajuste indicado no guia mantém HTML e acrescenta JSON à lista de formatos aceitos:
search: safe_search: 1 formats: - html - jsonO LibreChat também precisa de um raspador de páginas configurado. Sem ele, a interface pede que cada usuário informe uma chave de API e um endereço de serviço antes de iniciar a busca. O exemplo usa Firecrawl autohospedado e define rerankerType: "none", sem exigir chaves de serviços de reclassificação como Jina ou Cohere.
Para permitir conexões aos serviços da rede Docker sem desativar a proteção contra requisições forjadas a endereços internos, o guia lista os endereços permitidos sem esquema. O exemplo abaixo reúne os principais campos de busca e extração do librechat.yaml; as referências de ambiente são lidas pelo LibreChat a partir do arquivo .env.
webSearch: searchProvider: "searxng" searxngInstanceUrl: "${SEARXNG_INSTANCE_URL}" scraperProvider: "firecrawl" firecrawlApiKey: "${FIRECRAWL_API_KEY}" firecrawlApiUrl: "${FIRECRAWL_API_URL}" rerankerType: "none" allowedAddresses: - "searxng:8080" - "firecrawl:3002"O LibreChat bloqueia conexões de busca para endereços IP privados, de loopback e de link-local; por isso, os nomes dos serviços Docker precisam constar em allowedAddresses. A configuração também usa a versão de esquema 1.3.17 indicada pelo guia, pois versões antigas podem gerar avisos de configuração desatualizada.
Recursos e dimensionamento
Para reproduzir a instalação, são necessários um host Linux com Docker Engine e o plugin Compose, um domínio com registro A apontado para o servidor e as portas 80 e 443 acessíveis para o desafio HTTP-01 do Let’s Encrypt. O teste descrito foi feito no Ubuntu 26.04.1 LTS, com Docker 29.9.3 e Docker Compose 5.7.1.
Um servidor virtual com 8 GB de RAM apresentou falhas na fila de tarefas do Firecrawl quando a memória disponível caiu para menos de cerca de 1,9 GB. A migração para 16 GB resolveu o problema. No host de teste, com quatro vCPUs e um modelo de 0,5 bilhão de parâmetros carregado, o consumo total em repouso foi de 5,8 GiB.
O Firecrawl foi o serviço que mais consumiu memória em repouso, com 2,874 GiB. Um modelo de 7 ou 8 bilhões de parâmetros com quantização de 4 bits pode exigir mais 5 a 6 GB de RAM ou VRAM. Para uso em equipe, o guia sugere um host com GPU para o Ollama e de 16 a 32 GB de memória para os demais serviços.
Gateway de modelos e credenciais
O exemplo usa o modelo Qwen 2.5 de 0,5 bilhão de parâmetros, escolhido por funcionar em CPU e demonstrar a integração rapidamente. No LiteLLM, o nome público do modelo é qwen2.5-0.5b, e o prefixo ollama_chat/ direciona as solicitações ao endpoint de chat do Ollama na rede do Compose.
model_list: - model_name: qwen2.5-0.5b litellm_params: model: ollama_chat/qwen2.5:0.5b api_base: http://ollama:11434 general_settings: master_key: os.environ/LITELLM_MASTER_KEYO LiteLLM centraliza um endpoint e uma chave para modelos locais ou hospedados, além de oferecer acompanhamento de gastos e alternativas de execução. Quem usa somente um modelo local pode conectar o LibreChat diretamente ao Ollama; chaves virtuais e limites individuais no LiteLLM exigem configurar o backend PostgreSQL.
O arquivo .env reúne 19 chaves no exemplo. O guia recomenda gerar valores aleatórios para os segredos, manter o prefixo sk- na chave mestra do LiteLLM e não alterar CREDS_KEY nem CREDS_IV depois que usuários começarem a salvar credenciais. Também orienta não carregar o arquivo inteiro no shell, pois o Bash trata UID como variável somente de leitura.

Comentários
0Comece a conversa.
Seja a primeira pessoa a comentar este conteúdo.