Melhor VPS

Cloud Server

Langfuse self-hosted em Cloud Server: dimensione certo

Aprenda a hospedar Langfuse self-hosted em Cloud Server com PostgreSQL, ClickHouse, segurança, backups e escala para observar aplicações com LLMs em uso.

Revisão editorial: Concluída

Resposta direta

Para hospedar o Langfuse self-hosted em Cloud Server, trate a aplicação como uma pilha de observabilidade composta por serviço web, workers, PostgreSQL, ClickHouse, Redis ou Valkey e armazenamento de objetos compatível com S3. Um laboratório pode começar com 4 vCPUs, 8 GB de RAM e 100 GB de SSD, enquanto uma produção pequena tende a trabalhar melhor a partir de 8 vCPUs, 16 GB de RAM e 200 GB de SSD ou NVMe. Esses números são referências iniciais, não garantias. O tamanho real depende de traces por segundo, quantidade de gerações, payload dos prompts, retenção e consultas analíticas. Em produção, publique apenas HTTPS, mantenha os bancos em rede privada, use segredos aleatórios, aplique mascaramento de dados sensíveis e teste a restauração de PostgreSQL, ClickHouse e objetos.

Resumo rápido

  • O Langfuse self-hosted não é apenas um contêiner web, pois depende de bancos, fila e armazenamento persistente.
  • PostgreSQL mantém dados relacionais, enquanto ClickHouse atende eventos e consultas analíticas de grande volume.
  • Redis ou Valkey participa do processamento assíncrono, e o armazenamento compatível com S3 recebe objetos persistentes exigidos pela arquitetura.
  • Um ponto de partida para produção pequena é 8 vCPUs, 16 GB de RAM e 200 GB de disco rápido.
  • Portas de PostgreSQL, ClickHouse e Redis não devem ficar expostas à internet.
  • Snapshots do servidor ajudam, mas não substituem backups consistentes e testes periódicos de restauração.
  • Escale primeiro com métricas de CPU, memória, IOPS, filas e latência de consulta, evitando upgrades feitos apenas por suposição.

Como funciona a arquitetura do Langfuse self-hosted

Executar o Langfuse no próprio ambiente dá controle sobre localização, retenção e acesso aos dados de observabilidade. Esse controle vem acompanhado de uma pilha mais ampla do que a interface web sugere. Nas versões atuais da arquitetura self-hosted, a aplicação utiliza componentes web e workers, PostgreSQL, ClickHouse, Redis ou Valkey e armazenamento de objetos compatível com S3. A composição exata e as variáveis podem mudar entre versões, então o arquivo oficial de implantação deve ser conferido antes de cada atualização.

Serviços que precisam persistir dados

O PostgreSQL armazena informações relacionais, como organizações, projetos, usuários e configurações. O ClickHouse recebe a carga analítica dos eventos e precisa de disco com boa taxa de escrita, memória suficiente para consultas e política clara de retenção. Redis ou Valkey oferece suporte a tarefas assíncronas e filas. Já o armazenamento de objetos atende dados persistentes que não devem depender do sistema de arquivos efêmero de um contêiner.

Imagine uma API que processa 50 mil chamadas de LLM por dia. Cada requisição pode gerar trace, span, geração, metadados e avaliações. Mesmo que o payload médio armazenado tenha apenas 10 KB, o volume bruto chega perto de 500 MB por dia antes de considerar índices, réplicas, logs, temporários e backups. Se a equipe registrar respostas extensas ou documentos recuperados por RAG, a ocupação cresce muito mais rápido.

Cloud Server único ou componentes separados

Um Cloud Server de nó único simplifica o início: todos os serviços ficam na mesma rede Docker e o backup pode ser coordenado em uma máquina. A desvantagem é o domínio de falha compartilhado. Reiniciar o host, esgotar memória ou preencher o disco afeta toda a plataforma. Em ambientes maiores, PostgreSQL, ClickHouse e armazenamento de objetos podem ser separados ou consumidos como serviços gerenciados.

Esse desenho se conecta ao planejamento mais amplo de um Cloud Server para IA e LLM self-hosted. O Langfuse observa modelos e aplicações, mas normalmente não deve disputar RAM, GPU e I/O com o servidor que executa inferência. Separar observabilidade e inferência reduz a chance de uma consulta analítica pesada aumentar a latência do modelo.

CPU, RAM, disco e rede para dimensionar o ambiente

O dimensionamento deve partir de quatro medidas: eventos ingeridos por segundo, tamanho médio dos eventos, retenção desejada e padrão de consulta. Número de usuários da interface ajuda, mas costuma ser menos relevante que o volume enviado pelos SDKs. Uma equipe de três pessoas pode produzir milhões de spans por dia se mantiver agentes, avaliações automáticas e pipelines de RAG ativos.

Configurações iniciais por volume

A tabela abaixo apresenta referências editoriais para planejamento. Elas não substituem teste de carga, pois versões do Langfuse, consultas, compressão e concorrência mudam o consumo real.

PerfilCarga de referênciaCPU e RAM iniciaisArmazenamento inicialTopologia sugerida
LaboratórioAté 20 mil eventos por dia4 vCPUs e 8 GB100 GB SSDTodos os serviços em um Cloud Server
Produção pequena20 mil a 500 mil eventos por dia8 vCPUs e 16 GB200 a 400 GB SSD ou NVMeNó único monitorado, com volumes separados quando possível
Equipe em crescimento500 mil a 5 milhões de eventos por dia16 vCPUs e 32 GB500 GB a 1 TB NVMeAplicação separada de PostgreSQL e ClickHouse
Alto volumeAcima de 5 milhões de eventos por diaDefinido por benchmarkCapacidade baseada em ingestão e retençãoServiços distribuídos, réplicas e filas monitoradas

Em um nó de 8 vCPUs e 16 GB, uma divisão prática para começar seria reservar aproximadamente 4 a 6 GB para ClickHouse, 2 a 4 GB para PostgreSQL, até 1 GB para Redis ou Valkey e o restante para sistema, cache de página, web e workers. Não transforme esses limites em números rígidos. Se o kernel começar a usar swap durante consultas, o painel pode ficar lento mesmo com CPU ociosa.

Como estimar armazenamento e retenção

Uma conta inicial pode usar a fórmula: eventos diários multiplicados pelo tamanho médio, pelos dias de retenção e por um fator de segurança entre 1,5 e 2,5. Para 300 mil eventos diários de 8 KB durante 90 dias, o volume bruto fica perto de 216 GB. Com fator 2, o planejamento sobe para aproximadamente 432 GB. Compressão pode reduzir o uso, mas índices, merges, logs e backups podem compensar parte da economia.

Disco NVMe ajuda quando ClickHouse faz ingestão contínua e consultas concorrentes, porém não corrige falta de RAM, consultas ruins ou retenção ilimitada. Monitore latência de I/O, fila do dispositivo e espaço livre. Trabalhar acima de 80% de ocupação reduz a margem para merges, atualizações e restaurações temporárias. A rede também conta: em arquitetura distribuída, 1 Gbps pode bastar no início, enquanto ingestão intensa e backups remotos podem exigir mais capacidade ou janelas controladas.

Implantação com Docker Compose sem improvisar em produção

Docker Compose é uma forma direta de avaliar o Langfuse e operar instalações pequenas, desde que o servidor receba os mesmos cuidados de qualquer serviço de produção. Use uma distribuição suportada, como Ubuntu Server 24.04 LTS, mantenha o sistema atualizado e reserve volumes persistentes em disco. O diretório raiz não deve concentrar aplicação, bancos e logs sem limites, pois um log descontrolado pode preencher a partição e interromper todos os contêineres.

Preparação do servidor

Comece com DNS apontando para o endereço do Cloud Server e libere publicamente apenas HTTP e HTTPS. O acesso SSH deve aceitar chave, não senha. Depois, instale Docker Engine e o plugin Compose a partir da documentação oficial. O repositório e o arquivo de Compose do Langfuse devem ser obtidos da fonte oficial, revisados e fixados em uma versão testada.

sudo apt update
sudo apt install ca-certificates curl ufw
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw enable

Se o SSH estiver em outra porta ou restrito por VPN, ajuste as regras antes de ativar o firewall. Portas como 5432, 6379, 8123 e 9000 não devem ser abertas para toda a internet. Dentro do Compose, os serviços podem conversar por uma rede interna, sem publicação desnecessária no endereço do host.

Segredos, versões e validação do deploy

Gere segredos longos e diferentes para autenticação, criptografia, PostgreSQL e ClickHouse. Um gerador local pode criar valores sem enviá-los a serviços externos:

openssl rand -hex 32
openssl rand -base64 48

Armazene os valores em arquivo de ambiente com permissão 600, em Docker secrets ou em um gerenciador de segredos. Nunca coloque credenciais no Git, em exemplos públicos ou em imagens. Também evite usar a tag latest. Fixar uma versão reduz mudanças inesperadas, mas a atualização ainda precisa seguir notas de lançamento e incluir backup anterior.

Após subir a pilha com docker compose up -d, verifique docker compose ps, logs de web e workers, consumo com docker stats e disponibilidade do endpoint HTTPS. Faça um teste funcional criando um projeto temporário, enviando um trace e confirmando que ele aparece após o processamento assíncrono. Em seguida, reinicie o servidor para conferir se volumes e políticas de reinício funcionam. Esse teste simples encontra dependências efêmeras antes que o primeiro incidente aconteça.

Segurança, privacidade e estratégia de backup

O Langfuse pode armazenar prompts, respostas, identificadores de usuários, documentos recuperados e metadados de negócio. Isso torna a plataforma um sistema sensível, mesmo quando ela não atende clientes diretamente. O primeiro controle é reduzir o que chega ao servidor. Tokens, senhas, números de documentos e conteúdo pessoal devem ser removidos ou mascarados na aplicação antes do envio.

Reduzindo a superfície de ataque

Use TLS no proxy reverso, cookies seguros e controle de acesso compatível com a política da empresa. Recursos de autenticação variam por versão e edição, então SSO, restrições de cadastro e opções empresariais precisam ser confirmados na documentação atual. Para equipes pequenas, uma VPN ou camada de acesso com identidade pode limitar o painel sem expor a rota administrativa a qualquer endereço.

No host, desabilite login SSH de root, aplique atualizações de segurança e restrinja o usuário que acessa o Docker. Participar do grupo docker equivale, na prática, a ter privilégios elevados. Bancos devem aceitar conexões apenas da rede interna ou de sub-redes privadas. Um exemplo concreto é permitir PostgreSQL somente a partir do nó de aplicação e do endereço usado pelo processo de backup, em vez de publicar a porta 5432.

Backup consistente exige mais que um snapshot

Um snapshot do Cloud Server captura blocos de disco em determinado momento, mas não garante consistência lógica simultânea entre PostgreSQL, ClickHouse e armazenamento de objetos. Para PostgreSQL, use pg_dump em bases menores ou backup físico com retenção e recuperação ponto no tempo quando o RPO exigir. Para ClickHouse, siga o mecanismo de backup compatível com a versão implantada. Objetos devem ser copiados para destino separado, de preferência com versionamento e política de retenção.

Considere uma produção pequena com RPO de 24 horas e RTO de quatro horas. Ela pode executar backup diário, manter sete cópias diárias e quatro semanais, além de testar restauração mensal em servidor isolado. Uma operação crítica pode exigir WAL contínuo no PostgreSQL, backups mais frequentes do ClickHouse e replicação de objetos. Em ambos os casos, guardar cópias no mesmo disco do servidor não protege contra exclusão, corrupção ou perda do host.

A LetsCloud pode entrar na avaliação quando houver necessidade de Cloud Server em localidade compatível com o público e a política de dados. Tipo de disco, regiões, snapshots, backup, suporte e SLA precisam ser confirmados por plano antes da contratação. A decisão não deve depender apenas do nome do provedor, mas também de rede privada, capacidade de disco, processo de recuperação e acesso a métricas.

Instrumentação de aplicações e controle dos dados

O Langfuse observa o comportamento da aplicação com LLM, enquanto ferramentas de infraestrutura observam CPU, memória, rede, contêineres e bancos. Essas duas visões se complementam. Um trace pode mostrar que a chamada ao modelo levou oito segundos, mas não explica sozinho se o worker estava sem CPU, se o DNS falhou ou se o ClickHouse enfrentou saturação de I/O.

O que enviar ao Langfuse

Uma aplicação de atendimento pode criar um trace por conversa, spans para recuperação de documentos e uma geração para cada chamada ao modelo. Registre modelo, latência, contagem de tokens, ambiente e resultado da avaliação. Evite usar e-mail ou CPF como identificador direto. Um identificador pseudonimizado permite agrupar sessões sem transformar o painel em cópia do banco de clientes.

Em um pipeline RAG, um trace útil pode conter três etapas: busca vetorial em 120 ms, reranking em 80 ms e geração em 2,4 segundos. Se a resposta receber uma nota de relevância baixa, a equipe consegue investigar os documentos recuperados e a versão do prompt. Já enviar o documento completo em todos os spans aumenta custo de armazenamento e risco de exposição sem necessariamente melhorar o diagnóstico.

Para relacionar eventos de aplicação e infraestrutura, adote identificadores de correlação. Um trace ID pode aparecer nos logs da API, no Langfuse e no pipeline de métricas, respeitando o formato aceito por cada ferramenta. O artigo sobre Cloud Server para OpenTelemetry em produção mostra como estruturar collectors, sinais e retenção sem confundir telemetria de infraestrutura com observabilidade específica de LLM.

Amostragem, mascaramento e retenção

Em desenvolvimento, registrar 100% das chamadas facilita depuração. Em produção com alto volume, uma política pode guardar todos os erros, todas as avaliações negativas e apenas 10% das respostas bem-sucedidas. Outra opção é manter payload completo por sete dias e metadados agregados por 90 dias, desde que a arquitetura e as obrigações legais permitam essa separação.

Amostragem precisa ser aplicada com critério. Descartar eventos antes de saber o resultado pode esconder erros raros. Uma estratégia híbrida mantém integralmente requisições lentas, falhas e casos sinalizados pelo usuário, reduzindo o restante. Registre a regra e sua versão, pois mudanças na amostragem alteram gráficos históricos e comparações de qualidade.

Escalabilidade e diagnóstico de gargalos

Escalar o Langfuse sem medir o gargalo costuma apenas deslocar o problema. Colete métricas do host, contêineres, PostgreSQL, ClickHouse, Redis ou Valkey e filas de processamento. Os sinais mais úteis incluem CPU por serviço, memória residente, uso de swap, IOPS, latência de disco, espaço livre, conexões do PostgreSQL, duração de consultas e atraso entre ingestão e disponibilidade no painel.

Quando escalar verticalmente

O primeiro passo em uma instalação pequena costuma ser aumentar recursos do nó. Se a CPU fica acima de 80% durante períodos sustentados e workers acumulam tarefas, mais vCPUs podem ajudar. Se há OOM kills, swap constante ou consultas encerradas, aumente RAM depois de confirmar qual serviço cresce. Quando o disco mantém alta espera de I/O durante merges do ClickHouse, migrar para armazenamento com mais IOPS pode produzir efeito maior que adicionar CPU.

Considere um ambiente de 8 vCPUs e 16 GB que recebe um pico diário de avaliações. Se a fila aumenta por 20 minutos, mas o servidor permanece abaixo de 50% de CPU, o problema pode ser concorrência limitada no worker, conexão externa ou configuração da fila. Aumentar para 16 vCPUs sem revisar esses pontos gera capacidade ociosa. Faça uma mudança por vez e compare p95 de ingestão, tamanho da fila e tempo das consultas.

Quando separar serviços e adicionar réplicas

Separe componentes quando eles disputarem recursos ou exigirem ciclos de manutenção diferentes. ClickHouse pode ir para um nó com NVMe e mais memória, enquanto PostgreSQL fica em máquina com política de backup e recuperação própria. Web e workers podem ganhar réplicas atrás de balanceador se a versão implantada oferecer suporte à topologia e se sessões, filas e migrações estiverem corretamente tratadas.

O ClickHouse merece planejamento específico quando a retenção e as consultas crescem. O conteúdo sobre Cloud Server para ClickHouse e analytics em tempo real detalha I/O, memória, merges e particionamento. No Langfuse, sintomas como painel lento, consultas canceladas e disco crescendo durante merges apontam para essa camada. Já falhas de login, limites de conexão e migrações podem indicar PostgreSQL. Atraso entre envio e visualização costuma pedir inspeção dos workers, da fila e dos logs, não apenas do frontend.

Antes de adotar Kubernetes, confirme que a equipe consegue operar atualizações, volumes, secrets, probes e backups nesse ambiente. O Helm facilita a declaração dos recursos, mas não elimina o trabalho operacional. Para muitas equipes, dois ou três Cloud Servers bem monitorados são mais previsíveis que um cluster complexo administrado sem experiência.

Recomendações por perfil

A escolha final depende do impacto de uma indisponibilidade, do volume de eventos e da capacidade de operação. As configurações abaixo funcionam como ponto de partida para teste. Meça uma semana representativa, simule picos e mantenha espaço para crescimento antes de consolidar a arquitetura.

Desenvolvedor solo e laboratório

Para protótipos, estudos e aplicações sem dados críticos, comece com 4 vCPUs, 8 GB de RAM e 100 GB de SSD. Execute web, worker, PostgreSQL, ClickHouse, Redis ou Valkey e armazenamento de objetos no mesmo Cloud Server usando o Compose oficial. Limite a retenção, envie dados fictícios sempre que possível e desligue ingestão de payloads desnecessários. Um backup diário externo já oferece proteção básica, mas faça ao menos um teste de restauração. Se a máquina também executa o modelo local, suba para 16 GB ou separe inferência e observabilidade. A disputa de memória entre modelo, ClickHouse e PostgreSQL torna falhas difíceis de diagnosticar e pode invalidar qualquer teste de latência.

Equipe pequena com aplicações em produção

Uma base razoável é 8 vCPUs, 16 GB de RAM e 200 a 400 GB de SSD rápido ou NVMe, conforme disponibilidade do plano. Use HTTPS, rede privada, autenticação restrita e backups independentes para cada componente persistente. Monitore espaço livre, filas, OOM kills e consultas lentas. Defina retenção entre 30 e 90 dias com base em necessidade real, não apenas em conveniência. Se o volume superar algumas centenas de milhares de eventos diários ou houver consultas simultâneas, considere mover ClickHouse para um segundo nó. A equipe também deve documentar atualização, rollback e restauração, pois uma plataforma de observabilidade indisponível durante um incidente reduz justamente a informação necessária para responder ao problema.

Operação crítica ou alto volume

Para milhões de eventos diários, evite dimensionar apenas por tabela. Execute benchmark com payload, taxa de ingestão, avaliações e consultas semelhantes às reais. Separe web e workers dos bancos, use PostgreSQL com recuperação ponto no tempo, planeje ClickHouse com armazenamento e memória próprios e adote objeto compatível com S3 fora do nó de aplicação. Réplicas e balanceamento podem reduzir indisponibilidade, desde que o procedimento de migração de banco seja controlado. Defina SLO para ingestão e consulta, além de RPO e RTO verificáveis. Uma meta prática pode exigir que 99% dos eventos apareçam em até 60 segundos e que a restauração seja concluída em menos de duas horas. Só aceite esses números após teste documentado na infraestrutura escolhida.

Perguntas frequentes

Qual é a configuração mínima para testar o Langfuse self-hosted?

Para laboratório, uma referência prática é começar com 4 vCPUs, 8 GB de RAM e 100 GB de SSD. Essa máquina pode executar web, workers, PostgreSQL, ClickHouse, Redis ou Valkey e armazenamento de objetos em uma única pilha Docker Compose. Uma instalação menor pode iniciar, mas terá pouca margem para consultas, atualizações e picos de ingestão. Monitore memória, swap, espaço livre e atraso das filas desde o primeiro teste. Se o servidor também executar um modelo local, separe as cargas ou aumente bastante a RAM, pois inferência e ClickHouse podem competir pelos mesmos recursos.

O Langfuse self-hosted precisa de PostgreSQL e ClickHouse?

Na arquitetura self-hosted atual, PostgreSQL e ClickHouse cumprem funções diferentes. PostgreSQL mantém dados relacionais, usuários, projetos e configurações, enquanto ClickHouse atende eventos e consultas analíticas de maior volume. A pilha também pode depender de Redis ou Valkey e armazenamento de objetos compatível com S3. Não é seguro remover componentes do arquivo oficial apenas para economizar memória, pois isso pode quebrar recursos ou atualizações. Como a arquitetura evolui, confira a documentação e o Compose da versão que será implantada antes de criar volumes, regras de firewall e rotinas de backup.

Docker Compose é suficiente para usar Langfuse em produção?

Docker Compose pode atender uma produção pequena ou média quando o host é bem administrado, os dados ficam em volumes persistentes e existe monitoramento, backup e processo de atualização. Ele não oferece sozinho alta disponibilidade nem elimina o domínio de falha do servidor único. Para reduzir risco, publique apenas HTTPS, mantenha bancos em rede interna, fixe versões de imagens e teste reinicialização e restauração. Se a ingestão crescer ou a indisponibilidade tiver impacto alto, separe ClickHouse, PostgreSQL e aplicação. Kubernetes passa a fazer sentido quando a equipe já consegue operar volumes, secrets, probes, upgrades e recuperação nesse ambiente.

Como calcular o espaço em disco necessário para o Langfuse?

Multiplique o número de eventos diários pelo tamanho médio de cada evento e pelos dias de retenção. Depois, aplique um fator de segurança entre 1,5 e 2,5 para acomodar índices, merges, logs, temporários e crescimento. Por exemplo, 300 mil eventos de 8 KB por dia durante 90 dias representam cerca de 216 GB brutos. Com fator 2, planeje aproximadamente 432 GB. O resultado muda muito quando prompts, respostas ou documentos RAG são grandes. Meça payloads reais e mantenha o disco abaixo de 80% de ocupação para preservar margem operacional.

Snapshot do Cloud Server substitui o backup do Langfuse?

Não. O snapshot ajuda a recuperar o estado de um disco ou servidor, mas pode capturar PostgreSQL, ClickHouse e objetos em momentos logicamente diferentes. Uma estratégia mais segura combina backup próprio do PostgreSQL, mecanismo compatível com a versão do ClickHouse e cópia independente do armazenamento de objetos. As cópias devem ficar fora do host principal e seguir política de retenção. Também é necessário testar restauração em ambiente isolado. Sem esse teste, a equipe não sabe se credenciais, versões, arquivos e sequência de recuperação são suficientes para cumprir o RPO e o RTO definidos.

Como impedir que dados sensíveis apareçam no Langfuse?

O controle mais eficaz acontece antes do envio. Remova senhas, tokens, documentos pessoais, dados financeiros e conteúdo desnecessário dentro da aplicação ou do pipeline de instrumentação. Use identificadores pseudonimizados em vez de e-mail, CPF ou ID diretamente reconhecível. Também limite acesso ao painel, aplique TLS, defina retenção e registre quem pode consultar ou exportar traces. Amostragem reduz volume, mas não substitui mascaramento. Em ambientes regulados, revise base legal, residência dos dados e política de exclusão com as áreas responsáveis antes de registrar prompts e respostas de usuários reais.

Fontes consultadas