Cloud Server
Cloud Server para Apache Flink sem gargalos
Aprenda a dimensionar Cloud Server para Apache Flink em produção, com CPU, RAM, rede, checkpoints, alta disponibilidade e exemplos reais de arquitetura.
Resposta direta
Um Cloud Server para Apache Flink em produção deve ser dimensionado pelo volume de eventos, complexidade dos operadores, tamanho do estado e tempo aceitável de recuperação. Um ponto de partida para cargas pequenas é usar 3 nós, cada um com 4 vCPUs e 16 GB de RAM, além de armazenamento de objetos para checkpoints. Cargas médias costumam pedir TaskManagers com 8 vCPUs, 32 GB de RAM, rede de pelo menos 1 Gbps e paralelismo alinhado às partições do Kafka. O disco local rápido ajuda no estado mantido em RocksDB, mas não substitui checkpoints externos. Antes de contratar capacidade definitiva, execute testes com eventos representativos, falhas simuladas e picos de tráfego. Flink não deve ser dimensionado apenas pela média de eventos por segundo.
Resumo rápido
- Separe JobManager e TaskManagers em produção para reduzir a disputa por CPU e memória.
- Comece com um slot por núcleo físico ou vCPU utilizável, depois ajuste por benchmark.
- Reserve memória para JVM, rede, estado gerenciado e overhead do processo.
- Grave checkpoints em armazenamento externo durável, não apenas no disco do nó.
- Mantenha Kafka, Flink e destinos de dados em regiões próximas para controlar a latência.
- Monitore backpressure, duração de checkpoint, busy time, lag e reinicializações.
- Teste recuperação de falhas antes de considerar o ambiente pronto para produção.
Como organizar a arquitetura do Apache Flink
Uma implantação do Apache Flink é dividida entre o JobManager, responsável pela coordenação dos jobs, e os TaskManagers, que executam os operadores. O JobManager agenda tarefas, acompanha checkpoints e reage a falhas. Cada TaskManager oferece slots de execução, mas um slot não equivale automaticamente a uma vCPU. Ele representa uma divisão lógica dos recursos disponíveis no processo. Se um nó com 8 vCPUs executa um TaskManager com oito slots, cada slot disputará aproximadamente uma vCPU, além da memória compartilhada e do tráfego de rede.
JobManager, TaskManagers e slots
Em um laboratório, JobManager e TaskManager podem dividir um Cloud Server com 4 vCPUs e 8 GB de RAM. Essa configuração serve para validar código, serialização e conectores, mas cria um único ponto de falha. Em produção pequena, uma topologia mais segura usa dois JobManagers para alta disponibilidade e três TaskManagers. Um exemplo inicial seria reservar 2 vCPUs e 4 GB para cada JobManager, enquanto cada TaskManager recebe 4 vCPUs e 16 GB.
Para uma pipeline que consome oito partições do Kafka, aplica filtros e grava agregações por janela, configure paralelismo 8 nos operadores principais. Se o sink aceita apenas quatro gravações concorrentes, mantenha esse operador com paralelismo 4 para não sobrecarregar o banco. Já uma transformação pesada com JSON, expressões regulares e enriquecimento pode precisar de paralelismo 16, mesmo quando a origem tem oito partições, desde que haja redistribuição dos registros.
Cluster isolado ou compartilhado
Um cluster por aplicação facilita upgrades, isolamento de falhas e cálculo de custos. Um cluster compartilhado aproveita melhor recursos ociosos, mas um job com vazamento de memória ou checkpoint lento pode afetar os demais. Para três pipelines críticas, a opção mais previsível é executar clusters separados ou usar o modo application no Kubernetes. Para vinte jobs internos de baixo risco, um session cluster pode reduzir desperdício, desde que quotas e limites estejam configurados.
A escolha também depende da natureza da infraestrutura. Uma VPS tradicional costuma manter recursos fixos em um host virtualizado. Um Cloud Server ou uma cloud instance pode oferecer provisionamento por API e redimensionamento mais rápido, embora resiliência e migração automática dependam do provedor e do produto contratado. O Flink não transforma uma máquina isolada em arquitetura tolerante a falhas. A disponibilidade surge da combinação de nós distintos, coordenação externa e dados persistidos fora do ciclo de vida das instâncias.
Dimensionamento de CPU, RAM e paralelismo
CPU e memória devem ser calculadas a partir do trabalho realizado por evento. Uma pipeline que apenas desserializa Avro e encaminha registros exige menos recursos que outra com janelas de 30 minutos, joins temporais e estado por cliente. Como referência inicial, um TaskManager com 4 vCPUs e 16 GB de RAM atende testes de produção pequenos. Para transformações mais intensas, 8 vCPUs e 32 GB oferecem espaço para mais slots, buffers de rede e estado. Esses números são pontos de partida, não garantias de throughput.
Memória de processo e memória gerenciada
O Flink divide a memória do processo entre heap da JVM, memória gerenciada, buffers de rede, metaspace e overhead. Entregar todos os 16 GB ao heap aumenta o risco de o sistema operacional encerrar o processo. Em um servidor de 16 GB, uma configuração prudente limita o processo do TaskManager a cerca de 13 GB, deixando aproximadamente 3 GB para kernel, agentes e picos. O parâmetro taskmanager.memory.process.size: 13g permite ao Flink derivar as subdivisões, mas o resultado deve ser conferido na interface e nos logs.
Se o job mantém estado grande com RocksDB, reserve uma parcela maior para memória gerenciada e monitore compactações. Se o estado cabe confortavelmente no heap e a latência é prioritária, o HashMapStateBackend pode funcionar bem, desde que pausas de garbage collection permaneçam controladas. Um exemplo prático é uma contagem por dispositivo com 500 mil chaves e poucos bytes por chave. Ela pode caber no heap. Um join que preserva dezenas de milhões de registros por uma hora tende a exigir RocksDB e disco local rápido.
Como calcular o paralelismo inicial
Comece pelo maior limitador conhecido. Um tópico Kafka com 24 partições permite até 24 consumidores ativos no source de um grupo. Com quatro TaskManagers de 8 vCPUs e seis slots cada, o cluster oferece 24 slots e combina bem com paralelismo 24. Se o job usa operadores encadeados, source, map e filter podem compartilhar o mesmo slot. Um rebalanceamento, keyBy ou sink lento pode alterar completamente esse comportamento.
A CPU deve operar com margem. Sustentar 95% por longos períodos deixa pouco espaço para checkpoints, recuperação e picos. Uma meta operacional razoável é manter os TaskManagers entre 50% e 70% durante a carga normal. Faça um teste de 60 minutos com a taxa média, depois injete de duas a três vezes esse volume por 10 minutos. Registre throughput, latência ponta a ponta, backpressure e duração de checkpoint. Se o lag continuar crescendo depois que o pico termina, aumente paralelismo ou elimine o operador limitante antes de simplesmente adicionar RAM.
Estado, checkpoints e armazenamento persistente
Aplicações stateful são o principal motivo para tratar o Flink como infraestrutura distribuída, e não como um conjunto de processos descartáveis. O estado pode armazenar contagens, sessões, janelas, deduplicação e dados necessários a joins. Uma falha sem checkpoint válido pode obrigar a aplicação a reprocessar horas de eventos ou, em configurações inadequadas, perder consistência. Por isso, o disco do TaskManager e o destino dos checkpoints exercem papéis diferentes.
Escolha do backend de estado
O HashMapStateBackend mantém o estado de trabalho na memória da JVM. Ele oferece acesso rápido, mas fica limitado pelo heap e aumenta a pressão sobre o garbage collector. O EmbeddedRocksDBStateBackend mantém grande parte do estado em estruturas locais e arquivos, permitindo estados maiores que o heap. Em troca, surgem custos de serialização, compactação e I/O. Um Cloud Server com SSD ou NVMe pode reduzir esperas locais, mas a diferença precisa ser medida com o padrão real de leitura e escrita.
Considere uma pipeline de antifraude com 20 milhões de contas, estado médio de 1 KB por chave e retenção de duas horas. O estado bruto já se aproxima de 20 GB, sem contar índices, metadados e amplificação de escrita. Distribuir esse job em quatro TaskManagers com 32 GB de RAM e pelo menos 100 GB de disco local por nó cria uma margem inicial mais realista que tentar acomodá-lo em duas máquinas pequenas. Outro exemplo é uma agregação de métricas com estado total de 2 GB. Nesse cenário, o backend em memória pode ser mais simples e eficiente.
Retenção e recuperação
Checkpoints devem ir para armazenamento durável acessível por qualquer nó substituto, como um serviço compatível com S3, HDFS resiliente ou volume compartilhado aprovado para essa finalidade. Não grave a única cópia em /tmp ou no mesmo disco efêmero do TaskManager. Uma configuração inicial pode usar intervalo de 60 segundos, timeout de 10 minutos e apenas um checkpoint concorrente. Jobs com picos de I/O podem precisar de intervalos de dois a cinco minutos.
Para checkpoints incrementais com RocksDB, acompanhe tamanho total, bytes enviados e tempo de alinhamento. Se cada checkpoint transfere 40 GB e leva oito minutos, dispará-lo a cada minuto só cria sobreposição e pressão adicional. Retenha pelo menos um checkpoint externoizado após cancelamentos planejados e mantenha savepoints para upgrades controlados. A restauração também precisa ser cronometrada. Um job que processa 100 mil eventos por segundo, mas demora 45 minutos para voltar, pode não cumprir o objetivo de recuperação do negócio.
Rede, Kafka e destinos analíticos
Streaming depende de rede estável tanto quanto de CPU. O Flink movimenta dados entre sources, operadores, TaskManagers e sinks. Operações como keyBy, rebalance e joins provocam troca de dados pela rede. Se Kafka está em uma região, os TaskManagers em outra e o banco analítico em uma terceira, cada registro pode atravessar enlaces de alta latência várias vezes. Isso aumenta custos de transferência, reduz throughput e torna falhas transitórias mais frequentes.
Partições e backpressure
O número de partições do Kafka limita o paralelismo útil do source. Um tópico com seis partições não alimentará 24 subtarefas simultaneamente no mesmo grupo. Antes de ampliar o cluster Flink, verifique distribuição das chaves, tamanho das mensagens e lag por partição. Uma chave muito popular pode concentrar processamento em uma única subtarefa, mesmo quando a média do cluster parece saudável. Esse desequilíbrio aparece como busy time alto em um operador e utilização baixa nos demais.
Para uma arquitetura com Kafka, consulte também o planejamento de infraestrutura para Apache Kafka no Brasil. Um exemplo coerente é manter três brokers e quatro TaskManagers na mesma região privada, usando endereços internos e rede de pelo menos 1 Gbps. Com eventos médios de 2 KB e taxa de 50 mil eventos por segundo, a entrada bruta chega a cerca de 100 MB/s antes de réplicas, protocolos e embaralhamento. Uma porta anunciada como 1 Gbps tem limite teórico próximo de 125 MB/s, mas o throughput efetivo será menor.
Latência entre serviços
O destino também impõe limites. Gravar cada evento individualmente em um banco cria muitas conexões e confirmações. Prefira lotes de 500 a 5.000 registros quando o conector e a tolerância de latência permitirem. Para ClickHouse, combine batching, tabelas adequadas e controle de duplicidade. O artigo sobre Cloud Server para ClickHouse e analytics em tempo real aprofunda o dimensionamento do destino analítico.
Em um pipeline com SLA de cinco segundos, lotes enviados a cada segundo podem ser aceitáveis. Em alertas de fraude com meta abaixo de 200 ms, esse mesmo ajuste falha. Teste três cenários: operação normal, indisponibilidade do sink por cinco minutos e retorno com backlog acumulado. Se a recuperação derruba o banco ou mantém backpressure por horas, limite a concorrência do sink, ajuste lotes e crie capacidade de absorção antes de aumentar o paralelismo indiscriminadamente.
Alta disponibilidade, segurança e implantação
Alta disponibilidade no Flink envolve coordenação, reinício de jobs e acesso aos metadados necessários para restaurar o estado. Dois JobManagers só ajudam quando existe um mecanismo de eleição e armazenamento persistente corretamente configurado. Em Kubernetes, o operador do Flink ou recursos nativos podem controlar o ciclo de vida. Em modo standalone, ZooKeeper costuma ser usado na coordenação de alta disponibilidade. A configuração exata deve acompanhar a versão do Flink e a documentação oficial correspondente.
Standalone, Kubernetes ou serviço gerenciado
Standalone em Cloud Servers oferece controle direto e baixa complexidade de plataforma para equipes pequenas. Um exemplo é usar dois nós de coordenação com 2 vCPUs e 4 GB e quatro nós de execução com 8 vCPUs e 32 GB. A equipe, porém, assume upgrades, certificados, reinícios e automação. Kubernetes facilita isolamento, deployment declarativo e reposição de pods, mas adiciona componentes que também consomem recursos. Para um cluster pequeno, reserve capacidade para o plano de controle, DNS, métricas e agentes.
Um serviço gerenciado reduz tarefas operacionais, embora imponha limites de versão, conectores e configuração. Compare o tempo da equipe, requisitos de rede privada, portabilidade e recuperação, não apenas o custo nominal da instância. Preços, regiões, largura de banda e tipos de disco mudam com frequência e precisam de revisão humana nas páginas oficiais antes de qualquer comparação comercial.
| Perfil de implantação | Computação inicial | Armazenamento de estado | Vantagem principal | Risco operacional |
|---|---|---|---|---|
| Standalone pequeno | 2 JobManagers de 2 vCPU e 3 TaskManagers de 4 vCPU | Objeto externo e SSD local | Arquitetura direta | Automação e failover ficam com a equipe |
| Kubernetes médio | 3 a 6 TaskManagers de 8 vCPU e 32 GB | Objeto externo e volumes rápidos | Escala e isolamento declarativos | Complexidade do cluster e limites mal definidos |
| Produção crítica | 6 ou mais TaskManagers distribuídos por zonas | Objeto durável, savepoints e política de retenção | Maior tolerância a falhas | Custo, tráfego entre zonas e recuperação longa |
Proteção do plano de controle
Não exponha a interface web do Flink diretamente à internet. Coloque-a atrás de VPN, proxy autenticado ou rede privada. Restrinja portas entre JobManagers, TaskManagers, Kafka e armazenamento com firewall. Use TLS quando o tráfego cruza redes não confiáveis e armazene credenciais em um gerenciador de segredos, nunca no código do job ou em imagens públicas.
A validação final deve incluir três testes: encerramento de um TaskManager durante um checkpoint, falha do JobManager ativo e restauração em nós novos. Registre o tempo de detecção e recuperação. Snapshots do servidor ajudam em incidentes de infraestrutura, mas não substituem savepoints, checkpoints e backup independente das configurações.
Observabilidade e solução de gargalos
Uma pipeline pode continuar marcada como ativa enquanto acumula horas de atraso. Monitorar apenas disponibilidade do processo não revela a saúde do fluxo. O conjunto mínimo inclui taxa de entrada e saída, lag da origem, backpressure, busy time, idle time, utilização de CPU, heap, memória gerenciada, garbage collection, duração e falhas de checkpoints. Métricas do Kafka e do destino precisam aparecer no mesmo painel para que a equipe enxergue a cadeia inteira.
Métricas que antecipam incidentes
Se backPressuredTimeMsPerSecond permanece alto, algum operador posterior não consegue consumir dados na mesma velocidade. Se busyTimeMsPerSecond chega perto de 1.000 em uma subtarefa, mas fica baixo nas demais, procure skew de chaves. Checkpoints que crescem de 30 segundos para quatro minutos podem indicar aumento de estado, storage lento ou barreiras desalinhadas. Uma sequência de full garbage collections aponta para heap pressionado, objetos temporários demais ou configuração de memória inadequada.
Exporte métricas para Prometheus e monte painéis no Grafana, ou use a pilha de monitoramento já adotada pela empresa. Logs precisam conter job ID, nome do operador e identificadores de implantação. Para correlacionar Flink, Kafka e serviços que recebem resultados, uma estratégia de OpenTelemetry em produção ajuda a padronizar métricas, logs e traces, embora nem todo evento de streaming deva virar um span individual.
Diagnóstico por sintoma
Quando o lag cresce e a CPU está baixa, examine partições ociosas, bloqueio no sink, conexões e espera por I/O. Quando CPU e busy time estão altos em todos os operadores, aumente paralelismo ou otimize a função mais cara. Se apenas uma subtarefa está saturada, salgar chaves, pré-agregar eventos ou alterar o particionamento pode ser mais eficaz que adicionar servidores.
Para checkpoints instáveis, compare tamanho do estado, tempo de alinhamento e velocidade do destino. Ative checkpoints não alinhados apenas depois de entender o backpressure e testar o impacto no armazenamento. Em um teste de caos, interrompa um TaskManager por cinco minutos e confirme que o job restaura sem duplicidade indevida no sink. Depois simule indisponibilidade do armazenamento de checkpoints. Alarmes úteis incluem lag crescente por 10 minutos, três checkpoints consecutivos com falha e reinicializações acima do limite definido para o job.
Recomendações por perfil
Desenvolvedor individual e laboratório
Para aprender, desenvolver conectores ou validar uma pipeline, comece com um Cloud Server de 4 vCPUs, 8 a 16 GB de RAM e 60 GB de SSD. Execute JobManager e TaskManager no mesmo nó, com dois ou quatro slots. Use Kafka reduzido ou Redpanda em ambiente separado quando houver memória disponível. Essa configuração não representa alta disponibilidade e não deve sustentar uma carga crítica. Crie um bucket compatível com S3 para aprender a configurar checkpoints externos. Teste jobs com 1.000, 5.000 e 10.000 eventos por segundo e observe como serialização, janelas e estado alteram CPU e memória.
Equipe de dados em crescimento
Uma equipe com pipelines internas e volume moderado pode começar com dois JobManagers de 2 vCPUs e 4 GB, além de três TaskManagers de 8 vCPUs e 32 GB. Use 18 a 24 slots no total, conforme o custo de cada operador. Mantenha pelo menos 100 GB de SSD por TaskManager se RocksDB for usado, mas grave checkpoints em armazenamento externo. Separe desenvolvimento e produção, automatize deployments e estabeleça alertas para lag, backpressure e falha de checkpoint. Faça testes com o dobro da taxa de pico prevista. Se vários jobs compartilham o cluster, aplique limites de recursos e considere migrar pipelines críticas para application clusters isolados.
Produção crítica e alto volume
Para sistemas que influenciam pagamentos, fraude, logística ou telemetria operacional, prefira seis ou mais TaskManagers distribuídos entre domínios de falha. Nós com 8 a 16 vCPUs e 32 a 64 GB são referências iniciais, não uma recomendação universal. Dimensione a rede pelo tráfego após replicação e shuffle, mantenha armazenamento de checkpoints redundante e defina objetivos de recuperação. Um RTO de 10 minutos exige restore medido abaixo desse limite com estado real, não uma estimativa. Teste perda de nó, indisponibilidade do sink e retomada após backlog. Use entrega exatamente uma vez apenas quando source, checkpoint e sink sustentarem essa semântica em conjunto.
A contratação final deve considerar limites de CPU, oversubscription, velocidade efetiva de rede, cobrança de tráfego, disponibilidade regional e política de volumes. Um Cloud Server flexível facilita aumentar TaskManagers, mas escala automática baseada apenas em CPU pode reagir tarde ao lag. Combine métricas do Flink, Kafka e negócio. Quando uma campanha eleva o tráfego de 80 mil para 250 mil eventos por segundo, capacidade pré-aquecida e partições suficientes costumam ser mais previsíveis que esperar o provisionamento ocorrer durante o pico.
Continue lendo
Perguntas frequentes
Quanta RAM um Cloud Server para Apache Flink precisa?
Um ambiente de desenvolvimento pode começar com 8 a 16 GB de RAM, enquanto um TaskManager de produção costuma partir de 16 ou 32 GB. A necessidade real depende do estado, dos buffers de rede, do backend escolhido e da quantidade de slots. Não entregue toda a memória ao heap da JVM. Em um servidor de 16 GB, limitar o processo do TaskManager a aproximadamente 13 GB deixa margem para kernel e agentes. Jobs com RocksDB, joins extensos ou milhões de chaves devem ser testados com dados representativos antes da contratação definitiva.
Quantos servidores são necessários para rodar Flink em produção?
Uma configuração pequena, mas distribuída, pode usar dois JobManagers e três TaskManagers, totalizando cinco instâncias ou processos isolados. O número não garante alta disponibilidade sozinho, pois também são necessários coordenação, checkpoints externos e distribuição entre domínios de falha. Ambientes menos críticos podem executar os JobManagers em nós que hospedam serviços leves, desde que existam reservas de recursos. Para produção crítica, use TaskManagers suficientes para suportar a perda de pelo menos um nó sem acumular um backlog que viole o SLA da aplicação.
SSD ou NVMe faz diferença para Apache Flink?
Discos rápidos fazem mais diferença quando o Flink usa EmbeddedRocksDBStateBackend, realiza muitas compactações ou mantém estado maior que a memória. NVMe pode reduzir latência de leitura e escrita local, mas não corrige paralelismo insuficiente, chaves desbalanceadas ou um sink lento. Também não substitui armazenamento externo para checkpoints. Compare SSD e NVMe com o mesmo job, volume de estado e taxa de eventos. Registre duração dos checkpoints, busy time, bytes escritos, pausas de compactação e tempo de recuperação antes de concluir que o disco é o gargalo.
Como definir o número de slots e o paralelismo no Flink?
Um ponto de partida simples é configurar aproximadamente um slot por vCPU disponível ao TaskManager, reservando capacidade para o sistema operacional e processos auxiliares. Depois, alinhe o paralelismo do source às partições do Kafka e ajuste operadores pesados separadamente. Um tópico com 24 partições pode alimentar até 24 subtarefas ativas no mesmo grupo. Isso não significa que todos os operadores precisem de paralelismo 24. Sinks com limites de conexão podem usar paralelismo menor, enquanto transformações intensivas podem precisar de mais subtarefas após uma redistribuição dos registros.
Kubernetes é obrigatório para executar Apache Flink em produção?
Não. O Flink pode operar em servidores standalone com alta disponibilidade coordenada, em Kubernetes ou em serviços gerenciados. Kubernetes ajuda na implantação declarativa, reposição de pods, isolamento e integração com ferramentas de plataforma, mas adiciona consumo e complexidade. Uma equipe pequena com poucos jobs pode operar servidores standalone com automação adequada. Equipes que já mantêm Kubernetes tendem a aproveitar melhor o modo application e operadores especializados. A decisão deve considerar experiência operacional, frequência de deploy, isolamento, recuperação e custo da plataforma completa.
Qual intervalo de checkpoint usar no Apache Flink?
Sessenta segundos é um ponto de partida comum, mas não serve para todos os jobs. O intervalo deve equilibrar perda máxima aceitável, custo de I/O e duração do próprio checkpoint. Se um checkpoint leva quatro minutos, iniciá-lo a cada minuto pode manter pressão contínua sobre armazenamento e rede. Jobs com estado pequeno podem usar intervalos de 30 a 60 segundos. Estados de dezenas de gigabytes podem exigir dois a cinco minutos ou mais. Meça alinhamento, bytes transferidos, falhas e tempo de restauração, depois valide a configuração por meio de falhas simuladas.
Fontes consultadas
- Apache Flink Documentation: Deployment · coletado em 20/10/2026
- Apache Flink Documentation: Memory Configuration · coletado em 20/10/2026
- Apache Flink Documentation: Checkpointing · coletado em 20/10/2026
- Apache Flink Documentation: High Availability · coletado em 20/10/2026
- Apache Flink Documentation: Metrics · coletado em 20/10/2026