Filas de Mensagens: RabbitMQ vs SQS vs Kafka — Quando e Como Usar Cada Um

Filas de mensagens sao fundamentais para sistemas distribuidos modernos. Permitem comunicacao assincrona entre servicos, processamento em background e nivelamento de carga. Mas qual escolher? RabbitMQ, Amazon SQS e Apache Kafka tem filosofias e casos de uso diferentes. Este guia compara os tres na pratica.

O que sao filas de mensagens e por que usar

Uma fila de mensagens e um sistema intermediario onde produtores enviam mensagens e consumidores as processam. O produtor nao precisa esperar o consumidor processar — a comunicacao e assincrona.

Casos de uso: processamento de pedidos (o checkout retorna instantaneamente, o processamento acontece em background), envio de e-mails e notificacoes (nao bloquear a requisicao do usuario para enviar email), processamento de imagens/videos (upload retorna rapido, transcoding acontece em background), integracao entre microservicos (servicos se comunicam sem chamadas HTTP diretas), nivelamento de carga (picos de trafego sao absorvidos pela fila, processados no ritmo do consumer).

RabbitMQ: o message broker classico

RabbitMQ e um message broker tradicional focado em roteamento sofisticado de mensagens. Baseado no protocolo AMQP.

Modelo: exchanges recebem mensagens dos producers e as roteiam para queues baseado em regras (routing keys, headers). Consumers leem das queues.

Tipos de exchange: Direct (roteia por routing key exata), Fanout (roteia para TODAS as queues conectadas — broadcast), Topic (roteia por padrao de routing key com wildcards), Headers (roteia por headers da mensagem).

Vantagens: roteamento flexivel e poderoso, confirmacao de entrega (acknowledgment) por mensagem, TTL e dead letter queues (tratar mensagens que falham), prioridade de mensagens, suporte nativo a varios protocolos.

Desvantagens: throughput menor que Kafka, mensagens sao removidas apos consumidas (nao e log), complexidade operacional para clusters grandes.

Ideal para: microservicos com roteamento complexo, task queues (processamento em background como Celery), comunicacao request-reply assincrona, quando voce precisa de garantias fortes de entrega por mensagem.

Amazon SQS: a fila na nuvem sem servidor

SQS (Simple Queue Service) e a fila de mensagens serverless da AWS. Voce nao gerencia servidores — a AWS cuida de tudo.

Tipos: Standard Queue (throughput ilimitado, entrega at-least-once, ordem nao garantida, pode entregar duplicatas) e FIFO Queue (entrega exactly-once, ordem garantida dentro de um message group, limite de 3000 msgs/seg com batching).

Vantagens: zero operacao (nao precisa gerenciar infra), escala automaticamente de 0 a milhoes de mensagens, integracao nativa com Lambda, ECS, SNS e outros servicos AWS, precos baixos (U$ 0.40 por milhao de requisicoes).

Desvantagens: latencia maior que RabbitMQ/Kafka on-premise, sem roteamento sofisticado (uma fila simples), vendor lock-in (AWS), polling-based (consumer precisa puxar mensagens, nao ha push nativo).

Ideal para: aplicacoes na AWS que precisam de fila confiavel sem overhead operacional, processamento em background com Lambda, equipes pequenas que nao querem gerenciar infraestrutura de messaging.

Apache Kafka: a plataforma de streaming

Kafka nao e uma fila tradicional — e uma plataforma de streaming de eventos. Mensagens sao persistidas em um log ordenado e podem ser lidas por multiplos consumers independentemente.

Diferenca fundamental: em RabbitMQ/SQS, a mensagem e removida quando consumida. Em Kafka, a mensagem permanece no log por um periodo configuravel (dias, semanas, indefinidamente). Multiplos consumers podem ler as mesmas mensagens independentemente, cada um no seu proprio ritmo.

Vantagens: throughput massivo (milhoes de mensagens por segundo), mensagens persistidas (replay, reprocessamento), multiplos consumers independentes no mesmo topico, streams processing nativo (Kafka Streams), ideal para event sourcing e CDC.

Desvantagens: complexidade operacional (cluster, particoes, replicacao), overhead para volumes pequenos, sem roteamento sofisticado (tudo via topicos e particoes), curva de aprendizado maior.

Ideal para: ingestao de dados em alta escala, event-driven architecture com multiplos consumers, log de eventos que precisam ser reprocessados, streaming de dados em tempo real, CDC de bancos de dados.

Tabela comparativa

Throughput: Kafka (milhoes/seg) maior que RabbitMQ (dezenas de milhares/seg) maior que SQS (3000/seg FIFO, ilimitado standard). Latencia: RabbitMQ (~1ms) menor que Kafka (~5ms single partition) menor que SQS (~20-100ms). Operacao: SQS (zero) menor que RabbitMQ (medio) menor que Kafka (complexo). Persistencia: Kafka (sim, longa) vs RabbitMQ (temporaria) vs SQS (ate 14 dias). Replay: Kafka (sim) vs RabbitMQ (nao) vs SQS (nao). Custo inicial: SQS (zero) vs RabbitMQ (1 servidor) vs Kafka (3+ servidores minimo).

Regra de decisao simples

Precisa de fila simples na AWS sem gerenciar nada? SQS. Precisa de roteamento sofisticado e confirmacao por mensagem? RabbitMQ. Precisa de streaming em alta escala com multiplos consumers? Kafka. Nao tem certeza? Comece com SQS (mais simples) e migre se necessario.