llm-d 1.0 chega à disponibilidade geral para inferência em Kubernetes

llm-d 1.0 chega à disponibilidade geral para inferência em Kubernetes

Publicado em 20/11/2026 0 visualizações

Ainda sem avaliações

Projeto aberto organiza a inferência distribuída de grandes modelos de linguagem em Kubernetes e oferece suporte a diferentes aceleradores.

llm-d 1.0 chega à disponibilidade geral

A Cloud Native Computing Foundation (CNCF) anunciou a disponibilidade geral do llm-d 1.0, projeto de código aberto para padronizar e otimizar a inferência distribuída de grandes modelos de linguagem. Red Hat, Google Cloud, IBM e NVIDIA estão entre as organizações envolvidas. A proposta é coordenar a execução de modelos em vários servidores, inclusive em ambientes com aceleradores diferentes.

O projeto se destina a empresas, data centers e instituições de pesquisa. Até agora, operar modelos com bilhões de parâmetros em vários nós podia exigir soluções frágeis ou plataformas fechadas, com custos imprevisíveis. O llm-d busca oferecer uma alternativa baseada no ecossistema de nuvem aberta.

Por que a inferência exige infraestrutura contínua

O treinamento é a etapa em que uma rede neural aprende a partir de grandes volumes de dados. Em geral, concentra o uso de aceleradores por semanas ou meses. A inferência ocorre quando o modelo responde a uma pergunta, resume um documento ou gera código, calculando a resposta token por token.

Enquanto o treinamento acontece uma vez ou ocasionalmente, a inferência pode funcionar continuamente. Com a adoção de modelos em buscas, atendimento automatizado, ambientes de desenvolvimento e fluxos industriais, o consumo de energia e a infraestrutura usados na inferência podem superar rapidamente o custo do treinamento original.

Cache KV, paralelismo e distribuição de tarefas

Durante uma conversa, o modelo precisa manter o histórico e o contexto na memória de vídeo (VRAM). Se ela se esgotar, o servidor pode rejeitar solicitações ou falhar. O llm-d gerencia, sincroniza e compacta dinamicamente o cache KV entre máquinas para otimizar o uso dessa memória.

O projeto também distribui os pesos e as camadas matemáticas do modelo entre servidores conectados por redes de alta velocidade, usando paralelismo de tensores e de pipeline. Essa divisão busca reduzir a latência e o tempo até a geração do primeiro token (Time to First Token).

O agendamento considera a capacidade do hardware disponível no cluster e distribui as solicitações entre aceleradores. A descrição do projeto cita GPUs NVIDIA, incluindo as arquiteturas Hopper e Blackwell, chips AMD Instinct e aceleradores Google TPU. A proposta permite aproveitar equipamentos diferentes no mesmo ecossistema.

Operação em Kubernetes e modelos abertos

Construído sobre Kubernetes, o llm-d atua na camada de infraestrutura para coordenar requisições e recursos computacionais. Organizações podem executar modelos como Llama, Mistral e DeepSeek em seus próprios data centers ou em provedores de nuvem e migrar cargas de trabalho sem reescrever interfaces ou alterar o código dos clientes.

Essa arquitetura também oferece uma alternativa à dependência de APIs fechadas: empresas podem operar modelos abertos em infraestrutura própria ou escolhida por elas, mantendo controle sobre dados e modelos.

Autor

Jaime LinharesEmpresa

CEO do Guia de TI

Comentários

0

Comece a conversa.
Seja a primeira pessoa a comentar este conteúdo.

Deixe um comentário

Entre no nosso grupo!