AWS Lambda adiciona GPUs a funções de evento nas instâncias gerenciadas
AWS Lambda executa funções de evento em GPUs EC2 G para inferência, com vLLM, SGLang e até 48 invocações por ambiente.
GPU no Lambda Managed Instances
A AWS adicionou suporte a GPU às funções de evento do Lambda Managed Instances. Elas podem rodar em instâncias EC2 das famílias G4dn, G5, G6, G6f, Gr6, Gr6f e G6e, com imagens de contêiner e as mesmas fontes de eventos das demais funções. O recurso está disponível nas regiões comerciais que oferecem tanto o Lambda Managed Instances quanto instâncias G.
O Lambda cuida do provisionamento, das atualizações e do escalonamento. Um provedor de capacidade define os tipos de instância permitidos, a VPC e o teto de vCPUs; o serviço escolhe a geração mais recente com capacidade e recorre às anteriores quando necessário.
Imagens e configuração dos modelos
Para implantar uma função, a equipe cria uma imagem OCI e a associa ao Lambda. A AWS fornece imagens-base de CUDA, CuPy, PyTorch, vLLM e SGLang. As imagens de vLLM e SGLang podem servir modelos sem código de manipulador específico: a variável MODEL_ID aponta para um repositório Hugging Face ou ModelScope, um prefixo no S3 ou um caminho local. Uma troca de modelo pode ser feita atualizando a configuração e publicando uma nova versão. Por exemplo:
aws lambda update-function-configuration \ --function-name my-gpu-function \ --environment 'Variables={MODEL_ID=s3://amzn-s3-demo-bucket/models/Qwen2.5-1.5B-Instruct/,VLLM_LOAD_FORMAT=runai_streamer}'A função declara a memória da GPU em um bloco AcceleratorConfig. Segundo a AWS, não é necessário administrar drivers de GPU, versões do CUDA, imagens de máquina ou clusters com plug-ins de dispositivos.
Concorrência e limites
Até 48 invocações simultâneas em um mesmo ambiente compartilham uma cópia do modelo na memória da GPU. O escalonamento considera uso de GPU, uso de CPU e concorrência. Ao publicar uma versão, o Lambda provisiona os ambientes, baixa os pesos e aquece o mecanismo antes do primeiro evento. O carregamento preguiçoso Seekable OCI pode reduzir o tempo de inicialização em até 70%, segundo a AWS.
Os limites incluem imagens de contêiner de até 32 GB, armazenamento efêmero de até 32 GB, memória de 2 a 32 GB, memória de acelerador de 3 a 48 GB e até 15 mil vCPUs por provedor de capacidade. Invocações assíncronas e mapeamentos de fontes de eventos podem ter timeout de até 90 minutos.
Testes práticos
Em uma avaliação na região us-east-1, Akaike, da Classmethod, testou 81 tipos de instância acelerada e encontrou 37 aceitos, todos da família G. Tipos das famílias P e G7, além de Inferentia, Trainium, g5g e pacotes ZIP, foram recusados. Um benchmark PyTorch executou cerca de 66 vezes mais rápido na GPU L4 do que na CPU da instância.
Em outro teste, o AWS Community Builder xbill executou Gemma 4 E2B em uma g6.2xlarge com a imagem de vLLM, pesos QAT de 4 bits do Google e um componente de speculative decoding incluídos em uma imagem de 9 GB. O ambiente atendeu a 48 solicitações simultâneas; as 417 chamadas tiveram sucesso, com cerca de 130 tokens por segundo em uma solicitação e entre 3.400 e 3.600 nessa carga concorrente. A versão ficou ativa 484 segundos após a publicação. O teste também exigiu publicar a imagem como manifesto de plataforma única, e o manipulador retornava respostas completas, por isso não foi possível medir o tempo até o primeiro token.
Durante os testes, Terraform e o provedor Cloud Control ainda não reconheciam AcceleratorConfig. Em contas novas, a cota de vCPUs para GPUs pode ser zero: três instâncias g6.xlarge, com quatro vCPUs cada, exigem cota de 12 vCPUs.
Custos e formato de uso
A cobrança combina a tarifa sob demanda da instância EC2, uma taxa de gerenciamento de 9,75% e US$ 0,20 por milhão de solicitações. Savings Plans e instâncias reservadas se aplicam à instância. Não há cobrança pela duração de cada invocação, mas a instância continua sendo cobrada enquanto a quantidade mínima de ambientes permanecer acima de zero.
O caminho com GPU está restrito às funções de evento; o Lambda Managed Instances ainda não oferece essa execução para Web Functions. Para modelos acionados por eventos, filas e outros serviços da AWS, o Lambda mantém o servidor ativo e encaminha as solicitações. Para respostas transmitidas em fluxo ou controle direto do servidor de inferência, o teste recomenda executar vLLM em uma instância EC2 G administrada pela própria equipe.
Informações deste conteúdo
Tecnologias: AWS Lambda, GPU, PyTorch, SGLang, Serverless, vLLM
Carreiras: Arquiteto de Cloud, Desenvolvedor Serverless, Engenheiro de Cloud, Engenheiro de Dados em Cloud (AWS/GCP/Azure), Especialista em AWS
Idiomas: Português
Tags: aws, cloud, deploy, ec2, gpu, ia, lambda, llm, models, serverless