Tencent publica pesos do modelo multimodal Hy4
Tencent publica pesos e código de inferência do Hy4, modelo que combina vídeo, áudio e texto e pode rodar localmente em Linux.
Modelo reúne vídeo, áudio e texto
A Tencent disponibilizou publicamente os pesos e o código de inferência do Hy4, modelo fundacional multimodal projetado para processar fluxos de vídeo, faixas de áudio e documentos de texto em uma única rede neural. A proposta integra dados temporais e espaciais sem separar cada modalidade em pipelines desconectados.
Em modelos multimodais tradicionais, componentes distintos podem transcrever o áudio e analisar quadros isolados de vídeo. Essa divisão dificulta relacionar uma ação visual ao ritmo da fala ou aos ruídos do ambiente, contexto contínuo que o Hy4 busca interpretar em conjunto.
Arquitetura para sequências longas
O Hy4 usa um codificador visual com janelas de atenção temporal estendidas para analisar a correlação entre mudanças de cena e canais de áudio no mesmo bloco de tensores. A estrutura é direcionada a tarefas como resumir gravações longas, indexar bibliotecas de vídeo e responder a instruções visuais passo a passo.
Na tokenização, o vídeo é dividido em blocos tridimensionais espaço-temporais por uma variante do Vision Transformer (ViT). O áudio é convertido em espectrogramas log-mel e mapeado em sequências temporais intercaladas com tokens visuais, combinando informações de imagem e som no processamento.
Para trabalhar com fluxos extensos sem exceder a memória, o modelo utiliza FlashAttention-2 e esquemas escalonados de posicionamento rotativo (RoPE), com contextos de até 128 mil tokens. Em benchmarks de raciocínio multimodal como Video-MME e MMMU, o desempenho foi descrito como alinhado ao de soluções comerciais de processamento de mídia.
Pesos públicos e execução local
Os pesos foram publicados na organização da Tencent no Hugging Face, enquanto implementações de referência estão no GitHub da empresa. Os arquivos seguem termos de uso comunitário e permitem executar inferência em servidores próprios com Linux, sem a necessidade de enviar dados confidenciais a APIs de terceiros.
O projeto é compatível com frameworks como vLLM e Hugging Face Transformers. Também oferece quantização em FP8 e INT4 para reduzir a demanda de memória VRAM em placas gráficas de estações de trabalho e data centers, o que pode facilitar a execução em infraestrutura local.
Integração com ambientes corporativos
Em organizações que operam clusters locais com Kubernetes, os pesos públicos podem ser empacotados em contêineres e integrados a fluxos internos de processamento de mídia. Essa opção combina a execução sob controle da própria organização com ferramentas já usadas para orquestrar aplicações e serviços.
A publicação dos pesos e do código oferece aos desenvolvedores meios para testar o Hy4 sem depender exclusivamente de um serviço hospedado. Os usos descritos incluem análise de vídeo longo, indexação de bibliotecas e resposta a instruções visuais, com execução possível em servidores Linux próprios.
Informações deste conteúdo
Tecnologias: GitHub, Hugging Face, Hugging Face Transformers, Inteligência Artificial, Kubernetes, Linux, vLLM
Carreiras: Administrador de Servidores Linux, Analista de Tecnologia da Informação, Desenvolvedor de Soluções com IA
Idiomas: Português
Tags: bibliotecas, dados, engenharia, github, ia, kubernetes, linux, software, tokens, transformers