WhatsApp

Tencent publica pesos do modelo multimodal Hy4

Tencent publica pesos e código de inferência do Hy4, modelo que combina vídeo, áudio e texto e pode rodar localmente em Linux.

Por Jaime Linhares · 16/11/2026

Modelo reúne vídeo, áudio e texto

A Tencent disponibilizou publicamente os pesos e o código de inferência do Hy4, modelo fundacional multimodal projetado para processar fluxos de vídeo, faixas de áudio e documentos de texto em uma única rede neural. A proposta integra dados temporais e espaciais sem separar cada modalidade em pipelines desconectados.

Em modelos multimodais tradicionais, componentes distintos podem transcrever o áudio e analisar quadros isolados de vídeo. Essa divisão dificulta relacionar uma ação visual ao ritmo da fala ou aos ruídos do ambiente, contexto contínuo que o Hy4 busca interpretar em conjunto.

Arquitetura para sequências longas

O Hy4 usa um codificador visual com janelas de atenção temporal estendidas para analisar a correlação entre mudanças de cena e canais de áudio no mesmo bloco de tensores. A estrutura é direcionada a tarefas como resumir gravações longas, indexar bibliotecas de vídeo e responder a instruções visuais passo a passo.

Na tokenização, o vídeo é dividido em blocos tridimensionais espaço-temporais por uma variante do Vision Transformer (ViT). O áudio é convertido em espectrogramas log-mel e mapeado em sequências temporais intercaladas com tokens visuais, combinando informações de imagem e som no processamento.

Para trabalhar com fluxos extensos sem exceder a memória, o modelo utiliza FlashAttention-2 e esquemas escalonados de posicionamento rotativo (RoPE), com contextos de até 128 mil tokens. Em benchmarks de raciocínio multimodal como Video-MME e MMMU, o desempenho foi descrito como alinhado ao de soluções comerciais de processamento de mídia.

Pesos públicos e execução local

Os pesos foram publicados na organização da Tencent no Hugging Face, enquanto implementações de referência estão no GitHub da empresa. Os arquivos seguem termos de uso comunitário e permitem executar inferência em servidores próprios com Linux, sem a necessidade de enviar dados confidenciais a APIs de terceiros.

O projeto é compatível com frameworks como vLLM e Hugging Face Transformers. Também oferece quantização em FP8 e INT4 para reduzir a demanda de memória VRAM em placas gráficas de estações de trabalho e data centers, o que pode facilitar a execução em infraestrutura local.

Integração com ambientes corporativos

Em organizações que operam clusters locais com Kubernetes, os pesos públicos podem ser empacotados em contêineres e integrados a fluxos internos de processamento de mídia. Essa opção combina a execução sob controle da própria organização com ferramentas já usadas para orquestrar aplicações e serviços.

A publicação dos pesos e do código oferece aos desenvolvedores meios para testar o Hy4 sem depender exclusivamente de um serviço hospedado. Os usos descritos incluem análise de vídeo longo, indexação de bibliotecas e resposta a instruções visuais, com execução possível em servidores Linux próprios.

Visitar site
Informações deste conteúdo

Tecnologias: GitHub, Hugging Face, Hugging Face Transformers, Inteligência Artificial, Kubernetes, Linux, vLLM

Carreiras: Administrador de Servidores Linux, Analista de Tecnologia da Informação, Desenvolvedor de Soluções com IA

Idiomas: Português

Tags: bibliotecas, dados, engenharia, github, ia, kubernetes, linux, software, tokens, transformers