
Thinking Machines lança Inkling 2 Mini, modelo de IA com pesos abertos para uso local
O Inkling 2 Mini tem pesos abertos, requer cerca de 20 GB de memória e pode rodar localmente em laptops e computadores de mesa.
Modelo com pesos abertos roda localmente
A Thinking Machines lançou o Inkling 2 Mini, um modelo de IA com pesos abertos projetado para execução local. A memória total necessária é de cerca de 20 GB, segundo a empresa, o que permite executá-lo em laptops de consumo e computadores de mesa voltados a IA.
A maior parte dos pesos foi treinada e é implantada nativamente em NVFP4; as quatro camadas finais usam MXFP8. O modelo também está disponível no Tinker para inferência e personalização.
Camadas em loop ampliam o raciocínio
A arquitetura transformer em loop executa as camadas intermediárias três vezes por token. Segundo a fabricante, isso permite ao modelo raciocinar mais e chegar à resposta certa com menos tokens, especialmente em tarefas de programação realizadas por agentes.
O Inkling 2 Mini é uma mistura de especialistas, com 26,4 bilhões de parâmetros no total e 3,4 bilhões ativos. Consideradas as repetições, são 5,4 bilhões de ativações de pesos por token.
Resultados divulgados pela fabricante
A Thinking Machines afirma que o modelo lidera, entre modelos de pesos abertos com menos de 100 bilhões de parâmetros, em avaliações como DeepSWE v1.1, com 48,2%, e Vals Index v2.2, com 46,5%. A empresa também informa que ele roda mais rápido que modelos de desempenho semelhante. As configurações de avaliação variam entre modelos, segundo a fabricante.
Testes de raciocínio e execução offline
Em experimentos com uma variante de pesquisa que permite ajustar o número de repetições, o horizonte sem cadeia de pensamento explícita passou de 16 segundos com uma passagem para 37 segundos com três. O desempenho em uma avaliação de raciocínio serial continuou a melhorar até dez repetições, o dobro do número usado no treinamento. A cadeia de pensamento ficou mais curta com as repetições, mas permaneceu legível; nos testes descritos, a empresa não observou tendência de aumento em sabotagem agêntica.
A variante de pesquisa foi usada nos experimentos de monitorabilidade e também foi lançada junto com o Inkling 2 Mini. A Thinking Machines relata ainda que seus pesquisadores executaram o modelo offline em um MacBook Pro e criaram um simulador de voo jogável em poucos minutos.

Comentários
0Comece a conversa.
Seja a primeira pessoa a comentar este conteúdo.