LookAtMyQuant comprime Inkling-2-Mini para 5,38 GB

LookAtMyQuant comprime Inkling-2-Mini para 5,38 GB

Publicado em 21/11/2026 0 visualizações

Ainda sem avaliações

LookAtMyQuant compacta o Inkling-2-Mini para 5,38 GB e compara resultados em matemática, código e execução no Apple Silicon.

LookAtMyQuant reduz o Inkling-2-Mini a dois tamanhos

O LookAtMyQuant comprimiu os pesos de texto do Inkling-2-Mini, da Thinking Machines, de 18,89 GB para versões de 5,38 GB e 8,87 GB. O modelo tem 26,4 bilhões de parâmetros físicos e 5,4 bilhões ativos, em uma arquitetura que repete três vezes os blocos das camadas 6 a 17: são 48 visitas lógicas, com oito especialistas escolhidos entre 128 em cada etapa.

A versão menor usa 1,63 bit por peso, e a maior, 2,69 bits por peso. A compressão combina códigos treliçados de vetores em blocos de 4 KB com hash, identificados como ht2 e ht3, códigos treliçados por linha, rtr1 e rtr4, e um piso tr2 de precisão no bucket final da camada de saída, head.7. O método também usa ajuste fino proximal, chamado SQYFR.

Desempenho em matemática e programação

A avaliação comparou as versões com o modelo original em BF16. Para matemática, foram usadas as primeiras 200 questões do conjunto de teste GSM8K, com geração gulosa e esforço de raciocínio definido como “none”. No HumanEval, entraram os 164 problemas executáveis; a análise também incluiu quatro testes de VQA visual com a torre de visão BF16 original, de 637 MB.

Com 5,38 GB, o modelo acertou 134 questões do GSM8K e resolveu 60 problemas do HumanEval. O original em BF16 obteve 147 e 66, respectivamente. Já o UD-Q2_K_XL da Unsloth, com 9,14 GB, marcou 132 no GSM8K e 49 no HumanEval, resultados inferiores aos da versão compactada nos dois testes, apesar do arquivo maior.

A versão de 8,87 GB acertou 148 questões do GSM8K, uma a mais que o original, e resolveu 58 problemas do HumanEval, oito a menos que o BF16. Contra o UD-Q2_K_XL, apresentou divergência KL 2,34 vezes menor em inglês, conversa e código, além de uma redução de 29,6% no conjunto de 13 idiomas.

Velocidade no Apple Silicon

As duas versões funcionam com lamq e runtime_mlx, que incluem kernels Metal personalizados para Apple Silicon. Elas também podem ser pareadas com o drafter DSpark de 4 bits e 178,9 MB. Em medições da equipe com um M5 Max, o arquivo de 5,38 GB alcançou 73,2 tokens por segundo em decodificação serial e mediana de 125,2.

Na versão de 5,38 GB, as medições por tarefa chegaram a 141,8 tokens por segundo em matemática, 129,0 em raciocínio, 121,4 em código e 102,3 em prosa. O prefill atingiu 1.037 tokens por segundo com contexto de 512 tokens, enquanto a RAM ativa ficou em 5,83 GB.

No arquivo de 8,87 GB, a decodificação serial foi de 63,1 tokens por segundo, com mediana de 101,3. A velocidade chegou a 133,9 tokens por segundo em raciocínio e 118,9 em matemática; o prefill foi de 838 tokens por segundo com contexto de 512 tokens, e a RAM ativa, de 9,32 GB.

Instalação e geração de texto

No Apple Silicon, o projeto orienta instalar diretamente o runtime. O pacote inclui mlx, mlx-lm, numpy e huggingface-hub, sem as dependências do compilador PyTorch. O comando abaixo instala o projeto a partir do repositório no GitHub:

pip install git+https://github.com/ShinMegamiBoson/lookatmyquant.git

Depois da instalação, este exemplo gera texto com o modelo de 5,38 GB e o drafter DSpark. A opção --stats solicita estatísticas da execução, e o argumento -p fornece o prompt usado na geração:

lamq generate shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-5.4GB \ --drafter shinmegamiboson/Inkling-2-Mini-LookAtMyQuant-drafter \ -p " What is 17 times 23? Show the steps. " --stats

O repositório do LookAtMyQuant reúne os métodos, os resultados e as instruções de execução. Assim, é possível consultar os detalhes da compressão e usar o runtime nas versões compactadas do Inkling-2-Mini.

Autor

Jaime LinharesEmpresa

CEO do Guia de TI

Comentários

0

Comece a conversa.
Seja a primeira pessoa a comentar este conteúdo.

Deixe um comentário

Entre no nosso grupo!