
RadixArk lança DaisyRose-27B e eleva pass@1 no Terminal-Bench 4.1
O primeiro modelo da RadixArk elevou o pass@1 no Terminal-Bench 4.1 de 5,6% para 12% após treinamento por reforço.
A RadixArk lançou o DaisyRose-27B, seu primeiro modelo, construído sobre o Qwen3.8-27B e treinado com aprendizado por reforço usando o framework de código aberto Miles. Em 18 dias, o modelo elevou de 5,6% para 12% o pass@1 no Terminal-Bench 4.1, benchmark de tarefas longas para agentes. O treinamento usou 144 GPUs H200 e tarefas com sessões de até 1 milhão de tokens.
Tarefas desenhadas para corrigir erros
Em parceria com a Eigent AI, a RadixArk criou milhares de tarefas candidatas em áreas como aprendizado de máquina, engenharia de software, ciência e outros campos. Cerca de 1.200 foram selecionadas para o conjunto final, com desafios calibrados para evitar tanto tarefas fáceis demais quanto problemas fora do alcance do modelo.
Cada tarefa encadeia problemas interdependentes que exigem etapas de raciocínio, planejamento e execução. Uma tentativa podia durar até uma hora e meia em um ambiente isolado, com mais de 100 chamadas de ferramentas e mais de 256 mil tokens de saída. A equipe revisou as tarefas e as tentativas do modelo; casos que permitiam avançar sem resolver o problema ou tinham falhas de projeto foram corrigidos ou removidos.
Treinamento assíncrono e uso de GPUs
O Miles executou o treinamento em modo assíncrono: enquanto 128 GPUs H200 processavam as tarefas dos agentes, outras 16 treinavam o modelo com as trajetórias geradas. Ao fim de cada etapa, a versão atualizada seguia para as GPUs de inferência, permitindo que a execução dos agentes e o aprendizado continuassem sem que um processo tivesse de esperar pelo outro.
O backend interno de treinamento alcançou 37% de utilização da capacidade computacional de pico das GPUs em trabalho útil, medida chamada MFU. Em execuções comparáveis, o treinador de código aberto baseado em Megatron chegou a 16%; a RadixArk calcula que a diferença reduziu em 57% o tempo de GPU necessário. Contando também o tempo gasto pelos agentes nas tarefas, o treinamento atingiu cerca de 16.800 tokens por segundo nas 144 GPUs, ante aproximadamente 8.300 no comparativo.
A empresa também relata ganhos maiores em modelos mixture-of-experts: 6,2 vezes no Qwen3.6-35B-A3B e mais de dez vezes no GLM-5.3-Flash, modelo com cerca de 300 bilhões de parâmetros. A execução do lançamento acumulou 63 mil GPU-horas, e a RadixArk afirma que velocidade e eficiência permaneceram estáveis ao longo do treinamento.
Ambientes isolados em escala
As tentativas ocorreram em sandboxes: cópias isoladas do ambiente de cada tarefa, nas quais o agente executa comandos e edita arquivos antes de ser avaliado. O serviço próprio da RadixArk, construído sobre o projeto de código aberto AgentENV, executou cerca de 944 mil sandboxes para o projeto entre meados de setembro e meados de novembro, com até 1.566 ambientes simultâneos.
O serviço cresceu de uma máquina para até 12 e recebeu dez atualizações, quase todas durante o treinamento. Ao longo de nove semanas, 99% das criações de sandbox foram concluídas com sucesso; desde o fim de outubro, o índice superou 99,95%. A empresa atribui parte da redução de custos ao ajuste da memória de cada ambiente conforme o uso e estima que sua infraestrutura em nuvem custou cerca de 80% menos que a execução das mesmas sandboxes em provedores populares.
Disponibilidade e próximos usos
O DaisyRose-27B está disponível para download no Hugging Face nos formatos BF16, FP8 e NVFP4. O Miles também pode ser usado para treinar agentes. A RadixArk afirma que pretende aplicar a abordagem a equipes que desenvolvem modelos especializados, com foco em aprimorar capacidades específicas sem perder as competências gerais dos modelos.
Como os benchmarks foram avaliados
No Terminal-Bench 4.1, a empresa calculou a média de oito execuções por tarefa com um harness interno baseado no mini-swe-agent e sumarização ativada. O Terminal-Bench 2.1 teve cinco execuções por tarefa com o harness Terminus 2. DeepSWE v1.1 e SWE-Bench Pro v2 foram avaliados, respectivamente, em oito e cinco execuções por tarefa, ambas com o mini-swe-agent.
Para o HLE em texto, foram feitas cinco execuções por problema, avaliadas pelo GPT-6 Luna sem ferramentas. O IFBench usou quatro execuções em cada um de seus 300 prompts e o avaliador oficial allenai/IFBench, com acurácia flexível no nível do prompt para a resposta final, sem incluir o raciocínio. No GPQA Diamond, foram feitas oito execuções para cada uma das 198 questões, com o template de múltipla escolha do simple-evals, extração de respostas e ordem das alternativas embaralhada a cada tentativa.

Comentários
0Comece a conversa.
Seja a primeira pessoa a comentar este conteúdo.