Enroute redesenha o consenso do Git para escalar a 300 mil repositórios
A Enroute atribui à nova arquitetura de consenso medições de até 24 mil envios Git por segundo em 300 mil repositórios.
A Enroute redesenhou a camada de consenso de seu serviço de hospedagem Git para escalar a atividade entre centenas de milhares de repositórios. Na versão 0.4.0, um log raiz designa sequenciadores para os logs dos repositórios, eliminando eleições de liderança em cada repositório. Em medições divulgadas pela empresa, a arquitetura chegou a 24 mil envios por segundo com 300 mil repositórios criados.
O serviço separa processamento e armazenamento. Nós de computação recebem envios, validam os dados e atendem clonagens e buscas, usando SSDs locais para cache; nós de log mantêm estado persistente replicado. Um bucket guarda as camadas de dados e metadados de coordenação, incluindo a lista de membros do cluster. Essa divisão permite ampliar a computação, mas a camada de logs enfrentava custos crescentes com o modelo Multi-Raft.
O Multi-Raft acumulava eleições e atrasos
Na arquitetura anterior, cada repositório tinha seu próprio grupo Raft. Além disso, cada nó de computação mantinha um fluxo para cada repositório que acompanhava. Quando a atividade cresceu de 8 mil em direção a 32 mil repositórios ativos, as latências extremas aumentaram e alguns envios falharam; a equipe corrigiu esse gargalo multiplexando as assinaturas em um conjunto fixo de fluxos.
Outro limite apareceu com 2.048 escritores simultâneos distribuídos por 100 mil repositórios: os sinais de atividade entre os nós de log atrasaram e milhares de seguidores iniciaram eleições. Como um repositório não aceita envios enquanto escolhe um líder, a vazão caiu para cerca de 1.500 envios por segundo e a latência p99 chegou a 83 segundos. Suspender logs inativos e acordá-los sob demanda elevou a capacidade para aproximadamente 14 mil envios por segundo sem falhas, mas acrescentou complexidade ao código e à operação.
Log raiz escolhe quem sequencia cada repositório
O novo desenho mantém os dados de cada repositório em seu log de fragmento, mas deixa o log raiz acompanhar a participação dos nós e escolher o sequenciador. Esse responsável replica entradas de forma semelhante a um líder Raft. Uma entrada é confirmada quando está em uma maioria das réplicas e pertence ao período do sequenciador; somente o log raiz executa Raft.
Para trocar um sequenciador, o log raiz primeiro sela uma maioria das réplicas antigas, impedindo que aceite novas entradas do responsável anterior, e então escolhe a réplica com o log mais atualizado. O mesmo mecanismo coordena mudanças de réplicas: elas são seladas na configuração antiga e removidas depois que o novo período é confirmado. O líder do log raiz também posiciona réplicas em zonas distintas e prioriza nós que armazenam menos logs.
Verificação do protocolo e resultados
A equipe usou Stateright para explorar diferentes ordens de eventos na própria implementação do protocolo, incluindo nomeações, leituras, falhas e gravações não sincronizadas perdidas, dentro de limites pequenos. Também executou testes Jepsen com clientes Git enquanto particionava, encerrava ou pausava nós. O ambiente usou LazyFS para simular falhas de disco, e a ferramenta Elle verificou as leituras de referências do Git em busca de serializabilidade estrita. Os testes encontraram dois bugs menores na integração com o restante do sistema, sem impacto na segurança do protocolo; ambos foram corrigidos.
Nos testes de carga, a versão 0.4.0 distribuiu 500 envios por segundo entre todos os 100 mil repositórios, com latência p99 de 47 milissegundos. No cenário anterior com 32 mil repositórios ativos, a versão 0.3.0 havia registrado p99 de 117 segundos. A comparação mostra que a atividade pode se espalhar pelo conjunto hospedado, embora os números correspondam a quantidades diferentes de repositórios ativos.
A versão 0.4.0 criou 300 mil repositórios sem falha, a taxas entre 749 e 2 mil criações por segundo; a versão 0.3.0 ficou entre 312 e 952. Com os 300 mil repositórios criados, a equipe mediu até 24 mil envios por segundo, enquanto os nós de log usaram cerca de 2,5 de seus quatro núcleos. A empresa aponta a redução de componentes móveis como um ganho para entender e operar o consenso.
Próxima etapa é equilibrar a distribuição continuamente
O líder do log raiz já consegue substituir réplicas após a saída de um nó, completar conjuntos que ficaram com menos de três réplicas e redistribuir sequenciadores depois de falhas. A Enroute planeja ampliar essa lógica para mover logs continuamente em direção a nós com capacidade livre e retirar sequenciadores de nós muito ocupados, com limites e ritmos controlados.
O novo desenho também permite distribuir a responsabilidade pelos metadados entre mais nós de log, em vez de manter cada log em todos os nós do cluster. A Enroute afirma que o consenso reduz a complexidade operacional e abre espaço para ampliar a capacidade do serviço. A empresa publicou os detalhes da arquitetura, das verificações e dos testes de desempenho.
Informações deste conteúdo
Tecnologias: Git, Jepsen, Multi-Raft, Raft, Stateright, Vertical Paxos
Carreiras: Tech Lead
Idiomas: Português
Tags: consensodistribuido, databases, escalabilidadehorizontal, git, logsreplicados, replicacaodedados, throughput, toleranciaafalhas