Patches v7 reduzem contenção no cliente CephFS do Linux
A série v7 do cliente CephFS do Linux reduz a contenção em testes; benchmark específico registrou alta de 105% em consultas stat.
Série v7 busca reduzir bloqueios no cliente CephFS
Xiubo Li enviou uma série de cinco patches para otimizar o cliente CephFS integrado ao kernel Linux. A versão v7 busca reduzir o tempo em que operações concorrentes esperam pela trava mdsc->mutex, usada para proteger alterações nas requisições.
Ceph é uma plataforma de armazenamento distribuído, e CephFS é seu sistema de arquivos. No cliente do kernel, a trava permanecia ocupada durante tarefas demoradas, como preparar mensagens e percorrer diretórios. Em cargas com muitas consultas, outras CPUs aguardavam enquanto esse trabalho era feito.
Menos trabalho sob a trava
A mudança principal faz o código adquirir mdsc->mutex apenas onde a exclusividade é necessária e liberá-la antes da etapa __send_request(). Assim, o percurso pelas estruturas de diretórios e a preparação da mensagem podem ocorrer em paralelo. As operações que exigem proteção exclusiva continuam sob a trava.
Em um teste com 32 threads consultando um diretório de 5.000 arquivos, medições com bpftrace indicaram que o tempo retido em __do_request caiu de uma faixa de 354 a 2.327 microssegundos para 10 a 68 microssegundos. Também foram relatadas reduções em handle_reply e submit_request.
Consultas stat avançaram nos benchmarks
No teste test_i_caps, consultas stat de uma thread passaram de 692 mil para 1,42 milhão de operações por segundo, alta de 105%. No teste multithread, o resultado subiu de 722 mil para 1,373 milhão. Consultas stat em cache cresceram 53%, e operações de abertura e fechamento avançaram 30%.
O resultado variou conforme a operação: readdir caiu de 877 para 832 operações por segundo. A bateria completa levou 121 segundos, contra 195 segundos antes da alteração. Os ganhos apresentados se concentram em operações de metadados afetadas pela contenção.
XArray e compatibilidade de 64 bits
A série também substitui por XArray a árvore rubro-negra que guardava requisições pendentes, acrescenta um bloqueio específico para filas de espera e reduz a dependência de travas na leitura de oldest_tid. A XArray permite buscar requisições pelo índice da transação.
Como a indexação da XArray usa unsigned long, a série inclui a dependência de sistemas de 64 bits para CONFIG_CEPH_FS. Se a alteração for integrada nesses termos, o cliente CephFS do kernel deixará de ser compilável em arquiteturas de 32 bits. O autor afirma não conhecer usuários atuais desse cliente em hardware de 32 bits; a mudança não afeta os servidores Ceph nem outras bibliotecas do ecossistema.
Testes de estresse e revisão
Os testes de estresse rodaram por mais de 24 horas com dbench e fsstress, três servidores de metadados ativos, três em espera e cargas de 32 threads. A equipe provocou mais de 100 failovers e também encerrou à força 5.084 processos simultâneos para pressionar o cancelamento de requisições.
A campanha encontrou problemas que também ocorriam no Linux 7.2 sem os patches: uma falha de referência nula durante operações de escrita e um erro de gerenciamento de memória no cancelamento de pedidos. Eles estão sendo tratados separadamente. Em outro cenário, um travamento durante operações de truncate foi atribuído a um loop de limpeza de cache em componentes que a série não alterou.
Os patches continuam em revisão e não foram apresentados como uma mudança já integrada ao kernel. A versão v7 inclui ajustes para tratar requisições em andamento e reduzir riscos de corrida durante reconexões.
Informações deste conteúdo
Tecnologias: CephFS, Infraestrutura, Linux, Servidores
Carreiras: Administrador de Servidores, Administrador de Servidores Linux, Analista de Suporte em Nuvem
Idiomas: Português
Tags: arquivos, cephfs, concorrencia, datacenters, desempenho, infraestrutura, kubernetes, linux, metadados, servidores