LinkedIn reduz falhas diárias de shuffle de cerca de 750 para 20 com Apache Celeborn
Apache Celeborn reduziu falhas de shuffle, custos de computação e tempo de execução nas cargas Spark e Flink do LinkedIn.
Plataforma compartilhada para Spark e Flink
O LinkedIn implantou o Apache Celeborn como plataforma compartilhada de shuffle remoto na maioria das cargas de Apache Spark e Apache Flink. A arquitetura separa o armazenamento de dados intermediários da infraestrutura de computação e reduziu as falhas diárias de busca de shuffle de cerca de 750 para 20.
Em comparação com a implementação anterior baseada no Magnet, a mudança também reduziu em 10% os custos de computação e melhorou em 14% o tempo de execução das aplicações. O shuffle transfere dados intermediários entre etapas de processamento e pode pressionar rede, discos e recursos das aplicações em grandes cargas.
A plataforma de dados offline do LinkedIn executa mais de 300 mil jobs Spark por dia em milhares de nós de produção e consome cerca de 200 petabyte-horas de computação. Backfills em grande escala também ampliam a demanda por shuffle enquanto a empresa avança para uma arquitetura unificada de Flink.
Armazenamento separado da computação
O Magnet, implementação de shuffle push-based que contribuiu para o Apache Spark 3.2, agrupava blocos por partição redutora em arquivos maiores para diminuir leituras aleatórias em disco. Porém, o armazenamento permanecia dentro do cluster de computação, compartilhando CPU, memória, disco e rede com as aplicações.
No Celeborn, as tarefas map enviam dados intermediários a workers dedicados, que agregam e armazenam partições independentemente dos executores de computação. As tarefas redutoras buscam os dados diretamente desses workers, reduzindo a dependência do ciclo de vida dos executores e permitindo escalar armazenamento e computação separadamente.
Ao contrário dos serviços externos de shuffle do Magnet, que operam no cluster Spark, o Celeborn funciona como serviço separado, com workers dedicados e plano de controle replicado. Essa divisão reduz a disputa por recursos entre as operações de computação e o armazenamento temporário dos dados.
Confiabilidade e desempenho em escala
Para operar o serviço em milhares de nós e centenas de milhares de aplicações diárias, o LinkedIn implantou um plano de controle baseado em Raft com cinco nós distribuídos entre zonas de disponibilidade. O Apache Ratis fornece replicação de metadados, eleição de líder e failover.
A equipe também adicionou replicação com consciência da rede e integrou o Celeborn à plataforma de saúde dos hosts. O sistema reduz a prioridade de workers próximos da manutenção e exclui máquinas degradadas; segundo Aravind Patnam, staff software engineer do LinkedIn, esse trabalho exigiu engenharia adicional além do projeto upstream.
Essas mudanças ajudaram a reduzir em 20 vezes as falhas de tarefas durante interrupções de infraestrutura, em comparação com o Magnet. A migração do armazenamento de shuffle para SSDs NVMe diminuiu a duração total do shuffle em 40%, enquanto a compressão Zstandard, no lugar de LZ4, reduziu em cerca de 35% a frota necessária de workers.
Impacto nas cargas de dados
O LinkedIn também equipou os workers com interfaces de rede de 100 Gbps e aprimorou o plano de dados e a JVM. Com essas otimizações, o tempo para selecionar slots caiu seis vezes, enquanto o custo de shuffle por tarefa diminuiu quase 90% em toda a frota.
A parcela do tempo de execução dos executores consumida pela espera em operações de shuffle caiu aproximadamente 10% a 15% em relação ao pico. Na plataforma convergente de Flink, backfills históricos processam centenas de milhões de eventos por hora, e cargas que levavam vários dias passaram a ser concluídas em poucas horas.
Milhares de pipelines já usam cálculos unificados em Flink para processamento nearline e correções históricas, substituindo implementações paralelas em Spark. O LinkedIn avalia adicionar cache e acelerar atualizações do projeto upstream enquanto continua contribuindo para o Apache Celeborn.
Informações deste conteúdo
Tecnologias: Apache Celeborn, Apache Flink, Apache Spark, Software, distributed systems
Carreiras: Engenheiro DevOps, Engenheiro de Software, Especialista em Big Data, Site Reliability Engineer
Idiomas: Português
Tags: apache, devops, flink, linkedin, perf, software, spark, workflows