Apache Iceberg V4 propõe novos metadados e gravações mais frequentes
A proposta do Apache Iceberg V4 reformula metadados para escalar tabelas e ampliar o suporte a gravações e cargas de trabalho.
Proposta reformula o Apache Iceberg
O Apache Iceberg V4 propõe uma reformulação dos metadados do formato aberto de tabelas para lidar com conjuntos analíticos maiores e permitir gravações mais frequentes. Daniel Weeks, cocriador do Iceberg e integrante da equipe técnica da Databricks, apresentou a proposta em uma sessão da QCon San Francisco.
Weeks descreveu a versão como uma reimaginação importante do formato, e não uma atualização incremental. O trabalho também prevê recursos de gestão de dados e evolução de esquemas para atender a novas cargas de trabalho.
O Iceberg é um formato aberto para administrar grandes conjuntos de dados analíticos em diferentes mecanismos de processamento. O projeto foi criado na Netflix em 2017, aberto à comunidade em 2018 e tornou-se um projeto de nível superior da Apache em 2020.
Metadados e commits mais eficientes
Entre as mudanças propostas estão uma árvore adaptativa de metadados, commits de arquivo único, estatísticas de colunas tipadas, caminhos relativos para arquivos e suporte a atualizações em nível de coluna. A estrutura busca reduzir operações necessárias para gravar dados.
No Iceberg V3, adicionar um arquivo de dados exige pelo menos quatro operações de entrada e saída, incluindo criar e reescrever manifestos. A proposta V4 permite que a raiz da árvore de metadados aponte diretamente para os arquivos, reduzindo o processo a uma gravação de metadados.
Segundo Weeks, essa simplificação poderia permitir commits a cada segundo ou em intervalos inferiores a um segundo. A recomendação atual é evitar commits em intervalos menores que dois minutos, o que restringe a frequência de gravação em algumas cargas de trabalho.
Novos recursos para tabelas
A proposta inclui valores padrão definidos por expressões e restrições de verificação, unicidade e chave primária. O formato também passaria a acompanhar o estado de validação dessas restrições para indicar aos mecanismos de processamento quando são necessárias verificações adicionais.
Campos usados apenas para estatísticas poderão apoiar particionamento, ordenação e filtragem sem armazenar dados adicionais. As estatísticas de colunas também deixariam o formato binário do V3 e passariam a ser estruturadas e tipadas, facilitando projeções e a evolução de esquemas.
Tipos de dados e compatibilidade
O Iceberg V4 propõe tipos de dados para arquivos e vetores, que podem atender a cargas de trabalho adicionais, como aplicações de inteligência artificial e busca. Esses tipos fazem parte da ampliação prevista para o formato e seus usos analíticos.
Durante a sessão, Weeks confirmou que os metadados do V4 não terão compatibilidade retroativa com leitores antigos. Metadados V3 existentes podem permanecer durante uma atualização, mas leitores antigos não conseguirão consumir a nova representação.
Informações deste conteúdo
Tecnologias: Apache Iceberg, Data Analytics, Delta Lake
Carreiras: Analista de Big Data, Especialista em Big Data, Especialista em Infraestrutura Open Source
Idiomas: Português
Tags: apache, bi, flink, ia, netflix, spark, uber