CLOUDERA: Avaliação de Desempenho HBase em Modern Storage Media

Pela primeira vez, este novo estudo realizado por engenheiros de software da Intel analisa o impacto da utilização de HBase

Em várias tecnologias de armazenamento modernos desempenho.

À medida que mais tecnologias de armazenamento "rápidos" (tais como SSD e NVMe SSD) emergem, as organizações com grandes casos de uso de dados quer fazer melhor uso deles para conseguir uma melhor taxa de transferência e latência. Mas a este ponto, não houve análises detalhadas publicadas sobre o verdadeiro significado desse aumento de desempenho, nem sobre a melhor forma de misturar rápido e "lento" de armazenamento para alcançar o melhor equilíbrio entre desempenho e custo.

Recentemente, os engenheiros de software no grupo Grupo de Soluções de Software da Intel fez um estudo detalhado do desempenho de gravação HBase em diferentes meios de armazenamento. (. Os resultados foram publicados originalmente através do Blog ASF) No estudo, foi utilizado o suporte de gerenciamento de armazenamento de hierarquia no HDFS, usando YCSB como referência, para armazenar diferentes categorias de dados HBase em três tipos diferentes de armazenamento: HDD, SSD e RAMDISK . (HDD é o armazenamento mais popular em uso corrente, SATA SSD é mais rápida de armazenamento que está crescendo em popularidade, e RAMDISK foi usado para emular extremamente SSDs PCIe de alto desempenho.)

Em geral, este estudo tenta responder a perguntas seguintes:

Qual é o desempenho máximo que um usuário pode conseguir usando armazenamento rápido?

Onde estão os gargalos?

Qual é o melhor equilíbrio entre desempenho e custo, e como ela pode ser alcançada?

Como pode o desempenho de um cluster com diferentes combinações de armazenamento ser previsto?

Acreditamos que este estudo fornece a primeira análise abrangente e objetiva do desempenho HBase em tecnologia de armazenamento rápido.

Fonte: blog.cloudera.com