Algoritmos para identificacão de dados frios em banco de dados em memória [Digital]
Dissertação
Português
681.3.06:061.68
Fortaleza, 2022.
75f.
Algoritmos para Identificac¸ ¿ao de Dados Frios em Banco de Dados em Mem´oria
O crescimento da capacidade de armazenamento dos dispositivos de mem´oria principal impulsionou
o desenvolvimento de sistemas de gerenciamento de bancos de dados que buscam armazenar todo o volume
de dados por eles... Ver mais Algoritmos para Identificac¸ ¿ao de Dados Frios em Banco de Dados em Mem´oria
O crescimento da capacidade de armazenamento dos dispositivos de mem´oria principal impulsionou
o desenvolvimento de sistemas de gerenciamento de bancos de dados que buscam armazenar todo o volume
de dados por eles gerenciados neste meio de armazenamento, ao inv´es dos tradicionais dispositivos
de armazenamento secund´ario, como os discos r´¿gidos. Por este motivo, tais sistemas ficaram conhecidos
como Bancos de Dados em Mem´oria (em ingl¿es, in-memory databases ou IMDB). Neste contexto,
muitos bancos de dados transacionais passaram a ser armazenados inteiramente na mem´oria principal.
No entanto, uma caracter´¿stica dos sistemas transacionais ´e o crescimento cont´¿nuo dos dados. Logo,
surge o desafio de lidar com o transbordamento de dados, o que ocorre quando o volume dos dados
ultrapassa a capacidade de armazenamento da mem´oria principal. Todavia, as cargas de trabalho dos
sistemas de bancos de dados transacionais geralmente exibem padr¿oes de acesso onde alguns registros
s¿ao quentes (acessados com frequ¿encia), enquanto muitos registros s¿ao frios (raramente ou nunca acessados).
Desta forma, ´e mais econ¿omico armazenar os registros frios em dispositivos de armazenamento
secund´ario. Recentemente, muitos trabalhos de pesquisa abordaram o problema de transbordamento de
dados, desenvolvendo abordagens para identificar dados quentes/frios. Nesta dissertac¸ ¿ao, apresentamos
dois novos algoritmos chamados 2QCold e ARCold, que adaptam os algoritmos cl´assicos de gerenciamento
de cache 2Q e ARC para identificar dados frios. Implementamos nossos algoritmos usando o
Seal-DB e os comparamos com os algoritmos cl´assicos LRU, Forward e Belady. O benchmark TPC-C
foi usado nos experimentos. Os resultados mostram que tanto o 2QCold quanto o ARCold reduzem o
tempo de resposta e aumentam a taxa de acerto superando os trabalhos relacionados.
Palavras-chave: Bancos de Dados em Mem´oria, IMDB, Transbordamento de Dados, Dados Quentes,
Dados Frios, LRU, 2Q, ARC. Ver menos
O crescimento da capacidade de armazenamento dos dispositivos de mem´oria principal impulsionou
o desenvolvimento de sistemas de gerenciamento de bancos de dados que buscam armazenar todo o volume
de dados por eles... Ver mais Algoritmos para Identificac¸ ¿ao de Dados Frios em Banco de Dados em Mem´oria
O crescimento da capacidade de armazenamento dos dispositivos de mem´oria principal impulsionou
o desenvolvimento de sistemas de gerenciamento de bancos de dados que buscam armazenar todo o volume
de dados por eles gerenciados neste meio de armazenamento, ao inv´es dos tradicionais dispositivos
de armazenamento secund´ario, como os discos r´¿gidos. Por este motivo, tais sistemas ficaram conhecidos
como Bancos de Dados em Mem´oria (em ingl¿es, in-memory databases ou IMDB). Neste contexto,
muitos bancos de dados transacionais passaram a ser armazenados inteiramente na mem´oria principal.
No entanto, uma caracter´¿stica dos sistemas transacionais ´e o crescimento cont´¿nuo dos dados. Logo,
surge o desafio de lidar com o transbordamento de dados, o que ocorre quando o volume dos dados
ultrapassa a capacidade de armazenamento da mem´oria principal. Todavia, as cargas de trabalho dos
sistemas de bancos de dados transacionais geralmente exibem padr¿oes de acesso onde alguns registros
s¿ao quentes (acessados com frequ¿encia), enquanto muitos registros s¿ao frios (raramente ou nunca acessados).
Desta forma, ´e mais econ¿omico armazenar os registros frios em dispositivos de armazenamento
secund´ario. Recentemente, muitos trabalhos de pesquisa abordaram o problema de transbordamento de
dados, desenvolvendo abordagens para identificar dados quentes/frios. Nesta dissertac¸ ¿ao, apresentamos
dois novos algoritmos chamados 2QCold e ARCold, que adaptam os algoritmos cl´assicos de gerenciamento
de cache 2Q e ARC para identificar dados frios. Implementamos nossos algoritmos usando o
Seal-DB e os comparamos com os algoritmos cl´assicos LRU, Forward e Belady. O benchmark TPC-C
foi usado nos experimentos. Os resultados mostram que tanto o 2QCold quanto o ARCold reduzem o
tempo de resposta e aumentam a taxa de acerto superando os trabalhos relacionados.
Palavras-chave: Bancos de Dados em Mem´oria, IMDB, Transbordamento de Dados, Dados Quentes,
Dados Frios, LRU, 2Q, ARC. Ver menos
The growth in main-memory storage capacity has fueled the development of main-memory database
systems. Thus, many OLTP databases can be stored entirely in the main memory. However, due to the
continued growth of data, dealing with data overflow is crucial. OLTP workloads often exhibit skewed
access... Ver mais The growth in main-memory storage capacity has fueled the development of main-memory database
systems. Thus, many OLTP databases can be stored entirely in the main memory. However, due to the
continued growth of data, dealing with data overflow is crucial. OLTP workloads often exhibit skewed
access patterns, where some records are hot (frequently accessed) but many records are cold (rarely
or never accessed). So, it is more economical to store the coldest records on secondary storage such as
flash or hard disk. Recently, many research works have addressed the data overflow problem, developing
approaches to identify hot/cold data. In this work, we present two new algorithms called 2QCold and
ARCold, which adapt the classic 2Q and ARC cache algorithms to identify cold data. We implement
our algorithms using Seal-DB and compare them with the classic LRU, Forward and Belady algorithms.
The TPC-C benchmark was used in the experiments. The results show that both 2QCold and ARCold
reduce response time and increase hit ratio outperforming related works.
Keywords: In-Memory Database, IMDB, Data Overflow, Hot Data, Cold Data, LRU, 2Q, ARC. Ver menos
systems. Thus, many OLTP databases can be stored entirely in the main memory. However, due to the
continued growth of data, dealing with data overflow is crucial. OLTP workloads often exhibit skewed
access... Ver mais The growth in main-memory storage capacity has fueled the development of main-memory database
systems. Thus, many OLTP databases can be stored entirely in the main memory. However, due to the
continued growth of data, dealing with data overflow is crucial. OLTP workloads often exhibit skewed
access patterns, where some records are hot (frequently accessed) but many records are cold (rarely
or never accessed). So, it is more economical to store the coldest records on secondary storage such as
flash or hard disk. Recently, many research works have addressed the data overflow problem, developing
approaches to identify hot/cold data. In this work, we present two new algorithms called 2QCold and
ARCold, which adapt the classic 2Q and ARC cache algorithms to identify cold data. We implement
our algorithms using Seal-DB and compare them with the classic LRU, Forward and Belady algorithms.
The TPC-C benchmark was used in the experiments. The results show that both 2QCold and ARCold
reduce response time and increase hit ratio outperforming related works.
Keywords: In-Memory Database, IMDB, Data Overflow, Hot Data, Cold Data, LRU, 2Q, ARC. Ver menos
Pinheiro, Vladia Celia Monteiro
Orientador
Monteiro Filho, José Maria da Silva
Coorientador
Almeida, Ana Carolina Brito de
Banca examinadora
Albuquerque, Adriano Bessa
Banca examinadora
Universidade de Fortaleza. Programa de Pós-Graduação em Informática Aplicada
Dissertação (mestrado)