| 한글제목(Korean Title) |
메모리 기반 키-값 저장소에서의 데이터 압축 저장과 병렬 스냅샷 생성 기법 |
| 영문제목(English Title) |
Data Compression Storage and Parallel Snapshot Generation Technique in In-memory Key-Value Stores |
| 저자(Author) |
성한승
박상현
Hanseung Sung
Sanghyun Park
|
| 원문수록처(Citation) |
VOL 35 NO. 02 PP. 0033 ~ 0053 (2019. 08) |
한글내용
(Korean Abstract) |
실시간 데이터 처리와 저장이 요구되는 환경에서 메모리 기반 키-값 저장소인 Redis가 널리 사용되고 있다. 그러나 디스크보다 제한된 저장 용량을 가진 메모리가 주 저장 장치로 사용되기 때문에, 저장 가능한 데이터의 양이 다소 제한적이다. 또한, 시스템 장애가 발생할 경우 DRAM 의 휘발성으로 인해 저장된 모든 데이터가 유실되는 문제가 있다. 이를 방지하기 위한 영속성 방법을 제공하지만, 영속성을 위한 작업으로 인해 데이터 처리 성능이 저하되고 메모리 사용량이 급증하는 문제가 있다. 본 논문에서는 LZF 알고리즘을 통해데이터를 압축 저장하여 메모리의 용량 제한을 극복하는 데이터 압축 저장 기법과 스냅샷을 생성 시 발생하는 로깅 부하를 완화하기 위해 데이터 병렬성을 활용하는 병렬 스냅샷 생성 기법을 제안한다. 본 논문에서 제안하는 방법을 적용한 Redis 는 기존 Redis 보다 적은 메모리 사용량을 보였으며, 스냅샷 생성 및 데이터 복구에 소요되는 시간이 크게 단축되었음을 확인하였다. |
영문내용
(English Abstract) |
Redis, a memory-based key-value store, is widely used in environments where real-time data processing and storage is required. However, because a memory with a limited storage capacity compared to disk is used as the primary storage device, the amount of data that can be stored is rather limited. In addition, in the event of system failure, there is a problem that all stored data are lost due to the volatility of the DRAM. Although it provides a persistence method to prevent this, there is a problem that data processing performance is degraded and memory usage is rapidly increased due to work for durability. In this paper, we propose a data compression storage technique to overcome the capacity limitation of memory by compressing and storing data through LZF algorithm and a parallel snapshot creation method that utilizes parallelism to alleviate the logging overhead that occurs when creating a snapshot. Redis using the proposed methods showed less memory usage than the existing Redis, and identified that the time required for snapshot creation and data recovery is also significantly reduced. |
| 키워드(Keyword) |
인-메모리 키-값 데이터베이스
레디스
데이터 압축
스냅샷
데이터 병렬성
In-memory Key-Value Database
Redis
Data Compression
Snapshot
Data Parallelis
|
| 파일첨부 |
PDF 다운로드
|
