| 한글제목(Korean Title) |
검색엔진을 위한 멀티프로세스/멀티쓰레드 모델의 설계 및 구현 |
| 영문제목(English Title) |
Design and Implementation of a Multi-Process/Multi-Thread Model for the ODYSSEUS/Parallel-OOSQL Parallel DBMS/Search Engine |
| 저자(Author) |
윤태섭
여연미
이일엽
황규영
Tae-Seob Yun
Yeon-Mi Yeo
Ilyeop Yi
Kyu-Young Whang
|
| 원문수록처(Citation) |
VOL 33 NO. 02 PP. 0089 ~ 0112 (2017. 08) |
한글내용
(Korean Abstract) |
Google, Yahoo!와 같은 검색 엔진은 수백억 건의 웹 문서를 색인하고, 다수의 머신들에서 질의를 병렬로 처리한다. 병렬 검색 엔진은 대용량 데이터를 저장하고 수많은 사용자들에게 서비스를 제공해야 하므로 확장성이 좋아야 한다. 멀티프로세스/싱글쓰레드 모델을 사용하는 검색 엔진은 다수의 프로세스에서 질의를 병렬로 처리하기 위해 많은 양의 메모리를 필요로 하기 때문에 확장성이 좋지 않다. 반면, 멀티프로세스/멀티쓰레드 모델을 사용할 경우, 하나의 프로세스가 다수의 쓰레드를 가짐에 따라 시스템에서 생성되는 프로세스 개수가 감소하여 멀티쓰레드/싱글쓰레드 모델에 비해 확장성이 좋다. 본 논문에서는 병렬 DBMS/검색엔진인 오디세우스/Parallel-OOSQL을 위한 멀티프로세스/멀티쓰레드 모델을 설계 및 구현한다. 제안된 모델은 시스템에 생성되는 프로세스 개수, 메모리 사용량, 그리고 컨텍스트 스위칭 오버헤드를 크게 감소시킨다. 또한, 프로세스/쓰레드들을 효과적으로 관리하고, 질의 처리 속도를 향상시키기 위한 방법을 제안한다. 실험을 통해서는 제안된 모델이 멀티쓰레드/싱글쓰레드 모델보다 확장성이 좋음을 보인다. 실험 결과, 제안된 모델은 메모리 사용량이 69%, 질의 처리 속도가 19%의 향상되었다.
|
영문내용
(English Abstract) |
Search engines such as Google and Yahoo! index tens of billions of web pages and process queries in massive-scale parallelism using multiple machines. Scalability of parallel search engines is very important because their engines need to support a huge volume of data and a large number of users. Search engines using multi-process/single-thread model are not scalable because they consume large amount of memory resources to process queries in parallel in multiple processes. On the other hand, multi-process/multi-thread models are more scalable than multi-process/single-thread models because their processes consists of multiple threads, which reduces the number of processes. In this paper, we design and implement a multi-process/multi-thread model for ODYSSEUS/Parallel-OOSQL parallel DBMS/search engine. The proposed model significantly decreases the number of processes of ODYSSEUS/Parallel-OOSQL and reduces the amount of memory usage and context switching overhead. Besides, we propose an effective method for maintaining processes/threads and increasing the query processing speed. We also conduct experiments to show that the proposed multi-process/multi-thread model is more scalable than the multi-process/single-thread model. The experimental results show that the proposed model outperforms up to 69% in memory usage and 19% in query processing speed.
|
| 키워드(Keyword) |
병렬 DBMS
병렬 검색 엔진
멀티프로세스
멀티쓰레드
parallel DBMS
parallel search engine
multi-process
multi-thread
|
| 파일첨부 |
PDF 다운로드
|
