KCC 2021
Current Result Document :
| 한글제목(Korean Title) |
분산학습에서 워커의 비최적 배치로 인한 성능 비교 분석 및 예방 |
| 영문제목(English Title) |
Analysis and Prevention of Performance Degradation from Suboptimal Worker Placement in Distributed Training Systems |
| 저자(Author) |
이현재
이현수
서의성
Hyeonjae Lee
Hyeonsu Lee
Euiseong Seo
|
| 원문수록처(Citation) |
VOL 48 NO. 01 PP. 1391 ~ 1393 (2021. 06) |
한글내용
(Korean Abstract) |
분산 학습에서 각 워커가 개별적 학습 결과인 지역 경사도를 모든 워커로 합산해 전역 경사도를 구하기 위해서 자주 쓰이는 링-올리듀스 방식에서 각 워커는 이웃한 워커와 경사도를 송수신하게 된다. 우리는 이러한 과정에서 워커가 컴퓨팅 노드에 홀로 존재하는 특정 배치 시 성능 하락이 다른 배치에 비해 두드러지는 현상을 발견하였고 문제의 원인이 홀로 배치된 워커가 한정된 자원을 가지고 타 노드에 배치된 워커와의 송신과 수신이라는 비용이 큰 두 작업을 처리해야 하기 때문임을 규명하였다. 또한 어떠한 배치 상황이더라도 한정된 자원으로 송신과 수신을 워커 혼자 처리함에 따라 성능 하락이 발생할 수 있음을 찾아냈다. 본 논문에서는 해당 문제점을 분석하고 멀티 스레딩으로 송신과 수신을 병렬화하고 스레드 간 간섭을 줄여 성능 하락을 해결하고 링-올리듀스의 성능을 최대 40%까지 높일 수 있음을 보여준다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
|
| 파일첨부 |
PDF 다운로드
|
