쿠버네티스에서 분산 학습 작업 성능 향상을 위한오토스케일링 기반 동적 자원 조정 오퍼레이터
DC Field | Value | Language |
---|---|---|
dc.contributor.author | 정진원 | - |
dc.contributor.author | 유헌창 | - |
dc.date.accessioned | 2022-08-26T19:40:32Z | - |
dc.date.available | 2022-08-26T19:40:32Z | - |
dc.date.created | 2022-08-26 | - |
dc.date.issued | 2022 | - |
dc.identifier.issn | 2287-5891 | - |
dc.identifier.uri | https://scholar.korea.ac.kr/handle/2021.sw.korea/143501 | - |
dc.description.abstract | 딥러닝 분산 학습에 사용되는 많은 도구 중 하나는 컨테이너 오케스트레이션 도구인 쿠버네티스에서 실행되는 큐브플로우이다. 그리고 큐브플로우에서 기본적으로 제공하는 오퍼레이터를 사용하여 텐서플로우 학습 작업을 관리할 수 있다. 하지만 파라미터 서버 아키텍처 기반의 딥러닝 분산학습 작업을 고려할 때 기존의 오퍼레이터가 사용하는 스케줄링 정책은 분산학습 작업의 태스크 친화도를 고려하지 않으며 자원을 동적으로 할당하거나 해제하는 기능을 제공하지 않는다. 이는 작업의 완료 시간이 오래 걸리거나 낮은 자원 활용률로 이어질 수 있다. 따라서 본 논문에서는 작업의완료 시간을 단축시키고 자원 활용률을 높이기 위해 딥러닝 분산 학습 작업을 효율적으로 스케줄링하는 새로운 오퍼레이터를 제안한다. 기존 오퍼레이터를 수정하여 새로운 오퍼레이터를 구현하고 성능 평가를 위한 실험을 수행한 결과, 제안한 스케줄링 정책은 평균 작업 완료 시간 감소율을최대 84%, 평균 CPU 활용 증가율을 최대 92%까지 향상시킬 수 있음을 보여준다. | - |
dc.language | English | - |
dc.language.iso | en | - |
dc.publisher | 한국정보처리학회 | - |
dc.title | 쿠버네티스에서 분산 학습 작업 성능 향상을 위한오토스케일링 기반 동적 자원 조정 오퍼레이터 | - |
dc.title.alternative | Dynamic Resource Adjustment Operator Based on Autoscaling for Improving Distributed Training Job Performance on Kubernetes | - |
dc.type | Article | - |
dc.contributor.affiliatedAuthor | 유헌창 | - |
dc.identifier.bibliographicCitation | 정보처리학회논문지. 컴퓨터 및 통신시스템, v.11, no.7, pp.205 - 216 | - |
dc.relation.isPartOf | 정보처리학회논문지. 컴퓨터 및 통신시스템 | - |
dc.citation.title | 정보처리학회논문지. 컴퓨터 및 통신시스템 | - |
dc.citation.volume | 11 | - |
dc.citation.number | 7 | - |
dc.citation.startPage | 205 | - |
dc.citation.endPage | 216 | - |
dc.type.rims | ART | - |
dc.identifier.kciid | ART002863286 | - |
dc.description.journalClass | 2 | - |
dc.description.journalRegisteredClass | kci | - |
dc.subject.keywordAuthor | 큐브플로우 | - |
dc.subject.keywordAuthor | 쿠버네티스 | - |
dc.subject.keywordAuthor | 딥러닝 분산 학습 | - |
dc.subject.keywordAuthor | 자원 조정 오퍼레이터 | - |
dc.subject.keywordAuthor | Kubeflow | - |
dc.subject.keywordAuthor | Kubernetes | - |
dc.subject.keywordAuthor | Distributed Deep Learning Training | - |
dc.subject.keywordAuthor | Resource Adjustment Operator | - |
Items in ScholarWorks are protected by copyright, with all rights reserved, unless otherwise indicated.
(02841) 서울특별시 성북구 안암로 14502-3290-1114
COPYRIGHT © 2021 Korea University. All Rights Reserved.
Certain data included herein are derived from the © Web of Science of Clarivate Analytics. All rights reserved.
You may not copy or re-distribute this material in whole or in part without the prior written consent of Clarivate Analytics.