| 한글제목(Korean Title) |
IoT 스트림 데이터의 윈도우 패턴 인식과 저장 시스템의 설계와 구현 |
| 영문제목(English Title) |
Design and Implementaion of a Window Pattern Recognition and Storage System for IoT Stream Data |
| 저자(Author) |
송지현
이민수
Jihyun Song
Minsoo Lee
|
| 원문수록처(Citation) |
VOL 34 NO. 02 PP. 0046 ~ 0058 (2018. 08) |
한글내용
(Korean Abstract) |
IoT 환경이 보편화 되면서 이와 관련된 빅데이터를 대상으로 딥러닝을 적용하게 될 경우 딥러닝의 한정된 적용 분야를 확대할 수 있을 것으로 예상한다. 하지만 실시간으로 변화하고 생성되는 방대한 데이터의 학습데이터 세트를 준비하여 제공하는 데에 어려움이 생기게 되고 즉각적으로 반응하기 위해서는 자동화를 하는 연구가 필요하다. 본 논문에서는 능동형 빅데이터 기술을 바탕으로 딥러닝에 적용하기 위한 학습 데이터 세트를 생성할 수 있는 라이브러리의 구축을 목표로 하였다. 제안하는 라이브러리는 학습 데이터 세트가 빅데이터를 바탕으로 능동적으로 만들어질 수 있도록 지원하여 IoT 스트림 데이터의 학습 데이터 세트를 자동 생성하게 된다. IoT 데이터를 위해 스트리밍 데이터 처리 환경에서 구축하였고, 스트리밍 데이터를 윈도우 단위로 나누어 사용자가 정의한 패턴에 맞게 분류할 수 있도록 하였다. 또한 패턴 처리 시 필요한 패턴 설정 조건에 필요한 세부 사항들은 데이터베이스에 저장하도록 하여 사용자가 변경이 용이하도록 설계하였다. 윈도우 별패턴 처리 후 패턴에 부합하는 윈도우들은 데이터베이스에 학습데이터 세트로써 자동 태깅된 후 저장되게 된다.
|
영문내용
(English Abstract) |
As the IoT environment becomes popular, it is expected that deep learning will be applied to various fields. However, there are difficulties in preparing training data sets of IoT data, which changes in real time, therefore it is necessary to study automatic processing of data in order to react immediately. In this paper, we propose an event-based rule system library that can generate training data sets for deep learning based on active big data technology. It is constructed in a stream data processing environment that changes in real time. For generating training data sets, streaming data is divided into window units, so users can define predetermined patterns on which classification is possible. Also users can specify the pattern to be compared and extract abnormal values from patterns or analyze correlations between patterns among the divided windows. In addition, parameter values required for pattern processing for training data set generation are stored in the database so that users can easily change details. The training data sets are stored in the database along with tags. The proposed system has been experimented with publicly available sensor data and shows that desired patterns are identified as specified by the user.
|
| 키워드(Keyword) |
Window Processing
IoT
Streamdata
Spark
training data set
윈도우 처리
IoT
스트림 데이터
스파크
학습데이터 세트
|
| 파일첨부 |
PDF 다운로드
|
