Current Result Document :
| 한글제목(Korean Title) |
EDT5 : T5 인코더-디코더 임베딩 모델 제안 |
| 영문제목(English Title) |
EDT5 : Proposed Embedding Model of T5 Encoder-Decoder Structure |
| 저자(Author) |
신중민
정주경
이정훈
조상현
김민호
김미연
권혁철
JoongMin Shin
JuKyung Jung
Jung-Hun Lee
Sanghyun Cho
Minho Kim
Miyeon Kim
Hyuk-Chul Kwon
|
| 원문수록처(Citation) |
VOL 49 NO. 02 PP. 0410 ~ 0412 (2022. 12) |
한글내용
(Korean Abstract) |
T5는 자연어처리 태스크를 Text-to-Text 방식으로 단순화하기 위한 인코더-디코더 모델이다. 그러나 이러한 방식은 디코더를 효과적으로 사용하지 못한다는 단점이 있다. 이러한 문제를 개선하기 위해 인코더만 임베딩으로 사용하는 방법이 제시되었지만, 디코더를 더 효과적으로 사용하는 방법에 대해서는 제시하지 못하였다. 본 논문에서는 인코더와 디코더를 함께 임베딩에 사용하는 모델 구조를 제안하고, 제안모델의 성능을 평가하고자 T5를 Text-to-Text, 인코더 임베딩, 디코더 임베딩, 인코더-디코더 임베딩으로 나누어 실험하였다. 제안모델은 기존 T5 모델 대비 5.89%, 인코더 임베딩 모델 대비 0.27%, 디코더 임베딩 모델 대비 41.76%가 향상되어 제안한 인코더-디코더 임베딩 방법이 효과적이라는 것을 증명하였다. |
영문내용
(English Abstract) |
|
| 키워드(Keyword) |
자연어처리
T5
딥러닝
사전학습모델
임베딩
|
| 파일첨부 |
PDF 다운로드
|
