어텐션을 이용한 텍스트 요약
- 텍스트 요약 : 상대적으로 큰 원문을 핵심 내용만 간추려서 상대적으로 작은 요약문으로 변환하는 것
- 추출적 요약 : 원문에서 중요한 핵심 문장 또는 단어구를 몇 개 뽑아서 이들로 구성된 요약문을 만드는 방법
- 대표적인 알고리즘으로 머신 러닝 알고리즘인 텍스트랭크(TextRank)
- 추상적 요약 : 원문에 없던 문장이라도 핵심 문맥을 반영한 새로운 문장을 생성해서 원문을 요약하는 방법
- 추상적 요약을 인공 신경망으로 훈련하기 위해서는 '원문' 뿐만 아니라 '실제 요약문'이라는 레이블 데이터가 있어야한다.
- 추출적 요약 : 원문에서 중요한 핵심 문장 또는 단어구를 몇 개 뽑아서 이들로 구성된 요약문을 만드는 방법
문장 임베딩 기반 텍스트 랭크
- 텍스트 랭크 : 페이지랭크를 기반으로 한 텍스트 요약 알고리즘
- 페이지 랭크 : 검색 엔진에서 웹 페이지의 순위를 정하기 위해 사용되던 알고리즘
- 텍스트랭크에서 그래프의 노드들은 문장들이며, 각 간선의 가중치는 문장들 간의 유사도를 의미함
'AI.ML' 카테고리의 다른 글
[AI/ML스터디] 2주차- 03. 파이토치기초(~퍼셉트론) (0) | 2024.10.05 |
---|---|
[NLP 스터디] 6주차 퀴즈 (0) | 2023.11.07 |
[NLP 스터디] 6주차 정리 - 19.토픽 모델링 (0) | 2023.11.07 |
[NLP 스터디] 5주차 BERT (1) | 2023.10.15 |
[NLP 스터디] 5주차 NLP에서의 사전 훈련 (0) | 2023.10.15 |