AI.ML
[NLP 스터디] 6주차 스터디 - 20. 텍스트 요약
송다은
2023. 11. 7. 21:02
어텐션을 이용한 텍스트 요약
- 텍스트 요약 : 상대적으로 큰 원문을 핵심 내용만 간추려서 상대적으로 작은 요약문으로 변환하는 것
- 추출적 요약 : 원문에서 중요한 핵심 문장 또는 단어구를 몇 개 뽑아서 이들로 구성된 요약문을 만드는 방법
- 대표적인 알고리즘으로 머신 러닝 알고리즘인 텍스트랭크(TextRank)
- 추상적 요약 : 원문에 없던 문장이라도 핵심 문맥을 반영한 새로운 문장을 생성해서 원문을 요약하는 방법
- 추상적 요약을 인공 신경망으로 훈련하기 위해서는 '원문' 뿐만 아니라 '실제 요약문'이라는 레이블 데이터가 있어야한다.
문장 임베딩 기반 텍스트 랭크
- 텍스트 랭크 : 페이지랭크를 기반으로 한 텍스트 요약 알고리즘
- 페이지 랭크 : 검색 엔진에서 웹 페이지의 순위를 정하기 위해 사용되던 알고리즘
- 텍스트랭크에서 그래프의 노드들은 문장들이며, 각 간선의 가중치는 문장들 간의 유사도를 의미함