목록nlp (1)
블로그
[LM] 언어지능 딥러닝 #1 TF-IDF, 비지도 학습, Word Embedding, 정보 검색, 추천 시스템
왜 언어 처리라고 하지 않고 자연어 처리라고 할까? 형식에 맞춰 쓰는 언어 : 형식 언어(대표적인 예는 프로그래밍 언어) 사람이 쓰는 말을 형식 언어와 구분하기 위해 자연어 처리라고 함 TF-IDF (term frequency-inverse document frequency) Document Summarization 문서를 읽지 않고도 문서를 요약하고 싶다 ! TF-IDF TF : 자주 등장하는 키워드는 이 문서의 중요한 키워드일거야 ! IDF : 너무 자주 등장하는 키워드는 이 문서만의 대표적인 특징이 될 수 없어 ! 특정 문서에서 키워드 등장 횟수 * (1 / 전체 문서에서 키워드 등장 횟수) TF(t, d) * IDF(t, D) t : 키워드 등장 횟수 d : 내가 보고있는 문서 D : 문서들의 전..
공부/DL
2024. 4. 15. 17:01