블로그

왜 언어 처리라고 하지 않고 자연어 처리라고 할까? 형식에 맞춰 쓰는 언어 : 형식 언어(대표적인 예는 프로그래밍 언어) 사람이 쓰는 말을 형식 언어와 구분하기 위해 자연어 처리라고 함 TF-IDF (term frequency-inverse document frequency) Document Summarization 문서를 읽지 않고도 문서를 요약하고 싶다 ! TF-IDF TF : 자주 등장하는 키워드는 이 문서의 중요한 키워드일거야 ! IDF : 너무 자주 등장하는 키워드는 이 문서만의 대표적인 특징이 될 수 없어 ! 특정 문서에서 키워드 등장 횟수 * (1 / 전체 문서에서 키워드 등장 횟수) TF(t, d) * IDF(t, D) t : 키워드 등장 횟수 d : 내가 보고있는 문서 D : 문서들의 전..

Review Feature Representation : 연결된 것으로부터 새로운 feature들을 만듦 (재표현) Dense : 고수준 피처 개수 조절 Node : 피처 개수 조절 Image Data Augmentation 현실 세계에서는 가지고 있는 데이터가 매우 부족함 갖고있는 적은 데이터라도 최대한 활용하기 위해 augmentation 사용 Transfer Learning Augmentation의 한계 원본과 확연히 다른 새로운 특징은 만들어낼 수 없음 애초에 양과 질 모두 충족하는 적절한 데이터여야 학습에 도움이 됨 개인이 수집 불가능할 정도의 데이터 + 성능이 훌륭한 모델 구조와 가중치를 가진 모델을 가져와 사용 Pretrained Model : 가져온 그 상태 그대로 사용 Fine Tunin..