블로그

train_test_split(filtered_data, test_size=0.2, stratify=filtered_data['column']) 데이터 분할할 때 stratify 옵션 추가하기 아무리 특정 클래스에 대해 train을 많이 시켜도 test set에 그 클래스 데이터가 포함되지 않으면 검증이 되지 않음 -> over fitting 여부 확인X 옵션에 클래스 컬럼을 넣어주면 비율에 따라 나눠줌

apply(함수명, axis=0 or 1) axis 0 : 함수를 열에 적용 axis 1 : 함수를 행에 적용

Abstract hs 코드의 정확성을 수동으로 평가하는 것은 오류가 발생하기 쉽고, 시간이 많이 소요됨 머신러닝을 사용하여 제품의 텍스트 설명을 통해 학습한 품목분류 코드의 정확성 평가 품목의 hs 코드의 정확성을 평가하기 위해, 텍스트의 코사인 유사도와 hs 코드의 의미론적 유사도를 기반으로 한 새로운 결합 유사도 측정 방법을 도입 의미론적 유사도 : hs코드 간의 관계나 계층 구조를 기반으로 한 유사도로, 같은 상위 카테고리에 속하는 두 hs 코드는 높은 의미론적 유사도를 가짐 Related works 대부분의 관련 연구는 다양한 기계 학습 방법을 사용하여 판매자의 관점에서 자동 상품 분류에 중점을 둠 이 논문은 위험 관리 시스템의 일부로 사기 탐지에 중점을 둠 자연어 텍스트에 보완적인 지식으로 HS..

ABSTRACT 사람이 관세 신고서를 보고 HS 코드를 지정하는 것은 오류가 발생할 가능성이 높음 딥러닝을 적용한 HS 코드 분류 자동화 시스템 DHL에서 제공한 발송물의 익명화된 데이터를 사용함 계층적 손실의 통합을 가진 주의 기반 신경 기계 번역(NMT) 모델이며 이 모델은 데이터 셋의 약 29%를 분류할 수 있고 정확도는 85%에 달할 수 있음 INTRODUCTION 가설 : 품목 설명 및 발송 특징에서 HS 코드 분류를 생성하는 문제는 기계 번역 문제로 간주될 수 있다 코드는 계층적 구조를 취하며, 각 계층 사이에 종속성이 발생하므로 계층적 분류 모델을 의미할 수 있음 주요 기여 : HS 코드 분류 문제를 기계 번역 작업으로 모델링하는 것 RELATED WORK 계층적 분류 작업 → 전역 신경망 ..

오늘부터 블로그 시작합니다~~~~~~!!!