원본 논문
참고자료
•
논문제목 : Imbalanced Continual Learning with Partitioning Reservoir Samplin
•
서론 : Continual learning from a sequential stream of data is a crucial challenge for machine learning research. Most studies have been conducted on this topic under the single-label classification setting along with an assumption of balanced label distribution. This work expands this research horizon towards multi-label classification. In doing so, we identify unanticipated adversity innately existent in many multi-label datasets, the long-tailed distribution. We jointly address the two independently solved problems, Catastropic Forgetting and the long-tailed label distribution by first empirically showing a new challenge of destructive forgetting of the minority concepts on the tail. Then, we curate two benchmark datasets, COCOseq and NUS-WIDEseq, that allow the study of both intra- and inter-task imbalances. Lastly, we propose a new sampling strategy for replay-based approach named Partitioning Reservoir Sampling (PRS), which allows the model to maintain a balanced knowledge of both head and tail classes. We publicly release the dataset and the code in our project page.
•
서론 : 순차적 데이터 스트림에서 지속적으로 학습하는 것은 머신러닝 연구에 있어 중요한 과제이다. 대부분의 연구는 균형 잡힌 라벨 분포의 가정과 함께 단일 라벨 분류 설정에서 이 주제에 대해 수행되었다. 본 연구는 이러한 연구 범위를 다중 라벨 분류로 확장한다. 이를 통해, 우리는 많은 다중 레이블 데이터 세트, 긴 꼬리 분포에 내재되어 있는 예상치 못한 역경을 식별한다. 우리는 먼저 경험적으로 꼬리 위의 소수 개념의 파괴적 망각이라는 새로운 도전을 보여줌으로써 독립적으로 해결된 두 가지 문제, 즉 재앙적 망각과 긴 꼬리 레이블 분포를 공동으로 해결한다. 그런 다음 작업 내 및 작업 간 불균형을 모두 연구할 수 있는 두 가지 벤치마크 데이터 세트인 COCOseq와 NUS-WIDEseq를 큐레이션한다. 마지막으로, 모델이 헤드 클래스와 테일 클래스 모두에 대한 균형 잡힌 지식을 유지할 수 있는 분할 저장소 샘플링(PRS)이라는 재생 기반 접근 방식을 위한 새로운 샘플링 전략을 제안한다. 우리는 프로젝트 페이지에 데이터 세트와 코드를 공개합니다.
해결하고자 하는 문제
•
Multi-Label classification 상황에서 Contiual Learning 문제를 해결하고자 함
Multi-Label Classification
•
다중 레이블 분류
•
제안하는 METHODS
Partitioning Reservoir Sampling
- 이어서 작성중-
안녕하세요
•
한국전자기술연구원 김영광입니다.
•
관련 기술 문의와 R&D 공동 연구 사업 관련 문의는 “glory@keti.re.kr”로 연락 부탁드립니다.
Hello
•
I'm Yeonggwang Kim from the Korea Electronics Research Institute.
•
For technical and business inquiries, please contact me at “glory@keti.re.kr”