반응형 Deep Learning (Computer Vision)/Contrastive Learning6 논문 읽기 [DirectCLR] - Understanding Dimension Collapse in Contrastive self-supervised learning 오늘은 Dimension collapse에 대해서 알아보고자 한다. 특히 Contrastive Learning에서도 일어나는 Dimension Collapse에 초점을 둘 것이다. 제목 : Understanding Dimension Collapse in Contrastive self-supervised learning 학회 : ICLR 2022 저자 : Li Jing, Pascal Vincent, Yann LeCun, Yuandong Tian 인용 : 164회 (2023.07.24 기준) 링크 : https://arxiv.org/abs/2110.09348 - 시작에 앞서서 (a)는 joint embedding 방식에서의 embedding space에 대해 설명을 한 것인데, 같은 이미지가 다른 augme.. 2023. 7. 31. 논문 읽기[CMC] - Contrastive Multiview Coding 오랜만에 돌아온 논문 리뷰. 오타와 대학과 함께 진행하는 논문 세미나에서 발표할 PPT의 Figure로 넣을 예정인데 혹시 몰라서 읽어볼 예정이다. 발표할 논문은 아래의 What do self-supervised Vision Transformer learn? 이라는 논문인데, 나도 나중에 이런 논문을 쓰고싶다고 느끼게 해준 논문이다. 가볍게 정리 후, 아직 업데이트를 안했는데, 조만간 조금 더 구체적으로 포스팅을 해야겠다. 논문 읽기 - What Do Self-Supervised Vision Transformers Learn? 저자: Namuk park 소속: Prescient Design Genentech, NAVER AI Lab 날짜: 2023.05.01 Arxiv 등재 학회: ICLR 2023 Pr.. 2023. 7. 17. 논문 요약 [CPC] - Representation Learning with Contrastive predictive Coding 제목 : Representation Learning with Contrastive predictive Coding 학회 : NIPS 2019 Aaron van den Oord Invited talk [영상 링크] (따로 출판 된지는 몰루? 블로그 글보다 영상이 훨씬 설명을 잘한다. 글 말고 영상는 것을 추천) 저자 : Aaron van den Oord | Yazhe Li | Oriol vinyals 소속: Deep Mind 인용 : 5322 (2023.06.26 기준) 링크 : https://arxiv.org/abs/1807.03748 Background. [이미지 출처 NIPS 2019 Invited talk] 1. mutual information → 우리가 데이터 셋을 가지고 있고 아래 그림과 같이.. 2023. 6. 27. Contrastive Learning (3): [SimCLR] A Simple Framework for Contrastive Learning of Visual Representations 저자: Ting Chen | Simon Kornblith | Mohammad Norouzi | Geoffrey Hinton 소속: Google Research Team 학회: PMLR 2020 인용: 10639 (2023.06.25 기준) 논문: https://arxiv.org/abs/2002.05709 1992년 Contrastive learning? self-supervised learning의 대한 개념을 처음으로 제안하신 LeCun교수님과 더불어, 현재 Contrastive Learning / Self-supervised Learning의 핵심 논문 중 하나로 자리잡은 이 SimCLR의 교신저자가 Geoffrey Hinton 교수님이다. Facebook에서 MoCo가 2019년에 등장 후, 202.. 2023. 6. 25. Contrastive Learning (2) MoCo (Momentum Constrastive for Unsupervised Visual Representation Learning) Contrastive learning의 대표적인 논문 중 하나인 MoCo에 대해서 소개하도록 하겠습니다. FaceBook, 현재 Meta인 Facebook AI research에서 Kaimming He께서 작성한 논문입니다. (ResNet 만드신 분) MoCo에 대한 개념 설명 및 동작원리에 조금 더 초점을 맞추고 설명을 하도록 하겠습니다. MoCo의 sudo코드와 실제 동작원리가 와닫지 않을 수 있어서 그림 및 차원을 통해 설명하도록 하겠습니다. + MoCo그림에서 x^key_i, k0 과 같은 부분이 와닿지 않을 수 있어서 그부분을 조금 더 풀어보았습니다. BackGround. 배경지식으론, Representation Learning과, Contrastive Learning에 대해서 알고 넘어가야 합.. 2023. 4. 24. 논문으로 알아보는 Contrastive Learning (1) - DrLIM (Dimensionality Reduction by Learning an Invariant Mapping) MoCo Review를 하기 전, MoCo에서 많이 언급되며, Contrastive Loss를 처음으로 사용한 논문으로 소개되는 Hadsell - Dimensionality Reduction by Learning an Invariant Mapping (DrLIM) in 2006 CVPR 논문에 대해서 먼저 정리하고 넘어가려고 한다. 처음부터 MoCo를 들어 갈 수 있지만, Contrastive Learning이라는 개념이 와닿지 않아 이 논문부터 시작했다. 내용도 짧고 어렵지 않아 가볍게 소개하고 넘어가겠다. (HadSell이 구글 소속인 것과, 논문의 지도 교수님으로 얀 르쿤 교수님이 들어가 있어서 호기심이 컸던 것도 있다) 논문의 주요 Keypoint는 1. 2개의 입력 데이터를 space에 매핑하는.. 2023. 4. 4. 이전 1 다음 반응형