반응형 분류 전체보기100 Stanford CS224U Natural Language Understanding 강의요약 - XCS224U: NLU I Contextual Word Representations, Part 1: Guiding Ideas I Spring 2023 이전 강의 요약 - XCS224U: NLU I Intro & Evolution of Natural Language Understanding, Pt. 1 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Course Overview, Pt. 2 I Spring 2023 강의영상 : https://www.youtube.com/watch?v=J52Dtu40esQ&list=PLoROMvodv4rOwvldxftJTmoR3kRcWkJBp&index=2 강의영상 https://www.youtube.com/watch?v=FEFeeRONEdw&list=PLoROMvodv4rOwvldxftJTmoR3kRcWkJBp&index=4 강의자료 : https://web.stanford.edu/class/cs.. 2023. 8. 30. Stanford CS224U Natural Language Understanding 강의요약 - XCS224U: NLU I Course Overview, Part 2-1 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Intro & Evolution of Natural Language Understanding, Pt. 1 I Spring 2023 강의영상 : https://www.youtube.com/watch?v=J52Dtu40esQ&list=PLoROMvodv4rOwvldxftJTmoR3kRcWkJBp&index=2 강의자료 : http://web.stanford.edu/class/cs224u/slides/cs224u-intro-2023-handout.pdf 65페이지부터 강의자료 : https://web.stanford.edu/class/cs224u/slides/cs224u-contextualreps-2023-handout.pdf (다음 강의부터) Better and.. 2023. 8. 29. DACON SW중심대학 AI 경진대회 2023 참여 후기 오늘은 DACON과 SW중심대학에서 함께 진행한 AI 경진대회 후기를 올려보려고 한다. 작년에는 18학번 동기들끼리 나가서 Private score로 5등?을 했었는데 이번 년도에는 연구실 후배들의 경험치를 올려주기에 좋은 경험이 되지 않을까 싶어서 같은 연구실 후배들을 대리고 나가게 되었다. 등수는 Public 9등 Private 8등, 발표까지 포함한 등수는 7등으로, SW중심대학협의회의장상을 수상했다. 발표에서 한 등수가 오른 것은 아무래도 창의적인 기법들을 많이 써서 그렇다고 생각한다. Solution은 아래에서 공개하도록 하겠다. 주어진 Task로는 Building Segmentation이였다. 작년에는 예선 본선을 나누어서 진행했는데, 이번에는 하나의 Task로만 진행이 되고 끝났다. 먼저 소.. 2023. 8. 24. Stanford CS224U Natural Language Understanding 강의요약 - XCS224U: NLU I Intro & Evolution of Natural Language Understanding, Pt. 1 I Spring 2023 3일 전, Stanford에서 따끈따끈하게 NLU강의를 풀어주셨다. 본 강의는 CS224N이 아닌 CS224U라는 점을 참고바란다. CS224N은 Natural Language Processing with deep learning이며, CS224N은 Natural Language Understanding이라는 과목이다. 이 CS224U를 듣기 위해서는 선수과목으로 CS224N을 수강해야하는데, 나는 CS224N을 듣진 않았지만, 차근차근 들으면서 정리를 해볼 예정이다. 강의자료: http://web.stanford.edu/class/cs224u/slides/cs224u-intro-2023-handout.pdf 참고자료: https://web.stanford.edu/class/cs224u/backgroun.. 2023. 8. 23. 논문 요약 - Understanding Masked Image Modeling via Learning Occlusion Invariant Feature 오늘 가볍게 요약한 논문은 CVPR2023에 올라온 Masked Image Modeling 분야의 논문이다. Masked Image Modeling(MIM) 방식을 siamese form으로 변형하여 특징을 이해해보는 논문이다. 제목: Understanding Masked Image Modeling via Learning Occlusion Invariant Feature 저자: Xiangwen Kong 소속: MEGVII Technology china 학회: CVPR2023 등재: 2022/8/8 Arxiv, CVPR에 올라온 논문과 Figure 차이가 있으니 더 보고싶다면 Arxiv 참조. 인용: 14 링크: CVPR2023, Arxiv 0. Abstract - MIM에 대한 관심은 증가했지만, 여전히.. 2023. 8. 19. 논문 요약[SiameseIM] - Siamese Image Modeling for Self-Supervised Vision Representation Learning 오늘은 CVPR 2023 Contrastive Learning / Self-Supervised Learning 관련 논문을 찾아보다가 인용 수가 많은 논문이 있길래 간단하게 정리해보려고 한다. 저자: Chenxin Tao 소속: Tsinghua University(칭화대) 학회: CVPR2023 인용: 36 (2023.08.18 기준) 2022년 11에 Arxiv에 올라왔으니 꽤 오래되긴 했으나, 그래도 CVPR Contrastive/Self-Suervised Learning 코너에서 인용수가 가장 높았다. 링크: https://arxiv.org/abs/2206.01204 Github: https://github.com/OpenGVLab/Siamese-Image-Modeling/tree/main Tabl.. 2023. 8. 19. Deep Learning & Computer Vision & NLP 용어 정리 오늘은 논문을 읽으면서 등장하는 전문적인? 용어들을 내가 기억하기 좋게 정리하기 위해 글을 써보려고 한다. 글로만 명확하게 설명하는 것도 좋지만, 기억에 잘 남는 것은 이미지를 활용하는 것이기에, 이미지와 글을 활용해보려고 한다. 아마 논문을 읽을 때 마다 모르는 용어가 등장하면 업데이트를 할 것 같다. 2023.09.02 Receptive Field: 우리의 model이, 특히 한 layer 혹은 하나의 뉴런이 보는/담당하는 특정 입력 이미지의 크기이다. 위의 그림을 예시로 들면, 파란색이 우리의 모델, 빨간색이 입력 이미지라고하면, Receptive Field는 중간의 빨간 네모이다. 주로 CNN 모델에서 한 layer의 Receptive Field는 Kernel size와 같다. Inductive .. 2023. 8. 18. 논문 분석 [FlexiViT] - FlexiViT: One Model for All Patch Size. FlexiViT 논문을 오타와 대학과의 저널 클럽에서 발표하기 전 미리 자세하게 포스팅을 해보는 시간을 가져보려고 한다. 지난 6월달에 열린 CVPR2023때문에 요즘 전부 CVPR2023 논문만 발표를 하고 있어서, 나는 아직 학부생이지만.. 열심히 따라가보려고 한다.. 후 논문 제목: FlexiViT: One Model for All Patch Size. 저자: Lucas Beyer at al. 소속: Google Research 인용: 14 (2023.08.05 기준) 링크: https://arxiv.org/abs/2212.08013 학회: CVPR 2023 코드: https://github.com/google-research/big_vision Baseline. Q1. 왜 FlexiViT인가요? .. 2023. 8. 7. 논문 읽기 [DirectCLR] - Understanding Dimension Collapse in Contrastive self-supervised learning 오늘은 Dimension collapse에 대해서 알아보고자 한다. 특히 Contrastive Learning에서도 일어나는 Dimension Collapse에 초점을 둘 것이다. 제목 : Understanding Dimension Collapse in Contrastive self-supervised learning 학회 : ICLR 2022 저자 : Li Jing, Pascal Vincent, Yann LeCun, Yuandong Tian 인용 : 164회 (2023.07.24 기준) 링크 : https://arxiv.org/abs/2110.09348 - 시작에 앞서서 (a)는 joint embedding 방식에서의 embedding space에 대해 설명을 한 것인데, 같은 이미지가 다른 augme.. 2023. 7. 31. 논문 읽기[CMC] - Contrastive Multiview Coding 오랜만에 돌아온 논문 리뷰. 오타와 대학과 함께 진행하는 논문 세미나에서 발표할 PPT의 Figure로 넣을 예정인데 혹시 몰라서 읽어볼 예정이다. 발표할 논문은 아래의 What do self-supervised Vision Transformer learn? 이라는 논문인데, 나도 나중에 이런 논문을 쓰고싶다고 느끼게 해준 논문이다. 가볍게 정리 후, 아직 업데이트를 안했는데, 조만간 조금 더 구체적으로 포스팅을 해야겠다. 논문 읽기 - What Do Self-Supervised Vision Transformers Learn? 저자: Namuk park 소속: Prescient Design Genentech, NAVER AI Lab 날짜: 2023.05.01 Arxiv 등재 학회: ICLR 2023 Pr.. 2023. 7. 17. 이전 1 2 3 4 5 6 7 8 ··· 10 다음 반응형
