반응형 분류 전체보기101 Vision 분야에 적용된 Self-Attention 알아보기 [Non-local Neural Networks, SENet, On the Relationship between Self-Attention and Convolutional Layers] 1. Non-local Neural Networks 제목 : Non-local Neural Networks 저자 : Xiaolong Wang , Kamming He et al 소속 : Carnegie Mellon University & Facebook AI Research 학회 : CVPR2018 인용 : 9010 (2023.09.24 기준) 링크 : https://arxiv.org/abs/1711.07971v3 Abstract 요약: Video Processing에서 전통적인 CNN + RNN 조합 대신 "non-local block"을 제시하여 긴 범위의 의존성을 포착 가능. Non-local block은 모든 위치의 특징(Time, Height, Weight)의 가중치 합으로 계산. 이 방법은 다양.. 2023. 9. 24. 논문 톺아보기 및 코드 구현 [ViT-1] - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ICLR 2021) 필자가 이 논문을 처음 봤을 때가 2022.11.14일인데, 이 때 기준 인용 수가 8829이다. 현재 2023.09.22기준 21446회.. 그 당시에도 한달마다 몇백회씩 인용수가 늘어나는 것이 놀라웠는데, 이젠 그 이상으로 유명해진 것 같다. 그리고 미루고 미루다 DeiT, DeiT-III, FlexiViT 등 다양한 ViT를 발표해야할 것만 같아서 미뤄왔던 정리를 해야만 할 것 같다. 그 당시에 Image classification 분야에서 가장 좋은 성능을 보여주는 모델은 무엇일까? 라는 질문에서 시작하여, 가장 좋은 성능을 보여주는 transformer 계열의 모델에 대해 궁금증이 생겼고, Computer vision 분야의 기본인 transformer가 적용된 VIT에 대해 정리하는 것을 목표.. 2023. 9. 23. 논문 톺아보기 [DeiT] - Training data-efficient image transformers & Distillation through attention 제목 : Training Data-efficient image Transformers & Distillation through attention [DeiT] 저자 : Hugo Touvron, Matthijs Douze, Alexandre Sablayrolles, Herv´e J´egou 소속 : Facebook AI, Sorbonne University (프랑스 파리) 인용 : 3958 (2023.09.22 기준) 링크 : https://proceedings.mlr.press/v139/touvron21a 학회 : ICML2021 돌고 돌아 돌아온 오타와 세미나 발표.. 1주밖에 안남았는데 교수님께서 할당해주신 논문을 다른 걸로 바꿨다. 원래 논문은 When to Prune? A Policy towards.. 2023. 9. 22. [DenseNet] 논문 톺아보기 - Densely Connected Convolutional Networks 제목: Densely Connected Convolutional Networks 저자: Gao Huang et al. 소속: Cornell, Tsinghua University, Facebook AI 학회: CVPR2017 (Best Paper Award*) 인용: 38142 (2023.09.10 기준) 링크 : https://arxiv.org/pdf/1608.06993.pdf 영상 : https://www.youtube.com/watch?v=-W6y8xnd--U 오늘은 대학원 수업에서 DenseNet paper를 발표하게 되었다. 첫 발표는 2015-2018 사이의 큼직한 논문들이 있었는데 ResNet, LeNet, Efficientnet 등 다른 논문은 읽어본 적이 있는데, DenseNet은 잘 몰라.. 2023. 9. 11. Stanford CS224U Natural Language Understanding 강의요약 - XCS224U: NLU I Information Retrieval, Part 1: Guiding Ideas I Spring 2023 이전 강의 - XCS224U: NLU I Intro & Evolution of Natural Language Understanding, Part. 1 I Spring 2023 이전 강의 - XCS224U: NLU I Course Overview, Part. 2 I Spring 2023 이전 강의 - XCS224U: NLU I Contextual Word Representations, Part. 1: Guiding ideas I Spring 2023 이전 강의 - XCS224U: NLU I Contextual Word Representations, Part. 2: The Transformer I Spring 2023 이전 강의 - XCS224U: NLU I Contextual Word Representat.. 2023. 9. 4. Stanford CS224U Natural Language Understanding 강의요약 - XCS224U: NLU I Contextual Word Representations, Part 8, 9,10: Seq2Seq, Distillation, Warp-up I Spring 2023 이전 강의 - XCS224U: NLU I Intro & Evolution of Natural Language Understanding, Part. 1 I Spring 2023 이전 강의 - XCS224U: NLU I Course Overview, Part. 2 I Spring 2023 이전 강의 - XCS224U: NLU I Contextual Word Representations, Part. 1: Guiding ideas I Spring 2023 이전 강의 - XCS224U: NLU I Contextual Word Representations, Part. 2: The Transformer I Spring 2023 이전 강의 - XCS224U: NLU I Contextual Word Representat.. 2023. 9. 3. Stanford CS224U Natural Language Understanding 강의요약 - XCS224U: NLU I Contextual Word Representations, Part 5, 6, 7: BERT, RoBERTa, ELECTRA I Spring 2023 이전 강의 요약 - XCS224U: NLU I Intro & Evolution of Natural Language Understanding, Part. 1 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Course Overview, Part. 2 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Contextual Word Representations, Part. 1: Guiding ideas I Spring 2023 이전 강의 요약 - XCS224U: NLU I Contextual Word Representations, Part. 2: The Transformer I Spring 2023 이전 강의 요약 - XCS224U: NLU I Contextual W.. 2023. 9. 2. Stanford CS224U Natural Language Understanding 강의요약 - XCS224U: NLU I Contextual Word Representations, Part 4: GPT I Spring 2023 이전 강의 요약 - XCS224U: NLU I Intro & Evolution of Natural Language Understanding, Part. 1 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Course Overview, Part. 2 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Contextual Word Representations, Part. 1: Guiding ideas I Spring 2023 이전 강의 요약 - XCS224U: NLU I Contextual Word Representations, Part. 2: The Transformer I Spring 2023 이전 강의 요약 - XCS224U: NLU I Contextual W.. 2023. 9. 2. Stanford CS224U Natural Language Understanding 강의요약 - XCS224U: NLU I Contextual Word Representations, Part 3: Positional Encoding I Spring 2023 이전 강의 요약 - XCS224U: NLU I Intro & Evolution of Natural Language Understanding, Part. 1 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Course Overview, Part. 2 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Contextual Word Representations, Part. 1: Guiding ideas I Spring 2023 이전 강의 요약 - XCS224U: NLU I Contextual Word Representations, Part. 2: The Transformer I Spring 2023 강의영상 : https://www.youtube.com/watch?v.. 2023. 9. 2. Stanford CS224U Natural Language Understanding 강의요약 - XCS224U: NLU I Contextual Word Representations, Part 2: Transformer I Spring 2023 이전 강의 요약 - XCS224U: NLU I Intro & Evolution of Natural Language Understanding, Part. 1 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Course Overview, Part. 2 I Spring 2023 이전 강의 요약 - XCS224U: NLU I Contextual Word Representations, Part. 1 I Spring 2023 강의영상 : https://www.youtube.com/watch?v=yqV_YfBBtK0&list=PLoROMvodv4rOwvldxftJTmoR3kRcWkJBp&index=5 강의자료 : https://web.stanford.edu/class/cs224u/slides/.. 2023. 9. 1. 이전 1 2 3 4 5 6 7 ··· 11 다음 반응형
