반응형 분류 전체보기100 논문 요약 [CPC] - Representation Learning with Contrastive predictive Coding 제목 : Representation Learning with Contrastive predictive Coding 학회 : NIPS 2019 Aaron van den Oord Invited talk [영상 링크] (따로 출판 된지는 몰루? 블로그 글보다 영상이 훨씬 설명을 잘한다. 글 말고 영상는 것을 추천) 저자 : Aaron van den Oord | Yazhe Li | Oriol vinyals 소속: Deep Mind 인용 : 5322 (2023.06.26 기준) 링크 : https://arxiv.org/abs/1807.03748 Background. [이미지 출처 NIPS 2019 Invited talk] 1. mutual information → 우리가 데이터 셋을 가지고 있고 아래 그림과 같이.. 2023. 6. 27. Contrastive Learning (3): [SimCLR] A Simple Framework for Contrastive Learning of Visual Representations 저자: Ting Chen | Simon Kornblith | Mohammad Norouzi | Geoffrey Hinton 소속: Google Research Team 학회: PMLR 2020 인용: 10639 (2023.06.25 기준) 논문: https://arxiv.org/abs/2002.05709 1992년 Contrastive learning? self-supervised learning의 대한 개념을 처음으로 제안하신 LeCun교수님과 더불어, 현재 Contrastive Learning / Self-supervised Learning의 핵심 논문 중 하나로 자리잡은 이 SimCLR의 교신저자가 Geoffrey Hinton 교수님이다. Facebook에서 MoCo가 2019년에 등장 후, 202.. 2023. 6. 25. 논문 읽기 [MAE] : Masked Autoencoders Are Scalable Vision Learners 논문 링크 : https://arxiv.org/abs/2111.06377 저자 : Kamming He 인용 : 2170 (2023.06.22) 소속 : FaceBookAI Research (MetaAI) 학회 : CVPR2022 Summarize - 아래의 왼쪽 이미지가 이 논문의 처음이자 끝이다. 이미지를 일정한 크기의 Patch로 자른 후, 손상되지 않은 부분만 입력으로 넣어, 원본 이미지로 복구 시키는 방법을 사용한 Pre-train model을 만든다. 그 후 Downstram task에 적용한다. 하단의 우측 이미지가 이 논문의 결과이다. 왼쪽이 masking 된 이미지, 중간이 이 논문이 복구한 이미지, 오른쪽이 원본. Abstract - Masked Autoencoders (MAE)를 Sel.. 2023. 6. 24. 논문 요약 : Autoencoders, Minimum Description Length and Helmholtz Free Energy (NIPS 1993 Hinton) 링크 : https://proceedings.neurips.cc/paper/1993/file/9e3cfc48eccf81a0d57663e129aef3cb-Paper.pdf 제프리 힌튼이 1993년 NIPS에 투고한 Autoencoder에 대한 내용을 가볍게 알아보자. 분명 Masked autoencoders are scalable vision learners에 대한 논문을 읽고 있었는데, 갑자기 참고 문헌을 보다가 새버렸고, 빠져들었다.. 너무 깊게는 말고 간단하게 다뤄보자. Masked Autoencoders are scalable vision learners를 읽다가 PCA, k-means가 Autoencoder라는 내용을 보고, 음..? 하는 생각에 참고 문헌까지 들어왔다가 너무 깊게 빠져버렸다. 어.. 2023. 6. 23. Stanford CS229 강의 요약 Machine Learning - Generalized Linear Model, Softmax Regression | Lecture 4-2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Course Introduce | Lecture 1 - Andrew Ng (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Locally Weighted & Logistic Regression | Lecture 3-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Logistic Regression & Newton's Method | Lecture 3-2.. 2023. 6. 10. Stanford CS229 강의 요약 Machine Learning - Perceptron Algorithm, Exponential family | Lecture 4-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Course Introduce | Lecture 1 - Andrew Ng (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Locally Weighted & Logistic Regression | Lecture 3-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Logistic Regression & Newton's Method | Lecture 3-2.. 2023. 6. 10. Variational Bayes Tutorial 논문 링크: https://arxiv.org/pdf/2103.01327.pdf Variational Bayes에 대해 설명을 제공하는 "A practical tutorial on Variational Bayes" 라는 논문에서 Variational Bayes에 대해 가볍게 앞부분만 정리하고 넘어가고자 한다. - Variational Bayes는 Variational Inference, Variational Approximation이라고 불린다. - 본 논문에서는 흔하게 사용되는 Variational Bayes (줄여서 VB)를 가지고 데이터 분석 전문가들이 다양한 커뮤니티에서 지속적인 접근 가능하게 할 것이라고 해서 가볍게 정리하고자 한다. 1. Introduction. - Bayesian techniq.. 2023. 6. 8. Pytorch Tutorial보다 친절한 Pytorch Pruning Tutorial (2) Pytorch Pruning 1편 보러가기. Pytorch Tutorial보다 친절한 Pytorch Pruning Tutorial (1) Colab 자료 - https://colab.research.google.com/github/pytorch/tutorials/blob/gh-pages/_downloads/f40ae04715cdb214ecba048c12f8dddf/pruning_tutorial.ipynb#scrollTo=mRMctJEUvqbS 번역본 - https://tutorials.pytorch.kr/intermediate/pruning_tutorial.html - 187cm.tistory.com 이번시간에는 지난시간에 이어서 Pytorch Pruning Tutroial을 이어서 진행해보려 한다. I.. 2023. 6. 1. Pytorch Tutorial보다 친절한 Pytorch Pruning Tutorial (1) Colab 자료 - https://colab.research.google.com/github/pytorch/tutorials/blob/gh-pages/_downloads/f40ae04715cdb214ecba048c12f8dddf/pruning_tutorial.ipynb#scrollTo=mRMctJEUvqbS 번역본 - https://tutorials.pytorch.kr/intermediate/pruning_tutorial.html - 위에 존재하는 번역본을 조금 더 자세하게 풀어써보며, Pruning을 공부해보자 - 위에 내용이 보고 따라하면 충분할 순 있지만, 왜 이게 이렇게 될까를 생각해보면 약간 불친절한 설명서이다. 이부분을 조금 더 친절하게 설명해보고자 한다. 우선 %matplotlib inlin.. 2023. 5. 29. NeRF파헤치기 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 저자: Ben Mildenhall 소속: UC Berkeley 학회: ECCV 2020 Best Paper 인용 수: 3094 [논문리뷰]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis Nerf 논문 이해하기 velog.io Baseline - Volume density: 3차원에서 각 지점에 대한 opacity or transparency (투명도 혹은 불투명도) 색상의 밝기 정도로 보자. ++ 자세히 파고 들어가면, 해당 지점에서 물체가 차지하는 정도이다. 따라서 3D Modeling에서 물체의 보는 각도에 따른 시각적인 특성, 굴절, 반사 그림자 등을 모사하는데 중요한 역할을 한다. - emitted radiance: R.. 2023. 5. 28. 이전 1 ··· 3 4 5 6 7 8 9 10 다음 반응형
