반응형 Machine Learning11 AI 학습데이터가 진짜 고갈될까? [논문리뷰] - Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning. Title: Will we run out of data An analysis of the limits of scaling datasets in Machine Learning Published: ArXiV 2022 Citation number: 75 (2024.03.11 기준) Author info: Company Epoch, University of Aberdeen, MIT Computer Science et al. 인데 Epoch이라는 예측 전문 회사에서 이 논문을 출판했다고 보면 될 것 같다. 오타와 대학과의 공동 저널클럽에서 발표한 논문이며, 재미있어보이는 논문이 뭐가있을까 하다가 뉴스에서 학습 데이터가 고갈된다는 그런 내용을 봤고, 관련 내용을 찾아보다가 Google Deepmind의 친칠라 데이.. 2024. 4. 5. Self-Attention과 Bilinear function 우선 Bilinear form의 정의는 다음과 같다. Real-vector공간 V의 bilinear form은 함수 f: V x V → ℝ로 이 함수는 각각 입력 변수에 대해 선형적인 특징을 가진다고 정의한다. ⇒ 즉, 각 V에 대해 모두 선형적인 f는, 하나의 V가 변하면, f또한 선형적으로 변한다는 뜻이다. 더 나아가 하나의 입력 V가 변할 때 마다 f는 그에 따라 선형적으로 변한다는 것이며, 따라서 한 변수의 변화를 통해 f의 변화량을 알 수 있다. 그리고 우리가 조금 더 중점적으로 볼 부분은 아래의 = x^t ⋅ A ⋅ y 부분이다. 이 부분이 Self attention의 수식과 유사하다는 것인데, Self-Attention의 수식은 Q⋅K^T이다. 이렇게 되면, V와 같이 변수로 취급되는 x^t.. 2023. 10. 2. Stanford CS229 강의 요약 Machine Learning - Generalized Linear Model, Softmax Regression | Lecture 4-2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Course Introduce | Lecture 1 - Andrew Ng (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Locally Weighted & Logistic Regression | Lecture 3-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Logistic Regression & Newton's Method | Lecture 3-2.. 2023. 6. 10. Stanford CS229 강의 요약 Machine Learning - Perceptron Algorithm, Exponential family | Lecture 4-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Course Introduce | Lecture 1 - Andrew Ng (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Locally Weighted & Logistic Regression | Lecture 3-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Logistic Regression & Newton's Method | Lecture 3-2.. 2023. 6. 10. Variational Bayes Tutorial 논문 링크: https://arxiv.org/pdf/2103.01327.pdf Variational Bayes에 대해 설명을 제공하는 "A practical tutorial on Variational Bayes" 라는 논문에서 Variational Bayes에 대해 가볍게 앞부분만 정리하고 넘어가고자 한다. - Variational Bayes는 Variational Inference, Variational Approximation이라고 불린다. - 본 논문에서는 흔하게 사용되는 Variational Bayes (줄여서 VB)를 가지고 데이터 분석 전문가들이 다양한 커뮤니티에서 지속적인 접근 가능하게 할 것이라고 해서 가볍게 정리하고자 한다. 1. Introduction. - Bayesian techniq.. 2023. 6. 8. Stanford CS229 강의 요약 Machine Learning - Logistic Regression & Newton's Method in Logistic Regression | Lecture 3-2 (Autumn 2018) 이전 강의 요약 Stanford CS229 강의 요약 Machine Learning Course, Lecture 1 - Andrew Ng (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Locally Weighted & Logistic Regression | Lecture 3-1 (Autumn 2018) Week 3 Topic 1. Linear Regression (Recap) 2. Locally weighted Regression 3. Probabilistic inter.. 2023. 5. 25. Stanford CS229 강의 요약 Machine Learning - Locally Weighted & Probabilistic interpretation & Maximum likelihood | Lecture 3-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning Course, Lecture 1 - Andrew Ng (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) Week 3 Topic & Week 2 Recap 1. Linear Regression (Recap) 2. Locally weighted Regression 3. Probabilistic interpretation + Why we use the qudratic loss function? 4. logistic regression (3-2 다음 포스팅에서) 5. Newton's .. 2023. 5. 24. Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) 강의 요약 1. Normal eqation 2. Linear Regression 3. LMS Algorithm 4.왜 X는 invertible 해야할까? (feat 다중공산성) Chapter 1. Linear Regression. - 이번엔 bedrooms라는 정보가 포함이 되었다. multi feature가 되었다. 따라서 x는 ℝ이 아닌 ℝ^2 가 된다. (LaTex화난다) - 따라서 수식은 아래와 같이 x2에 대한 항이 하나가 추가가 되었다. x1은 Living area, x2는 bedrooms가 된다. - 위에서 언급한 n이 이제는 2인 case를 처리해보자. - θ는 parameter 혹은 weight라고 불린다. - x0을 dummy feature로 적용을 하면 다음과 같이 간략하게 사용이 가.. 2023. 5. 23. Stanford CS229 강의 요약 Machine Learning Course, Lecture 1 - Andrew Ng (Autumn 2018) 강의 제목 : Machine Learning Course, Lecture 1 - Andrew Ng (Autumn 2018) 강의영상: https://www.youtube.com/watch?v=jGwO_UgTS7I&list=PLoROMvodv4rMiGQp3WXShtMGgzqpfVfbU&index=1' 강의 자료: http://cs229.stanford.edu/main_notes.pdf CS229 Syllabus Spring 2023: https://docs.google.com/spreadsheets/d/12ua10iRYLtxTWi05jBSAxEMM_104nTr8S4nC2cmN9BQ/edit#gid=639488399 CS229를 듣기 전 봐야할 PPT: https://cs229.stanford.edu/mat.. 2023. 5. 23. 피어슨 상관계수(Pearson Correlation Coefficient) 알아보기 및 직접 HeatMap과 분포도 시각화해보기. 피어슨 상관계수란? 두 변수 X, Y 간의 선형 상관관계를 수치로 나타낸 것이다. 수식은 아래와 같다. 상관계수 r은 두 변수 X와 Y의 상관관계를 파악하기 위해 분모에는 각 X,Y 샘플의 표준편차를, 분자에는 공분산을 구하는 과정이 들어가 있다. 공분산 및 표준편차를 구하는 과정에서 분모의 N-1이 약분되어 위와 같은 수식을 가지게 된다. 따라서 -1 부터 1까지의 값을 가지게 되는데 아래 그림과 같은 분포가 나올 때 피어슨 상관계수 r은 그림의 글씨와 같다. Python에서 heatmap을 그릴 때 위의 피어슨 상관계수를 활용하는데, 직접 활용하여 수치 및 데이터의 분포를 알 수 있다. Boston Housing Value 정보를 가지고 있는 seaborn library를 활용하여 직접 실습을 진행해.. 2023. 5. 21. 이전 1 2 다음 반응형
