반응형 Machine Learning/Statistics5 AI 학습데이터가 진짜 고갈될까? [논문리뷰] - Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning. Title: Will we run out of data An analysis of the limits of scaling datasets in Machine Learning Published: ArXiV 2022 Citation number: 75 (2024.03.11 기준) Author info: Company Epoch, University of Aberdeen, MIT Computer Science et al. 인데 Epoch이라는 예측 전문 회사에서 이 논문을 출판했다고 보면 될 것 같다. 오타와 대학과의 공동 저널클럽에서 발표한 논문이며, 재미있어보이는 논문이 뭐가있을까 하다가 뉴스에서 학습 데이터가 고갈된다는 그런 내용을 봤고, 관련 내용을 찾아보다가 Google Deepmind의 친칠라 데이.. 2024. 4. 5. Self-Attention과 Bilinear function 우선 Bilinear form의 정의는 다음과 같다. Real-vector공간 V의 bilinear form은 함수 f: V x V → ℝ로 이 함수는 각각 입력 변수에 대해 선형적인 특징을 가진다고 정의한다. ⇒ 즉, 각 V에 대해 모두 선형적인 f는, 하나의 V가 변하면, f또한 선형적으로 변한다는 뜻이다. 더 나아가 하나의 입력 V가 변할 때 마다 f는 그에 따라 선형적으로 변한다는 것이며, 따라서 한 변수의 변화를 통해 f의 변화량을 알 수 있다. 그리고 우리가 조금 더 중점적으로 볼 부분은 아래의 = x^t ⋅ A ⋅ y 부분이다. 이 부분이 Self attention의 수식과 유사하다는 것인데, Self-Attention의 수식은 Q⋅K^T이다. 이렇게 되면, V와 같이 변수로 취급되는 x^t.. 2023. 10. 2. Variational Bayes Tutorial 논문 링크: https://arxiv.org/pdf/2103.01327.pdf Variational Bayes에 대해 설명을 제공하는 "A practical tutorial on Variational Bayes" 라는 논문에서 Variational Bayes에 대해 가볍게 앞부분만 정리하고 넘어가고자 한다. - Variational Bayes는 Variational Inference, Variational Approximation이라고 불린다. - 본 논문에서는 흔하게 사용되는 Variational Bayes (줄여서 VB)를 가지고 데이터 분석 전문가들이 다양한 커뮤니티에서 지속적인 접근 가능하게 할 것이라고 해서 가볍게 정리하고자 한다. 1. Introduction. - Bayesian techniq.. 2023. 6. 8. 피어슨 상관계수(Pearson Correlation Coefficient) 알아보기 및 직접 HeatMap과 분포도 시각화해보기. 피어슨 상관계수란? 두 변수 X, Y 간의 선형 상관관계를 수치로 나타낸 것이다. 수식은 아래와 같다. 상관계수 r은 두 변수 X와 Y의 상관관계를 파악하기 위해 분모에는 각 X,Y 샘플의 표준편차를, 분자에는 공분산을 구하는 과정이 들어가 있다. 공분산 및 표준편차를 구하는 과정에서 분모의 N-1이 약분되어 위와 같은 수식을 가지게 된다. 따라서 -1 부터 1까지의 값을 가지게 되는데 아래 그림과 같은 분포가 나올 때 피어슨 상관계수 r은 그림의 글씨와 같다. Python에서 heatmap을 그릴 때 위의 피어슨 상관계수를 활용하는데, 직접 활용하여 수치 및 데이터의 분포를 알 수 있다. Boston Housing Value 정보를 가지고 있는 seaborn library를 활용하여 직접 실습을 진행해.. 2023. 5. 21. Sigmoid 미분하기 우선 시그모이드는 다음과 같이 정의된다. $$ \sigma(x) = \frac{1}{1+e^{-x}} $$ 따라서 도함수를 이요한 몫의 미분법을 이용해 아래와 같은 수식이 유도된다는 것을 먼저 인지하자. $$ \frac{1}{g(x)'} = \lim\limits_{h\to 0} \frac{ \frac{1}{g(x+h)} - \frac{1}{g(x)}}{h} = \lim\limits_{h \to 0} \frac{ \frac {g(x) - g(x+h)} {g(x+h)g(x)}}{h} = \lim\limits_{h \to 0} - \frac{g(x+h) - g(x)}{h g(x+h) g(x)} = \lim\limits_{h \to 0} - \frac{g(x)'}{g(x+h)g(x)} = - \frac{g(x).. 2022. 9. 20. 이전 1 다음 반응형
