반응형 분류 전체보기101 7.2 7.3 SYMMETRIC CHANNELS, PROPERTIES OF CHANNEL CAPACITY 앞서 7-1에서 channel 부분이 transition matrix로 구성되어있다고 말했는데, 이젠 다음과 같은 binary symmetric channel을 고려한다. binary symmetric channel: 오류 확률이 모두 동일한 matrix. ++ (앞선 7-1에서 본건 binary symmetric channel의 capacity는 1-H(p). +++ Erasure된 channel은 1-a bit만큼의 capacity. 그리고 여기 보이는 7.17이 binary symmetric transition matrix이다. symmetric transition matrix의 정의는 모든 row나 column이 permutation해서 같아지는 경우이다. 또 다른 예시의 symmetric tra.. 2023. 12. 1. 7-1. CHANNEL CAPACITY 6장은 Gambling theory니까 Pass 5장 데이터 압축은 정리해야하는데 나중에, 그 전에 5장의 Data compression과 Channel capacity와의 공통점? 차이점?이 있다면, Data compression은 얼마나 불필요한 것을 버릴까 이고, 이 7장에서 보는 data transmission은 redundancy를 더한다는 것이다. ex) x를 보낼 때, x를 3번 보내고 검사하면 틀린거 찾기 쉬움. 2장도 정리해야하는데 나중에.. 일단 바쁘다 바빠 7장부터 정리하고 다시 역순으로 와야지. 우선 A와 B가 의사 소통하는 것을 A의 물리적인 행동을 B에게 전달 하는 것이다. 이러한 정보 전달은 B에서 잘 받았다고, A에서는 전송 끝났다고 둘 다 전달을 받으면 성공적으로 통신을 한.. 2023. 11. 30. 2.6 JENSEN’S INEQUALITY, Convex function. - 긴 말 필요없이 정의부터. convex function의 정의는 다음과 같다. - 특정 구간의 범위 a,b에서 이 구간에 속하는 x1, x2에 대해서, x1~x2 사이에 있는 f(x1) ~ f(x2)의 모든 값이 λf(x1) + (1- λ) f(x2) 사이의 직선 아래에 존재한다는 것이다. - f가 concave함수라면, -f는 convex 함수이다. convex funciton always lies below any chord and concave function always lies above any chord. - strictly convex는 2.72의 수식에서 밑의 = 기호만 빼면 된다. - 이 그림을 참조하면 좋을 것 같다. - 관련 성질은 추가적으로 덧붙여 봤는데, 1. 즉, 우리가 임의.. 2023. 11. 19. Chapter 2-3, 2-4, 2-5, RELATIVE ENTROPY, MUTUAL INFORMATION + CHAIN RULE The relative entropy is a measure of the distance between two distributions. -> D(p||q) D(p||q)= a measure of the inefficiency of assuming that the distribution is q when the true distribution is p라는 의미이다. 참인 분포 p에 대해 비교를 원하는 분포 q와의 비효율성을 확인하는 단계이다. Ex 만약 우리가 p 분포를 알면, 평균 길이가 H(p) bit인 코드를 설계 가능, 하지만, 우리가 분포 q에 대한 코드를 쓴다면? H(q) + D(p||q) 가 되어야 한다. - 그래서 이를 구하는 수식은 다음 2.26과 같이 정의하고, KL divergence.. 2023. 11. 19. Chapter 2-1, 2-2, ENTROPY | Information Theory. entropy: measure of the uncertainty of a random variable - it is a measure of the amount of information required on the average to describe the random variable. L(X)가 discrete한 Random variable이라고하고, p(x)를 PMF(probability mass function).이라고 할 때, p(x) = Pr{X=x}, x ∈ 𝒳, 𝒳는 원소 x를 포함하는 집합, X는 일반적으로 확률변수. - 엔트로피 H(X)의 정의. - log의 밑은 2. bit를 정의하기 위해 나타낸다고 생각하면편함. ex) x log x = 0, thus x = 0. - 기댓값 E를 X에.. 2023. 11. 18. [좀 깊은 MAE-CLIP 논문 분석] - Masked Autoencoding Does Not Help Natural Language Supervision at Scale 원래 Tistory에는 복습하기 좋게 논문에서 중요한 부분만 밑줄 쳐놓고, 한국어로 다시 보기 쉽게 저장하는 방식이 내 블로그 포스팅 방법이지만, 이번에 방법을 바꿔서 Medium에 간단하게 요약을 하고, Tistory에 길게 써보려 한다. 별다른 이유는 없고, 원래 한글 포스팅은 안하려고 했지만, 논문 세미나에서 좀 많이 못했기에, 다시 정리하고 넘어가려 한다. 하.. 영어 말하기도 문젠데, 준비 문제다, Medium에 글을 쓰는게 얼마나 도움이 됐는지 다시 뼈져리게 느낀다. 간단한 설명은 아래의 Medium링크에서 보면 된다. (영어인 점 양해 부탁드립니당) 논문 제목: [MAE-CLIP] - Masked Autoencoding Does Not Help Natural Language Supervisi.. 2023. 11. 13. 논문 톺아보기 [IMAGEBIND]: One Embedding Space To Bind Them All 제목 : IMAGEBIND: One Embedding Space To Bind Them All 저자 : Rohit Girdhar et al. 소속 : FAIR, Meta AI 학회 : CVPR2023 인용 : 38 (Until 2023.10.20) 링크: https://imagebind.metademolab.com/ 안녕하세요! 제가 오늘 소개할 논문은 "IMAGEBIND: One Embedding Space To Bind Them All" 라는 논문입니다. Facebook AI Research, Meta AI에서 만든 논문입니다. 이 논문은 CVPR 2023에 등재 되었습니다. 이 논문 같은 경우에는 2023년 3월에 처음으로 등장하게 되었는데요. 이 논문이 처음 나왔을 때 레딧라든지 텔레그램과 같은 .. 2023. 10. 22. 논문 정리 [DeiT III] DeiT III: Revenge of the ViT Original DeiT에 이어 DeiT III를 리뷰해보려고 한다. MMCV에 올라온 Figure를 보고 DeiT III를 읽어야겠다 다짐했는데, DeiT III를 BootMAE로 잘못 올려뒀다. (매우 화가난다) DeiT III는 실제로도 별 내용이 없기에 간단하게 리뷰해보려고 한다. DeiT에서 등장한 aggrasive한 augmentation 기법에을 바탕으로 self-supervised learning과, Supervised learning의 ImageNet 정확도가 왔다갔다 하는 상황에서, 기본적인 ViT만으로도 DeiT와 유사한 Augmentaiton, 더욱 강한 augmentation을 적용한다고 보면 될 것 같다. 저자 : Hugo Touvron 소속 : MetaAI, Sorbonne U.. 2023. 10. 3. 논문 정리 [LeViT] a Vision Transformer in ConvNet’s Clothingfor Faster Inference 저자 : Benjamin Graham 제목 : LeViT: a Vision Transformer in ConvNet’s Clothing for Faster Inference 학회 : ICCV2021 소속 : Facebook research Team 링크 : https://arxiv.org/abs/2104.01136 인용 : 305 (2023.10.02기준) Summarization of the LeViT. What is the throughput? - Throughput refers to the number of images processed per second. Why it called LeViT? - We adopted a pyramid structure using pooling layers, aki.. 2023. 10. 2. Self-Attention과 Bilinear function 우선 Bilinear form의 정의는 다음과 같다. Real-vector공간 V의 bilinear form은 함수 f: V x V → ℝ로 이 함수는 각각 입력 변수에 대해 선형적인 특징을 가진다고 정의한다. ⇒ 즉, 각 V에 대해 모두 선형적인 f는, 하나의 V가 변하면, f또한 선형적으로 변한다는 뜻이다. 더 나아가 하나의 입력 V가 변할 때 마다 f는 그에 따라 선형적으로 변한다는 것이며, 따라서 한 변수의 변화를 통해 f의 변화량을 알 수 있다. 그리고 우리가 조금 더 중점적으로 볼 부분은 아래의 = x^t ⋅ A ⋅ y 부분이다. 이 부분이 Self attention의 수식과 유사하다는 것인데, Self-Attention의 수식은 Q⋅K^T이다. 이렇게 되면, V와 같이 변수로 취급되는 x^t.. 2023. 10. 2. 이전 1 2 3 4 5 6 ··· 11 다음 반응형
