반응형 Information Theory6 7-4 PREVIEW OF THE CHANNEL CODING THEOREM - Channel coding theorm에 대해 구체적으로 알아보기 전에, 가볍게 맛보기로 정리를 하자면 다음과 같다. Xn을 입력 비트, Yn이 출력 비트로 더 큰 범위에서 생각할 수 있다. - 가장 먼저 Xn을 늘리면 우리의 Capacity가 증가한다. 왜냐하면, 더욱 보낼 수 있는 양이 증가하기 때문이다. - 하지만, 이 Yn이 늘어나게 되면, overlapping이 되는 부분이 증가하여 Error가 증가한다. - 이 Yn에서 원이 겹치게 되면 이런 부분이 Noise가 되는 것이다. - 따라서 우리는 2^(n x H(Y)) / 2^(n x H(Y|X)) 의 값을 최대화 시키는 것이 목표다. - 그리고 이 수식은 2^(n - (H(Y) - H(Y|X))) = 2^(n - I(X;Y)) 가 된다. -.. 2023. 12. 3. 7.2 7.3 SYMMETRIC CHANNELS, PROPERTIES OF CHANNEL CAPACITY 앞서 7-1에서 channel 부분이 transition matrix로 구성되어있다고 말했는데, 이젠 다음과 같은 binary symmetric channel을 고려한다. binary symmetric channel: 오류 확률이 모두 동일한 matrix. ++ (앞선 7-1에서 본건 binary symmetric channel의 capacity는 1-H(p). +++ Erasure된 channel은 1-a bit만큼의 capacity. 그리고 여기 보이는 7.17이 binary symmetric transition matrix이다. symmetric transition matrix의 정의는 모든 row나 column이 permutation해서 같아지는 경우이다. 또 다른 예시의 symmetric tra.. 2023. 12. 1. 7-1. CHANNEL CAPACITY 6장은 Gambling theory니까 Pass 5장 데이터 압축은 정리해야하는데 나중에, 그 전에 5장의 Data compression과 Channel capacity와의 공통점? 차이점?이 있다면, Data compression은 얼마나 불필요한 것을 버릴까 이고, 이 7장에서 보는 data transmission은 redundancy를 더한다는 것이다. ex) x를 보낼 때, x를 3번 보내고 검사하면 틀린거 찾기 쉬움. 2장도 정리해야하는데 나중에.. 일단 바쁘다 바빠 7장부터 정리하고 다시 역순으로 와야지. 우선 A와 B가 의사 소통하는 것을 A의 물리적인 행동을 B에게 전달 하는 것이다. 이러한 정보 전달은 B에서 잘 받았다고, A에서는 전송 끝났다고 둘 다 전달을 받으면 성공적으로 통신을 한.. 2023. 11. 30. 2.6 JENSEN’S INEQUALITY, Convex function. - 긴 말 필요없이 정의부터. convex function의 정의는 다음과 같다. - 특정 구간의 범위 a,b에서 이 구간에 속하는 x1, x2에 대해서, x1~x2 사이에 있는 f(x1) ~ f(x2)의 모든 값이 λf(x1) + (1- λ) f(x2) 사이의 직선 아래에 존재한다는 것이다. - f가 concave함수라면, -f는 convex 함수이다. convex funciton always lies below any chord and concave function always lies above any chord. - strictly convex는 2.72의 수식에서 밑의 = 기호만 빼면 된다. - 이 그림을 참조하면 좋을 것 같다. - 관련 성질은 추가적으로 덧붙여 봤는데, 1. 즉, 우리가 임의.. 2023. 11. 19. Chapter 2-3, 2-4, 2-5, RELATIVE ENTROPY, MUTUAL INFORMATION + CHAIN RULE The relative entropy is a measure of the distance between two distributions. -> D(p||q) D(p||q)= a measure of the inefficiency of assuming that the distribution is q when the true distribution is p라는 의미이다. 참인 분포 p에 대해 비교를 원하는 분포 q와의 비효율성을 확인하는 단계이다. Ex 만약 우리가 p 분포를 알면, 평균 길이가 H(p) bit인 코드를 설계 가능, 하지만, 우리가 분포 q에 대한 코드를 쓴다면? H(q) + D(p||q) 가 되어야 한다. - 그래서 이를 구하는 수식은 다음 2.26과 같이 정의하고, KL divergence.. 2023. 11. 19. Chapter 2-1, 2-2, ENTROPY | Information Theory. entropy: measure of the uncertainty of a random variable - it is a measure of the amount of information required on the average to describe the random variable. L(X)가 discrete한 Random variable이라고하고, p(x)를 PMF(probability mass function).이라고 할 때, p(x) = Pr{X=x}, x ∈ 𝒳, 𝒳는 원소 x를 포함하는 집합, X는 일반적으로 확률변수. - 엔트로피 H(X)의 정의. - log의 밑은 2. bit를 정의하기 위해 나타낸다고 생각하면편함. ex) x log x = 0, thus x = 0. - 기댓값 E를 X에.. 2023. 11. 18. 이전 1 다음 반응형
