7-4 PREVIEW OF THE CHANNEL CODING THEOREM

- Channel coding theorm에 대해 구체적으로 알아보기 전에, 가볍게 맛보기로 정리를 하자면 다음과 같다. Xn을 입력 비트, Yn이 출력 비트로 더 큰 범위에서 생각할 수 있다. 

- 가장 먼저 Xn을 늘리면 우리의 Capacity가 증가한다. 왜냐하면, 더욱 보낼 수 있는 양이 증가하기 때문이다. 

- 하지만, 이 Yn이 늘어나게 되면, overlapping이 되는 부분이 증가하여 Error가 증가한다.

- 이 Yn에서 원이 겹치게 되면 이런 부분이 Noise가 되는 것이다.

- 따라서 우리는 2^(n x H(Y)) / 2^(n x H(Y|X)) 의 값을 최대화 시키는 것이 목표다. 

- 그리고 이 수식은 2^(n - (H(Y) - H(Y|X))) =  2^(n - I(X;Y))  가 된다.

- 즉 우리 n길이의 sequence를 가질 때, 한번에 2^(n x I(X;Y)) 만큼의 비트를 보낼 수 있다.

 

- 또 한가지 특별한 점은, 2D 구조상에서 원을 집어넣는다는 것은 매우 제한적인 것처럼 느껴지지만, 위의 그림과 같이 3D형태에서 구형태의 구조를 바탕으로 빈 공간을 줄일 수 있으며, 차원이 확장되면 될 수록 더 빈공간이 적게 설계할 수 있다.

- 고차원 공간에서는 각 신호 간의 겹침을 줄이고, 신호를 더 분산시켜 배치함으로써 오류의 가능성을 감소시킬 수 있다. 이는 차원의 저주(curse of dimensionality)를 어느 정도 완화시키고, 신호를 구별하기 쉽게 만들 수 있다. 따라서, 고차원에서는 더 많은 데이터를 효율적으로 전송할 수 있는 채널의 용량을 증가시킬 수 있다.