Теоремы Шеннона для канала с шумами

Не следует путать с другими теоремами Шеннона.

Теоремы Шеннона для канала с шумами (теоремы Шеннона для передачи по каналу с шумами) связывают пропускную способность канала передачи информации и существование кода, который возможно использовать для передачи информации по каналу с ошибкой, стремящейся к нулю (при увеличении длины блока).

Формулировка теорем

Пусть

• $K$ — длина блока, генерируемого источником
• $L$ — длина блока, который будет передан по каналу (после кодирования)
• $R$ — скорость передачи сообщений (производительность источника)

$R=K/L$

• $C$ — пропускная способность канала, определяемая как максимум взаимной информации на входе и выходе канала ($X$ и $Y$ — представление входа и выхода канала как случайных величин)

$C=\max({I(X;Y)})$

• $P_{er}$ — средняя вероятность ошибки декодирования блока
• $P_{er,max}$ — максимальная вероятность ошибки декодирования блока

${P}_{er,max}=\max \limits _{1\leqslant s\leqslant M}P_{er}$

Прямая теорема

Если скорость передачи сообщений меньше пропускной способности канала связи ($R<C$), то существуют коды $\left\{{{\vec {x_{1}}},{\vec {x_{2}}},...,{\vec {x_{M}}}}\right\}$ и методы декодирования такие, что средняя и максимальная вероятности ошибки декодирования стремятся к нулю, когда длина блока стремится к бесконечности, то есть $P_{er}\to 0$, $P_{er,\max }\to 0$ при $L\to \infty$.

Иными словами: Для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно большой степенью верности, если только производительность источника не превышает пропускной способности канала.

Обратная теорема

Если скорость передачи больше пропускной способности, то есть $R>C$, то не существует таких способов передачи, при которых вероятность ошибки стремится к нулю ($P_{er}\to 0$) при увеличении длины передаваемого блока, ($L\to \infty$).

Предел Шеннона

Под пределом Шеннона (англ. Shannon limit) понимается максимальная скорость передачи, для которой имеется возможность (выбрать сигнально-кодовую конструкцию) исправить ошибки в канале с заданным отношением сигнал/шум. Для канала с аддитивным белым гауссовским шумом пропускная способность согласно формуле Шеннона:

$C=\Delta F\cdot \log _{2}\left(1+{\frac {P_{s}}{P_{n}}}\right)=\Delta F\cdot \log _{2}\left(1+{\frac {P_{s}}{N_{0}F}}\right)$,

где

• $\Delta F$ — полоса частот канала, Гц,
• $P_{s}$ — мощность сигнала, Вт,
• $P_{n}$ — мощность шума, Вт,
• $N_{0}$ — спектральная плотность мощности шума, Вт/Гц.

Максимальная пропускная способность канала с АБГШ и неограниченным спектром:

$C_{\infty }=\lim _{F\to \infty }C=\lim _{F\to \infty }F\cdot \log _{2}e\cdot \ln \left(1+{\frac {P_{s}}{N_{0}F}}\right)=\lim _{F\to \infty }F\cdot {\frac {P_{s}}{N_{0}F}}\log _{2}e={\frac {P_{s}}{N_{0}}}\log _{2}e\approx {\frac {P_{s}}{N_{0}}}\cdot 1,443$ бит/с.

В настоящее время (2007 год) максимальное приближение к этому пределу даёт LDPC-код с примерной длиной блока в 10 миллионов бит.

Также, с другой стороны, под пределом Шеннона можно понимать минимальное отношение сигнал/шум, для которого теоретически возможно безошибочная передача и декодирование блока с заданной скоростью. Например, для вида модуляции QPSK и скорости передачи 1 (бит/с)/символ минимальное отношение сигнал/шум составляет 0,25 дБ.

Литература

• Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3
• Варгаузин, В.А., Цикин, И.А. Методы повышения энергетической и спектральной эффективности цифровой радиосвязи - СПб.: БХВ-Петербург, 2013 - 352 с. - ISBN 978-5-9775-0878-0