Схема передачи информации по различным техническим каналам

Передача информации - термин, объединяющий множество физических процессов перемещения информации в пространстве. В любом из этих процессов задействованы такие компоненты, как источник и приемник данных, физический носитель информации и канал (среда) ее передачи.

Процесс передачи информации

Исходными вместилищами данных являются различные сообщения, передаваемые от их источников к приёмникам. Между ними и расположены каналы передачи информации. Специальные технические устройства-преобразователи (кодеры) формируют на основе содержания сообщений физические носители данных - сигналы. Последние подвергаются целому ряду преобразований, включая кодирование, сжатие, модуляцию, а затем направляются в линии связи. Пройдя через них, сигналы проходят обратные преобразования, включая демодуляцию, распаковывание и декодирование, в результате чего из них выделяются исходные сообщения, воспринимаемые приемниками.

Информационные сообщения

Сообщение - это некое описание явления или объекта, выраженное в виде совокупности данных, имеющей признаки начала и конца. Некоторые сообщения, например, речь и музыка, представляют собой непрерывные функции времени звукового давления. При телеграфной связи сообщение - это текст телеграммы в виде буквенно-цифровой последовательности. Телевизионное сообщение - это последовательность сообщений-кадров, которые «видит» объектив телекамеры и фиксирует их с частотой следования кадров. Подавляющая часть передаваемых в последнее время через системы передачи информации сообщений представляют собой числовые массивы, текстовые, графические, а также аудио- и видеофайлы.

Информационные сигналы

Передача информации возможна, если у нее имеется физический носитель, характеристики которого изменяются в зависимости от содержания передаваемого сообщения таким образом, чтобы они с минимальными искажениями преодолели канал передачи и могли быть распознаны приемником. Эти изменения физического носителя данных образуют информационный сигнал.

Сегодня передача и обработка информации происходят при помощи электрических сигналов в проводных и радиоканалах связи, а также благодаря оптическим сигналам в ВОЛС.

Аналоговые и цифровые сигналы

Широко известным примером аналогового сигнала, т.е. непрерывно изменяющегося во времени, является напряжение, снимаемое с микрофона, которое несет речевое или музыкальное информационное сообщение. Оно может быть усилено и передано по проводным каналам на звуковоспроизводящие системы концертного зала, которые донесут речь и музыку со сцены до зрителей на галерке.

Если в соответствии с величиной напряжения на выходе микрофона непрерывно во времени изменять амплитуду или частоту высокочастотных электрических колебаний в радиопередатчике, то можно осуществить передачу в эфир аналогового радиосигнала. Телепередатчик в системе аналогового телевидения формирует аналоговый сигнал в виде напряжения, пропорционального текущей яркости элементов изображения, воспринимаемого объективом телекамеры.

Однако если аналоговое напряжение с выхода микрофона пропустить через цифроаналоговый преобразователь (ЦАП), то на его выходе получится уже не непрерывная функция времени, а последовательность отсчетов этого напряжения, взятых через равные промежутки времени с частотой дискретизации. Кроме того, ЦАП выполняет еще и квантование по уровню исходного напряжения, заменяя весь возможный диапазон его значений конечным набором величин, определяемых числом двоичных разрядов своего выходного кода. Получается, что непрерывная физическая величина (в данном случае это напряжение) превращается в последовательность цифровых кодов (оцифровывается), и далее уже в цифровом виде может храниться, обрабатываться и передаваться через сети передачи информации. Это существенно повышает скорость и помехоустойчивость подобных процессов.

Каналы передачи информации

Обычно под этим термином понимаются комплексы технических средств, задействованных в передаче данных от источника к приемнику, а также среда между ними. Структура такого канала, использующая типовые средства передачи информации, представлена следующей последовательностью преобразований:

ИИ - ПС - (КИ) - КК - М - ЛПИ - ДМ - ДК - ДИ - ПС

ИИ - источник информации: человек либо иное живое существо, книга, документ, изображение на неэлектронном носителе (холст, бумага) и т.д.

ПС - преобразователь информсообщения в информсигнал, выполняющий первую стадию передачи данных. В качестве ПС могут выступать микрофоны, теле- и видеокамеры, сканеры, факсы, клавиатуры ПК и т. д.

КИ - кодер информации в информсигнале для сокращения объема (сжатия) информации с целью повысить скорость ее передачи или сократить полосу частот, требуемую для передачи. Данное звено необязательно, что показано скобками.

КК - канальный кодер для повышения помехозащищённости информсигнала.

М - сигнальный модулятор для изменения характеристик промежуточных сигналов-носителей в зависимости от величины информсигнала. Типичный пример - амплитудная модуляция сигнала-носителя высокой несущей частоты в зависимости от величины низкочастотного информсигнала.

ЛПИ - линия передачи информации, представляющая совокупность физической среды (например, электромагнитное поле) и технических средств для изменения ее состояния с целью передачи сигнала-носителя к приемнику.

ДМ - демодулятор для отделения информсигнала от сигнала-носителя. Присутствует только при наличии М.

ДК - канальный декодер для выявления и/или исправления ошибок в информсигнале, возникших на ЛПИ. Присутствует только при наличии КК.

ДИ - декодер информации. Присутствует только при наличии КИ.

ПИ - приемник информации (компьютер, принтер, дисплей и т. д.).

Если передача информации двусторонняя (канал дуплексный), то по обе стороны ЛПИ имеются блоки-модемы (МОдулятор-ДЕМодулятор), объединяющие в себе звенья М и ДМ, а также блоки-кодеки (КОдер-ДЕКодер), объединяющие кодеры (КИ и КК) и декодеры (ДИ и ДК).

Характеристики каналов передачи

К основным отличительным чертам каналов относятся пропускная способность и помехозащищенность.

В канале информсигнал подвергается действию шумов и помех. Они могут вызываться естественными причинами (например, атмосферными для радиоканалов) или быть специально созданными противником.

Помехозащищенность каналов передачи повышают путем использования разного рода аналоговых и цифровых фильтров для отделения информсигналов от шума, а также спецметодов передачи сообщений, минимизирующих влияние шумов. Одним из таких методов является добавление лишних символов, не несущих полезного содержания, но помогающих контролировать правильность сообщения, а также исправлять в нем ошибки.

Пропускная способность канала равна максимальному количеству двоичных символов (кбит), передаваемых им при отсутствии помех за одну секунду. Для различных каналов она варьируется от нескольких кбит/с до сотен Мбит/с и определяется их физическими свойствами.

Теория передачи информации

Клод Шеннон является автором специальной теории кодирования передаваемых данных, открывшим методы борьбы с шумами. Одна из основных идей этой теории заключается в необходимости избыточности передаваемого по линиям передачи информации цифрового кода. Это позволяет при потере какой-то части кода в процессе его передачи восстановить потерю. Такие коды (цифровые информсигналы) называются помехоустойчивыми. Однако избыточность кода нельзя доводить до слишком большой степени. Это ведёт к тому, что передача информации идет с задержками, а также к удорожанию систем связи.

Цифровая обработка сигналов

Другой важной составляющей теории передачи информации является система методов цифровой обработки сигналов в каналах передачи. Эти методы включают алгоритмы оцифровывания исходных аналоговых информсигналов с определенной частотой дискретизации, определяемой на основе теоремы Шеннона, а также способы формирования на их основе помехозащищенных сигналов-носителей для передачи по линиям связи и цифровой фильтрации принятых сигналов с целью отделения их от помех.

На рис. 1 приняты следующие обозначения: X, Y, Z, W – сигналы, сообщения; f – помеха; ЛС – линия связи; ИИ, ПИ – источник и приемник информации; П – преобразователи (кодирование, модуляция, декодирование, демодуляция).

Существуют различные типы каналов, которые можно классифицировать по различным признакам:

1.По типу линий связи: проводные; кабельные; оптико-волоконные;

линии электропередачи; радиоканалы и т.д.

2. По характеру сигналов: непрерывные; дискретные; дискретно-непрерывные (сигналы на входе системы дискретные, а на выходе непрерывные, и наоборот).

3. По помехозащищенности: каналы без помех; с помехами.

Каналы связи характеризуются:

1. Емкость канала определяется как произведениевремени использования канала T к, ширины спектра частот, пропускаемых каналом F к и динамического диапазона D к . , который характеризует способность канала передавать различные уровни сигналов

V к = T к F к D к. (1)

Условие согласования сигнала с каналом:

V c £ V k ; T c £ T k ; F c £ F k ; V c £ V k ; D c £ D k .

2.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени.

3.

4. Избыточность – обеспечивает достоверность передаваемой информации (R = 0¸1).

Одной из задач теории информации является определение зависимости скорости передачи информации и пропускной способности канала связи от параметров канала и характеристик сигналов и помех.

Канал связи образно можно сравнивать с дорогами. Узкие дороги – малая пропускная способность, но дешево. Широкие дороги – хорошая пропускная способность, но дорого. Пропускная способность определяется самым «узким» местом.

Скорость передачи данных в значительной мере зависит от передающей среды в каналах связи, в качестве которых используются различные типы линий связи.

Проводные:

1. Проводные – витая пара (что частично подавляет электромагнитное излучение других источников). Скорость передачи до 1 Мбит/с. Используется в телефонных сетях и для передачи данных.

2. Коаксиальный кабель. Скорость передачи 10–100 Мбит/с – используется в локальных сетях, кабельном телевидении и т.д.

3. Оптико-волоконная. Скорость передачи 1 Гбит/с.

В средах 1–3 затухание в дБ линейно зависит от расстояния, т.е. мощность падает по экспоненте. Поэтому через определенное расстояние необходимо ставить регенераторы (усилители).

Радиолинии:

1.Радиоканал. Скорость передачи 100–400 Кбит/с. Использует радиочастоты до 1000 МГц. До 30 МГц за счет отражения от ионосферы возможно распространение электромагнитных волн за пределы прямой видимости. Но этот диапазон сильно зашумлен (например, любительской радиосвязью). От 30 до 1000 МГц – ионосфера прозрачна и необходима прямая видимость. Антенны устанавливаются на высоте (иногда устанавливаются регенераторы). Используются в радио и телевидении.

2.Микроволновые линии. Скорости передачи до 1 Гбит/с. Используют радиочастоты выше 1000 МГц. При этом необходима прямая видимость и остронаправленные параболические антенны. Расстояние между регенераторами 10–200 км. Используются для телефонной связи, телевидения и передачи данных.

3. Спутниковая связь . Используются микроволновые частоты, а спутник служит регенератором (причем для многих станций). Характеристики те же, что у микроволновых линий.

2. Пропускная способность дискретного канала связи

Дискретный канал представляет собой совокупность средств, предназначенных для передачи дискретных сигналов .

Пропускная способность канала связи – наибольшая теоретически достижимая скорость передачи информации при условии, что погрешность не превосходит заданной величины.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени. Определим выражения для расчета скорости передачи информации и пропускной способности дискретного канала связи.

При передаче каждого символа в среднем по каналу связи проходит количество информации, определяемое по формуле

I (Y, X) = I (X, Y) = H(X) – H (X/Y) = H(Y) – H (Y/X) , (2)

где: I (Y, X) – взаимная информация, т.е.количество информации, содержащееся в Y относительно X ; H(X) – энтропия источника сообщений; H (X/Y) – условная энтропия, определяющая потерю информации на один символ, связанную с наличием помех и искажений.

При передаче сообщения X T длительности T, состоящего из n элементарных символов, среднее количество передаваемой информации с учетом симметрии взаимного количества информации равно:

I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n . (4)

Скорость передачи информации зависит от статистических свойств источника, метода кодирования и свойств канала.

Пропускная способность дискретного канала связи

Максимально-возможное значение, т.е. максимум функционала ищется на всем множестве функций распределения вероятности p(x) .

Пропускная способность зависит от технических характеристик канала (быстродействия аппаратуры, вида модуляции, уровня помех и искажений и т.д.). Единицами измерения пропускной способности канала являются: , , , .

2.1 Дискретный канал связи без помех

Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.

При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно

I (X, Y) = H(X) = H(Y); H (X/Y) = 0.

Если Х Т – количество символов за время T , то скорость передачи информации для дискретного канала связи без помех равна

где V = 1/ – средняя скорость передачи одного символа.

Пропускная способность для дискретного канала связи без помех

Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:

Первая теорема Шеннона для канала:Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.

, где - сколь угодно малая величина,

то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.

Теорема не отвечает на вопрос, каким образом осуществлять кодирование.

Пример 1. Источник вырабатывает 3 сообщения с вероятностями:

p 1 = 0,1; p 2 = 0,2 и p 3 = 0,7.

Сообщения независимы и передаются равномерным двоичным кодом (m = 2 ) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.

Решение: Энтропия источника равна

[бит/с].

Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.

Средняя скорость передачи сигнала

V =1/2 t = 500 .

Скорость передачи информации

C = vH = 500 × 1,16 = 580 [бит/с].

2.2 Дискретный канал связи с помехами

Мы будем рассматривать дискретные каналы связи без памяти.

Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.

На сегодняшний день информация так быстро распространяется, что не всегда хватает времени ее осмыслить. Большинство людей редко задумываются о том, как и с помощью каких средств она передается, а уж тем более не представляют себе схему передачи информации.

Основные понятия

Передачей информации принято считать физический процесс перемещения данных (знаков и символов) в пространстве. С точки зрения передачи данных - это спланированное заранее, технически оснащенное мероприятие по перемещению информационных единиц за установленное время от так называемого источника к приемнику посредством информационного канала, или канала передачи данных.

Канал передачи данных - совокупность средств или среда распространения данных. Другими словами, это та часть схемы передачи информации, которая обеспечивает движение информации от источника к получателю, а при определенных условиях и обратно.

Классификаций каналов передачи данных много. Если выделить основные из них, то можно перечислить следующие: радиоканалы, оптические, акустические или беспроводные, проводные.

Технические каналы передачи информации

Непосредственно к техническим каналам передачи данных относятся радиоканалы, оптоволоконные каналы и кабельные. Кабель может быть коаксиальный или на основе витых пар. Первые представляют собой электрический кабель с медным проводом внутри, а вторые - витые пары медных проводов, изолированные попарно, находящиеся в диэлектрической оболочке. Эти кабели довольно гибкие и удобные в использовании. Оптоволокно состоит из оптоволоконных нитей, передающих световые сигналы посредством отражения.

Основными характеристиками являются пропускная способность и помехоустойчивость. Под пропускной способностью принято понимать тот объем информации, который можно передать по каналу за определенное время. А помехоустойчивостью называют параметр устойчивости канала к воздействию внешних помех (шумов).

Общее представление о передаче данных

Если не конкретизировать область применения, общая схема передачи информации выглядит несложно, включает в себя три компонента: «источник», «приемник» и «канал передачи».

Схема Шеннона

Клод Шеннон, американский математик и инженер, стоял у истоков теории информации. Им была предложена схема передачи информации по техническим каналам связи.

Понять эту схему несложно. Особенно если представить её элементы в виде знакомых предметов и явлений. Например, источник информации - человек, говорящий по телефону. Телефонная трубка будет являться кодирующим устройством, которое преобразует речь или звуковые волны в электрические сигналы. Каналом передачи данных в этом случае является узлы связи, в общем, вся телефонная сеть, ведущая от одного телефонного аппарата к другому. Декодирующим устройством выступает трубка абонента. Она преобразует электрический сигнал обратно в звук, то есть в речь.

В этой схеме процесса передачи информации данные представлены в виде непрерывного электрического сигнала. Такая связь называется аналоговой.

Понятие кодирования

Кодированием принято считать преобразование информации, посылаемой источником, в форму, пригодную для передачи по используемому каналу связи. Самый понятный пример кодирования - это азбука Морзе. В ней информация преобразуется в последовательность точек и тире, то есть коротких и длинных сигналов. Принимающая сторона должна декодировать эту последовательность.

В современных технологиях используется цифровая связь. В ней информация преобразуются (кодируется) в двоичные данные, то есть 0 и 1. Существует даже бинарный алфавит. Такая связь называется дискретной.

Помехи в информационных каналах

В схеме передачи данных также присутствует шум. Понятие "шум" в данном случае означает помехи, из-за которых происходит искажение сигнала и, как следствие, его потеря. Причины помех могут быть различные. Например, информационные каналы могут быть плохо защищены друг от друга. Для предотвращения помех применяют различные технические способы защиты, фильтры, экранирование и т. д.

К. Шенноном была разработана и предложена к использованию теория кодирование для борьбы с шумом. Идея заключается в том, что раз под воздействием шума происходит потеря информации, значит, передаваемые данные должны быть избыточны, но в то же время не настолько, чтобы снизить скорость передачи.

В цифровых каналах связи информация делится на части - пакеты, для каждого из которых вычисляется контрольная сумма. Эта сумма передается вместе с каждым пакетом. Приемник информации заново вычисляет эту сумму и принимает пакет, только если она совпадает с первоначальной. В противном случае пакет отправляется снова. И так до тех пор, пока отправленная и полученная контрольные суммы не совпадут.

Канал связи представляет собой совокупность технических средств для передачи сообщений из одной точки пространства в другую. С точ­ки зрения теории информации физическое устройство канала несуще­ственно. Источник сообщений(ИС) имеет выходной алфавит символовA ={а i },i= 1.. n - количество информации, приходящееся в среднем на один символ источника:

где p i , - вероятность появления символаa i , на выходе источника, символы источника считаются независимыми. Канал связи имеет алфавит символовB={b j },j= 1.. m, среднее количество информации в одном символе канала

где q j - вероятность появления символаb i , в канале.

Техническими характеристиками канала связи являются:

техническая производительность источника  A - среднее число символов, выдаваемых источником в единицу времени;

техническая пропускная способность канала связи  B - среднее число символов, передаваемое по каналу в единицу времени.

Информационной характеристикой источника является инфор­мационная производительность. По определению, информационная производительность - это среднее количество информации, выдава­емое источником в единицу времени.

В канале без помех информационными характеристиками являются:

1) скорость передачи информации по каналу

2) пропускная способность канала

где {P } - множество всех возможных распределений вероятностей символов алфавитаВ канала. С учетом свойств энтропии

C K = B . log 2 m.

В канале с помехами в общем случае входной и выходной алфа­виты не совпадают. Пусть

B ВХ =X={x 1 ,x 2 ,…,x n };

B ВЫХ =Y={y 1 ,y 2 ,…,y m }.

Если отправленный на входе канал символ х к опознан в приемнике какy i иi  K , то при передаче произошла ошибка. Свойства канала описываются матрицей переходных вероятностей (вероятность приема символау i , при условии, что посланх k ):

|| P(yi|xk) ||, k=1..n, i=1..m.

Справедливо соотношение:

Среднее количество информации на один входной символ канала:

p i =p(x i ) .

Среднее количество информации на выходной символ канала:

Информация, которую несет выход канала о входе:

I(Y,X)=H(X)-H Y (X)=H(Y)-H X (Y).

Здесь Ну (Х ) - условная энтропия входного символа канала при на­блюдении выходного символа (ненадежность канала),Н х (Y ) - услов­ная энтропия выходного символа канала при наблюдении входных символов (энтропия шума).

Скорость передачи информации по каналу с помехами:

dI(B)/dt=  B I(X,Y).

Пропускная способность канала с помехами:

где { р} - множество всех возможных распределений вероятностей входного алфавита символов канала.

Рассмотрим пример

Найти пропускную способность двоичного симметричного канала (канала с двухсимвольными входными и выходными алфавитами) и одинаковыми вероятностями ошибок (рис.1), если априорные вероят­ности появления входных символов:P(x 1 )=P 1 =P, P(x 2 )=P 2 =1-P .

Решение. В соответствии с моделью канала условные веро­ятности

P(y 1 | x 2 ) = P(y 2 | x 1 ) = P i ,

P(y 1 | x 1 ) = P(y 2 | x 2 ) = 1-P i .

Пропускная способность канала - C K =  B . max{H(Y)-H(X|Y)}. Найдем энтропию шума:

По теореме умножения: P (y j x i )=P (x i )P (y j |x i ), следовательно,

P (x 1 y 1 )=P (1-P i ), P (x 2 y 1 )=(1- P )P i ,P (x 1 y 2 )=PP i ,P (x 2 y 2 )=(1-P )(1-P i ).

Подставляя в формулу, получаем:

Таким образом, H( Y | X ) не зависит от распределения входного алфавита, следовательно:

Определим энтропию выхода:

Вероятности P (y 1 ) иP (y 2 ) получаем следующим образом:

P (y 1 )=P (y 1 x 1 )+P (y 1 x 2 )=P (1-P i )+(1-P i )P i , P (y2 )=P (y 2 x 1 )+P (y 2 x 2 )=PP i +(1-P )(1-P i ).

Варьируя Р, убеждаемся, что максимальное значение H (Y ), равное 1, получается при равновероятных входных символахP (y 1 ) иP (y 2 ). Следовательно,

Задача . Найти пропускную способность канала с трехсимвольными входными и выходными алфавитами (x 1 ,x 2 ,x 3 иy 1 ,y 2 ,y 3 соответсвенно). Интенсивность появления символов на входе канала k =V . 10 символов/с.

Вероятности появления символов:

,
, .

Вероятности передачи символов через канал связи:

,
,,

,
,,

,
,.

4. КОДИРОВАНИЕ ИНФОРМАЦИИ

4.1. Общие сведения Кодом называется:

Правило, описывающее отображение одного набора знаков в другой набор знаков или в набор слов без знаков;

Множество образов, получающихся при таком отображении.

В технических кодах буквы, цифры и другие знаки почти всегда кодируются двоичными последовательностями, называемыми двоичными кодовыми словами. У многих кодов слова имеют оди­наковую длину (равномерные коды).

Выбор кодов для кодирования конкретных типов сообщений определяется многими факторами:

Удобством получения исходных сообщений из источника;

Быстротой передачи сообщений через канал связи;

Объёмом памяти, необходимым дня хранения сообщений;

Удобством обработки данных;

Удобством декодирования сообщений приемником.

Закодированные сообщения передаются по каналам связи, хра­нятся в ЗУ, обрабатываются процессором. Объемы кодируемых данных велики, и поэтому во многих случаях важно обеспечить таксе кодирование данны:"., которое характеризуется минимальной длиной получающихся сообщений, Это проблема сжатия данных. Существуют два подхода сжатия данных:

Сжатие, основанное на анализе статистических свойств коди­руемых сообщений.

Сжатие на основе статистических свойств данных называется так же теорией экономного или эффективного кодирования. Эко­номное кодирование основано на использовании кодов с перемен­ной длиной кодового слова, например, код Шеннона-Фано, код Хафмана /31. Идея использования кодов переменной длины для сжа­тия данных состоит в том, чтобы сообщения с большей вероят­ностью появления ставить в соответствие кодовые комбинации мень­шей длины и, наоборот, сообщения с малой вероятностью появле­ния кодировать словами большей длины. Средняя длина кодового слова определяется с.о.:

где /, - длина кодового слова для кодирования i - го сообщения; p t - вероятность появления i - го сообщения.

4.2. Задания

4.2.1. Из табл.4 выбрать дня последующего кодирования ис­ходный алфавит, содержащий 10 символов, начиная с N-ro (N - порядковый номер студента в журнале группы). Пронормировать вероятности символов.

4.2.2. Пронормировать выбранный в п.4.2.1. исходный алфавит равномерным двоичным кодом, кодом Шеннона-Фано, кодом Хафмана. Для каждого варианта кодирования рассчитать мини­мальное, максимальное, среднее значение длины кодового слова. Проанализировать результаты.

4.2.3. Проделать задание 4.2.2. для троичного кода.

Таблица 4

4.3. Указания к выполнению отдельных заданий К заданию 4.2.1. Нормирование вероятностей производится по формуле:

/W-HO / *Рк " JC=AT

где Pi - вероятности появления символов, приведенные в табл.4.

К заданию 4.2.2. Правила построения двоичных кодов изло­жены в /4,6/.

К заданию 4.2.3. При построении троичного кода в качестве кодовых слов берутся слова, записанные в троичной системе счис­ления. Оптимальный троичный код строится с помощью процедуры Хафмана (с помощью процедуры Шеннона-Фано строится субоп-тимальный код). При этом разбиение алфавита ведется на три груп­пы, первой группе приписывается "О", второй - "1", третьей - "2".

Схема передачи информации. Канал передачи информации. Скорость передачи информации.

Существуют три вида информационных процессов: хранение, передача, обработка.

Хранение информации:

· Носители информации.

· Виды памяти.

· Хранилища информации.

· Основные свойства хранилищ информации.

С хранением информации связаны следующие понятия: носитель информации (память), внутренняя память, внешняя память, хранилище информации.

Носитель информации – это физическая среда, непосредственно хранящая информацию. Память человека можно назвать оперативной памятью. Заученные знания воспроизводятся человеком мгновенно. Собственную память мы еще можем назвать внутренней памятью, поскольку ее носитель – мозг – находится внутри нас.

Все прочие виды носителей информации можно назвать внешними (по отношению к человеку): дерево, папирус, бумага и т.д. Хранилище информации - это определенным образом организованная информация на внешних носителях, предназначенная для длительного хранения и постоянного использования (например, архивы документов, библиотеки, картотеки). Основной информационной единицей хранилища является определенный физический документ: анкета, книга и др. Под организацией хранилища понимается наличие определенной структуры, т.е. упорядоченность, классификация хранимых документов для удобства работы с ними. Основные свойства хранилища информации: объем хранимой информации, надежность хранения, время доступа (т.е. время поиска нужных сведений), наличие защиты информации.

Информацию, хранимую на устройствах компьютерной памяти, принято называть данными. Организованные хранилища данных на устройствах внешней памяти компьютера принято называть базами и банками данных.

Обработка информации:

· Общая схема процесса обработки информации.

· Постановка задачи обработки.

· Исполнитель обработки.

· Алгоритм обработки.

· Типовые задачи обработки информации.

Схема обработки информации:

Исходная информация – исполнитель обработки – итоговая информация.

В процессе обработки информации решается некоторая информационная задача, которая предварительно может быть поставлена в традиционной форме: дан некоторый набор исходных данных, требуется получить некоторые результаты. Сам процесс перехода от исходных данных к результату и есть процесс обработки. Объект или субъект, осуществляющий обработку, называют исполнителем обработки.

Для успешного выполнения обработки информации исполнителю (человеку или устройству) должен быть известен алгоритм обработки, т.е. последовательность действий, которую нужно выполнить, чтобы достичь нужного результата.

Различают два типа обработки информации. Первый тип обработки: обработка, связанная с получением новой информации, нового содержания знаний (решение математических задач, анализ ситуации и др.). Второй тип обработки: обработка, связанная с изменением формы, но не изменяющая содержания (например, перевод текста с одного языка на другой).

Важным видом обработки информации является кодирование – преобразование информации в символьную форму, удобную для ее хранения, передачи, обработки. Кодирование активно используется в технических средствах работы с информацией (телеграф, радио, компьютеры). Другой вид обработки информации – структурирование данных (внесение определенного порядка в хранилище информации, классификация, каталогизация данных).

Ещё один вид обработки информации – поиск в некотором хранилище информации нужных данных, удовлетворяющих определенным условиям поиска (запросу). Алгоритм поиска зависит от способа организации информации.

Передача информации:

· Источник и приемник информации.

· Информационные каналы.

· Роль органов чувств в процессе восприятия информации человеком.

· Структура технических систем связи.

· Что такое кодирование и декодирование.

· Понятие шума; приемы защиты от шума.

· Скорость передачи информации и пропускная способность канала.

Схема передачи информации:

Источник информации – информационный канал – приемник информации.

Информация представляется и передается в форме последовательности сигналов, символов. От источника к приёмнику сообщение передается через некоторую материальную среду. Если в процессе передачи используются технические средства связи, то их называют каналами передачи информации (информационными каналами). К ним относятся телефон, радио, ТВ. Органы чувств человека исполняют роль биологических информационных каналов.

Процесс передачи информации по техническим каналам связи проходит по следующей схеме (по Шеннону):

Термином «шум» называют разного рода помехи, искажающие передаваемый сигнал и приводящие к потере информации. Такие помехи, прежде всего, возникают по техническим причинам: плохое качество линий связи, незащищенность друг от друга различных потоков информации, передаваемой по одним и тем же каналам. Для защиты от шума применяются разные способы, например, применение разного рода фильтров, отделяющих полезный сигнал от шума.

Клодом Шенноном была разработана специальная теория кодирования, дающая методы борьбы с шумом. Одна из важных идей этой теории состоит в том, что передаваемый по линии связи код должен быть избыточным. За счет этого потеря какой-то части информации при передаче может быть компенсирована. Однако нельзя делать избыточность слишком большой. Это приведёт к задержкам и подорожанию связи.

При обсуждении темы об измерении скорости передачи информации можно привлечь прием аналогии. Аналог – процесс перекачки воды по водопроводным трубам. Здесь каналом передачи воды являются трубы. Интенсивность (скорость) этого процесса характеризуется расходом воды, т.е. количеством литров, перекачиваемых за единицу времени. В процессе передачи информации каналами являются технические линии связи. По аналогии с водопроводом можно говорить об информационном потоке, передаваемом по каналам. Скорость передачи информации – это информационный объем сообщения, передаваемого в единицу времени. Поэтому единицы измерения скорости информационного потока: бит/с, байт/с и др. информационный процесс передача канал

Еще одно понятие – пропускная способность информационных каналов – тоже может быть объяснено с помощью «водопроводной» аналогии. Увеличить расход воды через трубы можно путем увеличения давления. Но этот путь не бесконечен. При слишком большом давлении трубу может разорвать. Поэтому предельный расход воды, который можно назвать пропускной способностью водопровода. Аналогичный предел скорости передачи данных имеют и технические линии информационной связи. Причины этому также носят физический характер.

1. Классификация и характеристики канала связи
Канал связи – это совокупность средств, предназначенных для передачи сигналов (сообщений).
Для анализа информационных процессов в канале связи можно использовать его обобщенную схему, приведенную на рис. 1.

На рис. 1 приняты следующие обозначения: X, Y, Z, W – сигналы, сообщения; f – помеха; ЛС – линия связи;ИИ, ПИ – источник и приемник информации; П – преобразователи (кодирование, модуляция, декодирование, демодуляция).
Существуют различные типы каналов, которые можно классифицировать по различным признакам:
1. По типу линий связи: проводные; кабельные; оптико-волоконные;
линии электропередачи; радиоканалы и т.д.
2. По характеру сигналов: непрерывные; дискретные; дискретно-непрерывные (сигналы на входе системы дискретные, а на выходе непрерывные, и наоборот).
3. По помехозащищенности: каналы без помех; с помехами.
Каналы связи характеризуются:
1. Емкость канала определяется как произведениевремени использования канала T к, ширины спектра частот, пропускаемых каналом F к и динамического диапазона D к . , который характеризует способность канала передавать различные уровни сигналов

V к = T к F к D к. (1)
Условие согласования сигнала с каналом:
V c £ V k ; T c £ T k ; F c £ F k ; V c £ V k ; D c £ D k .
2.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени.
3.
4. Избыточность – обеспечивает достоверность передаваемой информации (R = 0¸1).
Одной из задач теории информации является определение зависимости скорости передачи информации и пропускной способности канала связи от параметров канала и характеристик сигналов и помех.
Канал связи образно можно сравнивать с дорогами. Узкие дороги – малая пропускная способность, но дешево. Широкие дороги – хорошая пропускная способность, но дорого. Пропускная способность определяется самым «узким» местом.
Скорость передачи данных в значительной мере зависит от передающей среды в каналах связи, в качестве которых используются различные типы линий связи.
Проводные:
1. Проводные – витая пара (что частично подавляет электромагнитное излучение других источников). Скорость передачи до 1 Мбит/с. Используется в телефонных сетях и для передачи данных.
2. Коаксиальный кабель. Скорость передачи 10–100 Мбит/с – используется в локальных сетях, кабельном телевидении и т.д.
3. Оптико-волоконная. Скорость передачи 1 Гбит/с.
В средах 1–3 затухание в дБ линейно зависит от расстояния, т.е. мощность падает по экспоненте. Поэтому через определенное расстояние необходимо ставить регенераторы (усилители).
Радиолинии:
1. Радиоканал. Скорость передачи 100–400 Кбит/с. Использует радиочастоты до 1000 МГц. До 30 МГц за счет отражения от ионосферы возможно распространение электромагнитных волн за пределы прямой видимости. Но этот диапазон сильно зашумлен (например, любительской радиосвязью). От 30 до 1000 МГц – ионосфера прозрачна и необходима прямая видимость. Антенны устанавливаются на высоте (иногда устанавливаются регенераторы). Используются в радио и телевидении.
2. Микроволновые линии. Скорости передачи до 1 Гбит/с. Используют радиочастоты выше 1000 МГц. При этом необходима прямая видимость и остронаправленные параболические антенны. Расстояние между регенераторами 10–200 км. Используются для телефонной связи, телевидения и передачи данных.
3. Спутниковая связь . Используются микроволновые частоты, а спутник служит регенератором (причем для многих станций). Характеристики те же, что у микроволновых линий.
2. Пропускная способность дискретного канала связи
Дискретный канал представляет собой совокупность средств, предназначенных для передачи дискретных сигналов .
Пропускная способность канала связи – наибольшая теоретически достижимая скорость передачи информации при условии, что погрешность не превосходит заданной величины.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени. Определим выражения для расчета скорости передачи информации и пропускной способности дискретного канала связи.
При передаче каждого символа в среднем по каналу связи проходит количество информации, определяемое по формуле
I (Y, X) = I (X, Y) = H(X) – H (X/Y) = H(Y) – H (Y/X) , (2)
где: I (Y, X) – взаимная информация, т.е.количество информации, содержащееся в Y относительно X ; H(X) – энтропия источника сообщений; H (X/Y) – условная энтропия, определяющая потерю информации на один символ, связанную с наличием помех и искажений.
При передаче сообщения X T длительности T, состоящего из n элементарных символов, среднее количество передаваемой информации с учетом симметрии взаимного количества информации равно:
I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n . (4)
Скорость передачи информации зависит от статистических свойств источника, метода кодирования и свойств канала.
Пропускная способность дискретного канала связи
. (5)
Максимально-возможное значение, т.е. максимум функционала ищется на всем множестве функций распределения вероятности p(x) .
Пропускная способность зависит от технических характеристик канала (быстродействия аппаратуры, вида модуляции, уровня помех и искажений и т.д.). Единицами измерения пропускной способности канала являются: , , , .
2.1 Дискретный канал связи без помех
Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.
При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно
I (X, Y) = H(X) = H(Y); H (X/Y) = 0.
Если Х Т – количество символов за время T , то скорость передачи информации для дискретного канала связи без помех равна
(6)
где V = 1/ – средняя скорость передачи одного символа.
Пропускная способность для дискретного канала связи без помех
(7)
Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:
. (8)
Первая теорема Шеннона для канала:Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.
, где - сколь угодно малая величина,
то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.
Теорема не отвечает на вопрос, каким образом осуществлять кодирование.
Пример 1. Источник вырабатывает 3 сообщения с вероятностями:
p 1 = 0,1; p 2 = 0,2 и p 3 = 0,7.
Сообщения независимы и передаются равномерным двоичным кодом (m = 2 ) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.
Решение: Энтропия источника равна

[бит/с].
Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.
Средняя скорость передачи сигнала
V =1/2 t = 500 .
Скорость передачи информации
C = vH = 500×1,16 = 580 [бит/с].
2.2 Дискретный канал связи с помехами
Мы будем рассматривать дискретные каналы связи без памяти.
Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.
При наличии помехи среднее количество информации в принятом символе сообщении – Y , относительно переданного – X равно:
.
Для символа сообщения X T длительности T, состоящегоиз n элементарных символов среднее количество информации в принятом символе сообщении – Y T относительно переданного – X T равно:
I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n = 2320 бит/с
Пропускная способность непрерывного канала с помехами определяется по формуле

=2322 бит/с.
Докажем, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым шумом при ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения на среднюю мощность.
Математическое ожидание для симметричного равномерного распределения

Средний квадрат для симметричного равномерного распределения

Дисперсия для симметричного равномерного распределения

При этом, для равномерно-распределенного процесса .
Дифференциальная энтропия сигнала с равномерным распределением
.
Разность дифференциальных энтропий нормального и равномерно распределенного процесса не зависит от величины дисперсии
= 0,3 бит/отсч.
Таким образом, пропускная способность и емкость канала связи для процесса с нормальным распределением выше, чем для равномерного.
Определим емкость (объем) канала связи
V k = T k C k = 10×60×2322 = 1,3932 Мбит.
Определим количество информации, которое может быть передано за 10 минут работы канала
10× 60× 2322=1,3932 Мбит.
Задачи

1. В канал связи передаются сообщения, составленные из алфавита x 1, x 2 и x 3 с вероятностями p(x 1)=0,2;p(x 2) =0,3 и p(x 3)=0,5 .
Канальная матрица имеет вид:
при этом .
Вычислить:
1. Энтропию источника информации H(X) и приемника H(Y) .
2. Общую и условную энтропию H (Y/X).
3. Потери информации в канале при передаче к символов (к = 100 ).
4. Количество принятой информации при передаче к символов.
5. Скорость передачи информации, если время передачи одного символа t = 0,01 мс .
2. По каналу связи передаются символы алфавита x 1 , x 2 , x 3 и x 4 с вероятностями . Определить количество информации принятой при передаче 300 символов, если влияние помех описывается канальной матрицей:
.
3. Определить потери информации в канале связи при передаче равновероятных символов алфавита, если канальная матрица имеет вид
.
t = 0,001 сек.
4.Определить потери информации при передаче 1000 символов алфавита источника x 1 , x 2 и x 3 с вероятностями p =0,2; p =0,1 и p()=0,7 , если влияние помех в канале описывается канальной матрицей:
.
5. Определить количество принятой информации при передаче 600 символов, если вероятности появления символов на выходе источника X равны: а влияние помех при передаче описывается канальной матрицей:
.
6. В канал связи передаются сообщения, состоящие из символов алфавита , при этом вероятности появления символов алфавита равны:
Канал связи описан следующей канальной матрицей:
.
Определить скорость передачи информации, если время передачи одного символа мс .
7.По каналу связи передаются сигналы x 1 , x 2 и x 3 с вероятностями p =0,2; p =0,1 и p()=0,7. Влияние помех в канале описывается канальной матрицей:
.
Определить общую условную энтропию и долю потерь информации, которая приходится на сигнал x 1 (частную условную энтропию).
8. По каналу связи передаются символы алфавита x 1 , x 2 , x 3 и x 4 с вероятностями .
Помехи в канале заданы канальной матрицей
.
Определить пропускную способность канала связи, если время передачи одного символа t = 0,01 сек.
Определить количество принятой информации при передаче 500 символов, если вероятности появления символов на входе приемника Y равны: , а влияние помех при передаче описывается канальной матрицей:
.

Пропускная способность непрерывного канала связи
(14)
Для дискретного канала связи максимальное значение скорости передачи соответствует равновероятным символам алфавита. Для непрерывного канала связи, когда заданной является средняя мощность сигнала, максимальная скорость обеспечивается при использовании нормальных центрированных случайных сигнала.
Если сигнал центрированный (m x = 0 ) т.е. без постоянной составляющей при этом мощность покоя равна нулю (P 0 = 0 ). Условие центрированности обеспечивает максимум дисперсии при заданной средней мощности сигнала
Если сигнал имеет нормальное распределение, то априорная дифференциальная энтропия каждого отсчета максимальна.
Поэтому при расчете пропускной способности непрерывного канала считаем, что по каналу передается непрерывный сигнал с ограниченной средней мощностью – P c и аддитивная помеха (y = x+f ) также с ограниченной средней мощностью – P n типа белого (гауссова) шума.