Презентация на тему "Дискретные ансамбли и источники"

Содержание

• 
  Слайд 1

  Тема: Дискретные ансамбли и источники

• 
  Слайд 2
  

  Конечное множество X = {х1 ,..., хм} вместе с заданным на нем распределением вероятностей р(х) (т.е. каждому элементу xiX сопоставлено число р (хi), причем р(хi)>0;i= 1, 2, ..., М;) называется дискретным вероятностным ансамблем или коротко — дискретным ансамблем (сообщений) и обозначается символом {Х, р (х)}.   Дискретные ансамбли

• 
  Слайд 3
  

  Пусть XY есть произведение двух конечных множеств X и Y и на множестве XY задано совместное распределение вероятностей р(х, у), которое каждой паре (xi, уj), xiX, yjY, сопоставляет вероятность р(xi, уj). Если распределение вероятностей на произведении двух множеств X и Yудовлетворяет условию p(xi, yj)= p1(xi)p2(yj) для всех xiX, yjY,то ансамбли X и Y называются статистически НЕзависимыми. В противном случае говорят, что эти ансамбли статистически зависимы.

• 
  Слайд 4
  

  Пусть задан ансамбль {XY, р (х, у)}, предположим, что xi - такой элемент множества X, для которого pi (хi) 0. Число называется условной вероятностью сообщения yjпри условии, что сообщение xi известно (иногда это число называют условной вероятностью сообщения уj относительно сообщения xi).  

• 
  Слайд 5
  

  Задан ансамбль {XY, р (х, у)}, пусть А — произвольное подмножество элементов из Xс вероятностью Pr1(A),где распределение Число    называется условной вероятностью сообщения уjпри условии, что сообщение xi принадлежит множеству А (или условной вероятностью относительно множества А).  

• 
  Слайд 6
  

  Рассмотрим произведение nмножеств X1 ... Хnи распределение вероятностей р (х(1), ..., х(n)), x(i) Xi , i= 1, ..., n, заданное на этом произведении. Другими словами, рассмотрим вероятностный ансамбль {Х1 ... Хn, р(х(1),..., x(n))}. Пусть (1) Соотношения (1) задают безусловные распределения вероятностей на множествах Х1, X2, ..., Хnсоответственно. Если для любых х(1) Х1 ,..., x(n)Хnимеет место равенство   p(x(1),...,х(n))=p1(x(1))...pn(x(n))   то ансамбли X1 ,..., Хnназывают статистически НЕзависимыми.  

• 
  Слайд 7

  Дискретный источник

  Под дискретным источником понимают некоторое устройство, которое в каждую единицу времени (например, каждую секунду) выбирает одно из сообщений дискретного множества X. Как правило, это множество одно и то же для каждого момента времени, хотя в некоторых случаях для каждого момента времени может быть свое множество сообщений. С точки зрения теории информации источник считается заданным полностью, если имеется некоторая вероятностная схема (модель), позволяющая вычислить вероятность любого отрезка сообщений.

• 
  Слайд 8
  

  Например, НЕдостаточно сказать, что в качестве источника сообщений рассматривается телеграфный аппарат или передающее телевизионное устройство. НЕдостаточно также сказать, что известны вероятности букв, появляющихся на выходе телеграфного аппарата, или вероятности импульсов различной амплитуды на выходе телевизионного устройства. Для полного задания источника необходимо дать вероятностное описание процесса появлений сообщений на выходе источника. В примере с телеграфным аппаратом нужно дать такое описание, при котором можно вычислить вероятность любого буквенного сочетания, слова, предложения и т. д. в любой момент времени.

• 
  Слайд 9
  

  Таким образом, если источник задан, то для любых nи i, и любой последовательности сообщений(x( i+1), ..., x(i+n)) определена вероятность р (x(i+1), ..., x(i+n)) этой последовательности. Верно и обратное, если для любых nи i определены вероятности всех последовательностей сообщений длины n, начинающихся с позиции (i+1), то говорят, что задан источник сообщений. Отсюда следует, что все источники, которые могут иметь совершенно различную физическую природу, задаваемые одним и тем же набором вероятностей последовательностей сообщений, с позиции теории информации отождествляются.

• 
  Слайд 10
  

  Пусть Uх— дискретный источник, выбирающий сообщения из множества X. Будем говорить, что источник Ux задан, если для любых n= 1, 2, ..., любых i=0, ±1, ±2, ... задано семейство распределений вероятностей {р(x(i+1), ..., x(i+n))}, x(j)X, j=i+1, ..., i+n, удовлетворяющих условию согласованности, состоящему в том, что распределение вероятностей для любого набора позиций i1..., imопределено однозначным образом.  

• 
  Слайд 11

  Стационарный дискретный источник

  Дискретный источник Ux называется стационарным, если сообщения на его выходе образуют стационарный случайный процесс. В общем случае вероятность некоторого отрезка сообщений зависит как от самого отрезка, так и от его расположения на оси времени. Имеется, однако, важный класс источников, обладающих однородностью во времени или стационарностью. Свойство стационарности состоит в том, что для любого целого числа jвероятности двух одинаковых последовательностей, одна из которых занимает временные позиции, а другая — временные позиции , равны. Другими словами, (значение этой функции есть вероятность того, что в фиксированные моменты времени источник породит сообщения (или процесс примет значения) соответственно) В случае стационарных источников все последовательностиНЕ зависит от сдвига по оси времени и имеют одинаковые вероятности.  

• 
  Слайд 12

  Дискретный источникбез памяти

  Дискретный источник называется источником без памяти, если для любых n= 1, 2 ..., любых i = 0, ±1, ±2,...и любых последовательностей ,, имеет место равенство Дискретный источник без памяти обладает тем свойством, что его выходной сигнал в любой момент времени не зависит от своей предыстории. (В частности, это означает, что совместная вероятность n сигналов является просто произведением вероятностей соответствующих сигналов)   

• 
  Слайд 13

  Дискретный источник с памятью

  Дискретный источник называется источникомс памятью, еслиего выходной сигнал в какой-либо момент времени зависитот своих значений, имевших место в несколько предшествующих моментов времени. Если число этих моментов конечно, источник имеет конечный порядок, о противном случае - бесконечный.

• 
  Слайд 14