Документ посвящен информационным характеристикам непрерывных случайных систем, включая такие концепции, как энтропия, дифференциальная энтропия и взаимная информация. Обсуждаются принципы экстремума энтропии и влияние заданной или произвольной дисперсии на информативность сообщений. Выводы указывают, что максимальная информативность достигается при нормальном или равновероятном распределении состояний элементов.

1. ЛЕКЦИЯ 5

2. Информационные характеристики непрерывных случайных систем Энтропия непрерывной случайной системы Количество информации для непрерывных систем Принцип экстремума энтропии Эпсилон-энтропия

3. Энтропия непрерывной случайной системы p k – вероятность k - го состояния системы, w ( x ) – плотность распределения вероятности, H ( X ) – энтропия, Δ x – интервал квантования p k ( x k < x < x k +1 ) w ( x ) x x k x k +1  x Плотность вероятности случайной величины x

4. Дифференциальная энтропия H * ( X ) – дифференциальная энтропия, H ( X ) – энтропия H * ( X ) > H ( X )

5. Энтропия объединения и условная энтропия , ,

6. Взаимная информация

7. Принцип экстремума энтропии Определить наилучшее распределение вероятностей при передаче сообщений или искусственно создаваемой помехи для случаев, когда дисперсия задана дисперсия произвольна

8. Дисперсия задана δ – заданное среднеквадратическое отклонение Выводы: сообщение обладает наибольшей информативностью, если состояния элементов распределены по нормальному закону. энтропия помехи максимальна, когда состояния составляющих помеху элементов распределены по нормальному закону.

9. Дисперсия произвольна b – верхняя граница интервала значений случайной величины, a – нижняя граница интервала значений случайной величины Выводы: если дисперсия состояний сообщений не ограничена, то сообщения обладают наибольшей информативностью (максимальной энтропией) в том случае, когда состояния элементов распределены по равновероятному закону. , ,

10. Эпсилон-энтропия H ε норм – эпсилон-энтропия в случае нормального распределения вероятностей

11. Вопросы Непрерывные случайные системы Дифференциальная энтропия Свойства энтропии непрерывной системы Взаимная информация непрерывных систем Условная энтропия непрерывной системы Принцип экстремума энтропии Энтропия непрерывной системы при заданной дисперсии Энтропия непрерывной системы при произвольной дисперсии Критерий близости двух сигналов Эпсилон-энтропия