Математические основы информатики

Содержание

1. Дайте определения количества информации
2. Когда понятия энтропии и количества информации полностью совпадают?
3. Сформулируйте свойства энтропии дискретных сообщений
4. В чем состоит процедура Шеннона-Фано?
5. Как, исходя из теоремы кодирования Шеннона, добиться безызбыточного кодирования?
6. В чем заключается естественная избыточность языков человека?
7. Для чего вносят искусственную избыточность в кодирование информации?
8. Каким образом решают проблему помехоустойчивости кода?
9. Для чего необходимо дискретное представление непрерывного сигнала?
10. В чем суть теоремы отсчетов?
11. Сформулируйте свойства энтропии непрерывных сообщений.
12. Что такое пропускная способность канала связи?
13. Какие существуют способы оценки полезности информации?
14. В чем причины изменения ценности информации? 
15. Что такое модель? Приведите примеры моделей экономических систем.
16. Сформулируйте выгоду моделирования в экономике. А какие при этом существуют проблемы?
17. В чем состоит методология системного анализа?
18. Дайте определение эмерджентности как свойства сложных систем.
19. Какова цель функционального описания системы?
20. Какова цель структурного описания системы?
21. Какова цель информационного описания системы?
22. В чем заключаются современные тенденции в области моделирования информационных систем?
Задачи
Задача 1. Доказать, что:
а) энтропия
б) максимум энтропии дискретных сообщений достигается при их равновероятности
Задача 2. Пусть дан следующий код, удовлетворяющий условию Фано:
1) построить соответствующее кодовое дерево
2) расшифровать текст
Задача 3. Задан ансамбль сообщений X = {x1 , x2 , ... , x8}. 
1) Найти энтропию при условии равновероятности сообщений.
основание a = 2
2) Найти энтропию при условии разной вероятности сообщений (см. таблицу), предварительно определив недостающую вероятность
3) С помощью процедуры Шеннона-Фано закодировать сообщения. Определить среднюю длину кодового слова и избыточность кода
Задача 4.  Записать 16 - ти разрядный двоичный код для чисел
Задача 5.  Найти закон распределения плотности вероятности непрерывной случайной величины х Э [0, 8), обеспечивающий максимум относительной энтропии при заданном математическом ожидании А
Задача 6.  Исходя из вероятности появления букв в русском алфавите, придумайте свою оптимальную "азбуку Морзе", закодировав пробел и буквы (всего 32 символа) последовательностью точек и тире
(1371)