Автор работы: Пользователь скрыл имя, 06 Мая 2014 в 10:13, реферат
Теория информации является одним из курсов при подготовке инженеров, специализирующихся в области автоматизированных систем управления и обработки информации. Функционирование таких систем существенным образом связано с получением, подготовкой, передачей, хранением и обработкой информации, поскольку без осуществления этих этапов невозможно принять правильное решение и осуществить требуемое управляющее воздействие, которое является конечной целью функционирования любой системы.
Введение 3
Теоретические основы современных ЭВМ 4
Информация и ее представления 4
Системы счисления 4
Логические операции 8
Единицы измерения информации 9
Клод Элвуд Шеннон 9
Теория информации 13
Формула Шеннона 14
«Математическая теория связи» 15
Теория связи в секретных системах 17
Заключение 17
Список используемой литературы: 19
С 1950 по 1956 Шеннон занимался созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую машину поиска выхода из лабиринта.
Шеннон уходит на пенсию в возрасте пятидесяти лет, в 1966 году, но он продолжает консультировать компанию Белл (Bell Labs).
В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном.
Он был разработчиком первой промышленной игрушки на радиоуправлении, которая выпускалась в 50-е годы в Японии. Также он разработал устройство, которое могло складывать кубик Рубика, мини компьютер для настольной игры Гекс, который всегда побеждал соперника, механическую мышку, которая могла находить выход из лабиринта. Также он реализовал идею шуточной машины «Ultimate Machine».
Клод Шеннон ушел из жизни 24 февраля 2001 года.
Теория информации
– основа информатики, и одновременно
– одно из главных направлений
технической кибернетики. Основоположником
теории технической информации
является американский ученый
и инженер Клод Шеннон. Опубликованная
им в 1948 работа «Математическая
теория связи» содержала
На первом этапе (1949-1959) в шенноновской теории информации фигурировало лишь одно «термодинамическое» понятие – энтропия. В ней, казалось, не было места для энергии и других аналогов термодинамических потенциалов. В этом отношении теория выглядела однобокой по сравнению со статистической термодинамикой. Но это было временным явлением. После осознания того, что в прикладной теории информации, понимаемой как теория передачи сигналов, аналогом энергии является функция штрафов, аналогом средней энергии является риск, положение изменилось. Стало очевидным сходство информационной теории с термодинамикой в числе основных понятий и соотношениях между ними. Выяснилось, что математические соотношения между соответствующими понятиями в обеих дисциплинах они и те же, а они-то и составляют содержание рассматриваемой здесь математической теории. Помимо энтропии, в теории информации имеются и другие понятия, такие, как шенноновское количество информации. Кроме первой вариационной задачи, связанной с экстремумом энтропии при фиксированном риске – энергии, в ней есть вариационные задачи, в которых энтропия заменяется на шенноновское количество информации. Поэтому содержание теории информации шире математического содержания статистической термодинамики.
При возникновении теории технической информации появление в ней такого хорошо известного в термодинамике понятия как энтропия воспринималось как курьёз, и этому не придавалось серьёзного значения. Считалось, что информационная энтропия не имеет ничего общего с физической энтропией (вопреки деятельности кибернетического автомата – демона Максвелла). Вскоре, однако, обнаружилось, что имеют место однотипные закономерности и в теории информации и в статистической физике, и их условно можно называть «термодинамическими».
I = - (p1 log2 p1 + p2 log2 p2 + … + pN log2 pN ),
где pi - вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.
Легко заметить, что если вероятности p1, …, pN равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.
Помимо двух рассмотренных подходов к определению количества информации, существуют и другие.
Важно помнить, что любые теоретические результаты применимы лишь к определенному кругу случаев, очерченному первоначальными допущениями.
В качестве единицы информации условились принять один бит (английский bit - binary, digit - двоичная цифра).
Бит в теории информации - количество информации, необходимое для различения двух равновероятных сообщений.
А в вычислительной технике битом называют наименьшую порцию памяти, необходимую для хранения одного из двух знаков «0» и «1», используемых для внутри машинного представления данных и команд.
Статья «Математическая теория связи» была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили огромное число исследований по всему миру. Шеннон обобщил идеи Хартли и ввёл понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения, Хартли предложил использовать логарифмическую функцию. Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами.
Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения.
Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.
На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шенноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.
Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведенные за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах.
Работа Шеннона «Теория связи в секретных системах» (1945) с грифом «секретно», которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шеннон впервые начал изучать криптографию, применяя научный подход. В этой статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона является исследования абсолютно стойких систем и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.
На сегодняшний день теория передачи информации — комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи, хранения и классификации информации. Состоит из теории кодирования, алгоритмов и многих других.
Таким образом, теория Шеннона вскрывает вероятностно-статистический аспект синтаксической информации и как таковая является, как мы увидим, необходимой, но недостаточной для анализа других сторон информации. Надо также отметить, что понятие «информация», оставаясь на этом этапе своего развития в основном понятием, употребляемым для характеристики технических средств связи, в силу обобщения, произведенного Шенноном, приобретало более широкий характер. Это было впервые ясно осознано в кибернетике.
Информация о работе Теоретические основы современных ЭВМ. Клод Шеннон