«теория информации»

information theory

information theory

ТЕОРИЯ ИНФОРМАЦИИ

-наука о статистич. процессах передачи информации в техн., природных и социальных системах. Осн. понятия Т. <н.- мера кол-ва информации, пропускная способность канала связи, эфф. кодирование сообщений - были введены в 40-х гг. 20 в. К. Шенноном [1 ]. Т. <н. является по существу статистич. теорией связи, или теорией передачи информации, однако общий характер её положений позволяет исследовать также процессы получения, обработки и хранения информации.

Т. и. тесно связана с теорией кодирования, в к-рой рассматриваются общие проблемы установления соответствия между сообщениями и сигналами, представляющими эти сообщения (см. также Кодирование информации), а также с теорией обработки сигналов, в к-рую входит квантование и восстановление квантованных сигналов, а также корреляц. и спектральный анализы сигналов.

Методы Т. и. использовались с разной степенью плодотворности во мн. прикладных областях, включая информатику, языкознание, криптографию, теорию управления, обработку изображений, генетику, психологию, экономику, организацию производства, однако осн. значение они имеют для теории систем связи. Возникновение Т. и. стимулировало также исследования в области теории вероятностей.

Т. и. рассматривает понятие "информации" только с количеств. стороны, безотносительно к её ценности и даже смыслу. При таком подходе страница машинописного текста максимально содержит всегда примерно одинаковое кол-во информации, определяемое только числом знаков и пробелов (т. е. символов) на странице и не зависящее от того, что именно на ней напечатано, включая случай бессмысленного, хаотического набора символов. Для моделирования систем связи такой подход правомерен, поскольку они предназначены для безошибочной передачи по каналу связи информации, представленной любым набором символов. В тех же случаях, когда существен учёт ценности и смысла информации, количеств. подход неприменим. Это обстоятельство налагает существенные ограничения на области возможных приложений Т. и. Неучёт его привёл на ранних этапах развития к переоценке прикладной значи-

Осн. структурная схема системы связи, рассматриваемая в Т. <и., приведена на рис. 1. Информацию в виде сообщений создаёт и с т о ч н и к с о о б щ е н и й. Сообщения представляют собой слова или наборы слов, записанные б у к в а м и нек-рого алфавита. Источниками сообщений могут быть человеческая речь, тексты на любых естеств. или формальных языках, данные систем сбора и обработки информации, а также нек-рые математич. модели -вероятностные процессы, создающие последовательности букв. П е р е д а т ч и к преобразует передаваемое сообщение в сигнал, соответствующий физ. природе к а н а л а с в я з и. Канал связи - это среда для передачи сигнала от передатчика к приёмнику. При прохождении сигнала по каналу на него могут воздействовать п о м е х и, вносящие искажения в значения информац. параметров сигнала. П р и ё м н и к восстанавливает по принятому в общем случае с искажениями сигналу исходное сообщение. Восстановленное сообщение поступает а д р е с а т у - нек-рому лицу или техн. устройству.

Источники сообщений, рассматриваемые в теории информации, имеют статистич. характер, т. е. появление каждого из возможных сообщений (полный набор к-рых предполагается заранее известным) определяется соответствующей априорной вероятностью. Согласно Шеннону [1 ], считается, что чем больше априорная вероятность данного сообщения, тем меньше неопределённости относительно его действительного появления и, следовательно, тем меньше информации оно несёт. Если вероятность появления сообщения-единица, т. е. его появление достоверно, то неопределённости нет и считается, что сообщение не несёт информации.

Для оценки кол-ва информации в сообщении в Т. и, используется логарифмич. мера, введённая Р. Хартли [2], вероятностная интерпретация к-рой была дана в работах Шеннона [1 ]. Если вероятность появления сообщения x есть p(x), причем 0 <р ( х)<1, то к о л и ч е с т в о и н ф о рм а ц и и I(x), содержащееся в сообщении, определяется ф-лой:

Ф-ла (1) определяет кол-во информации с точностью до основания логарифма, т. е. с точностью до пост. множителя. Как правило, в качестве основания логарифма выбирается число 2и единицей кол-ва информации является б и т, что соответствует используемой в вычислит. технике двоичной системе счисления. При любом основании логарифма I(x)>=0, I(x)=0. при р(х)=1и при p(x)->0 (рис, 2).

Если x₁. и х₂- сообщения от двух независимых источников с вероятностями появления p(x₁ )и p(x₂), то вероятность их совместного появления r(x₁,x₂)=p(x₁)^.p(x₂) а соответствующее кол-во информации

Это аддитивное свойство логарифмич. меры служит основанием для выбора ее в качестве меры кол-ва информации, т. к. соответствует интуитивным представлениям о суммировании кол-ва информации, содержащегося в независимых сообщениях.

Для сообщений x₁,..., x_n, создаваемых источником с вероятностями p₁...,p_n, причём Шеннон ввёл ср. меру кол-ва информации усреднением по множеству сообщений

Логарифм здесь, как и в ф-ле (1), обычно берётся по основанию 2, Ф-ция Н, характеризующая информац. свойства источника сообщений, наз. э н т р о п и е й, т. к. по форме она совпадает с энтропией в статистич. физике, характеризующей априорную неопределённость нахождения статистич. системы в состояниях x₁...,x_n, имеющих вероятности p₁...,p_n. Очевидна прямая аналогия ф-лы (1) для кол-ва информации в сообщении и ф-лы Больцмана для физ. энтропии S:

где k- постоянная Больцмана, W-термодинамическая вероятность. В самой Т. и. и её приложениях эта аналогия с физикой не играет, однако, существенной роли.

Если в ф-ле (2) лишь одна из вероятностей равна единице, а остальные-нули, неопределённости в появлении сообщений нет и Н=0. Если сообщения равновероятны: p₁=...=p_n=1/n, и неопределённость в том, какое из них появится, максимальна, то H=log n. Это значение энтропии является максимальным и равно в этом случае кол-ву информации, получаемому от каждого отд. сообщения.

Для источника, создающего два сообщения х₁ и х₂, к-рые можно закодировать в двоичном коде как 0 и 1 соответственно, при вероятностях сообщений p и q=1 -p

График энтропии для этого случая приведён на рис. 3.

Энтропия максимальная, когда априорная неопределённость максимальна, т. е. при p,q =1/2. При этом Н=1 бит, что соответствует одному двоичному символу (букве), используемому в кодах сообщений.

Если источник создаёт четыре сообщения x₁, x₂, x₃, x₄, то их можно закодировать в двоичном коде так: 00, 01, 10 и 11. При p₁=... = p₄ =1/4 энтропия максимальна, H=2бит, что соответствует двум двоичным символам, используемым для кодирования сообщений. Вообще для источника, создающего n сообщений, макс. значение энтропии H=log₂n, что соответствует мин. числу двоичных символов в кодовых словах одинаковой длины, образующих р а в н о м е р н ы е к о д ы и необходимых для кодирования n равновероятных сообщений.

Если сообщения не являются равновероятными, то для экономии ср. времени на их передачу по каналу связи предпочтительно использование н е р а в н о м е р н ы х к од о в, образованных более короткими кодовыми словами для более вероятных сообщений и более длинными - для менее вероятных сообщений. Для n кодовых слов, имеющих l₁...,l_n символов, средняя длина слова (сообщения) определяется ф-лой

где p_i - вероятности появления соответств. слов (сообщений). Энтропия задаёт ниж. границу для L, т. <е. L>=H. Уменьшение L, т. е. приближение L к H и как следствие уменьшение ср. времени передачи сообщений, возможно за счёт применения процедур э ф ф е к т и в н о г о к о д и р о в ан и я. Эффективность кодирования характеризуется величиной h = H/L, а величина m=1-h наз. и з б ы т о ч н ос т ь ю. Эфф, кодирование, обеспечивающее мин. значение избыточности, можно осуществить с помощью кодов Шеннона, Р. Фано, Д, Хаффмена [1,3] (в случае m = 0 код наз. о п т и м а л ь н ы м).

Код Хаффмена строится след. образом. Сообщения (число к-рых конечно) располагаются в таблице в столбец в порядке убывания их вероятностей. Два последних сообщения объединяются в одно с суммарной вероятностью, и далее по тому же правилу строится след. столбец таблицы. Затем в полученном столбце два последних сообщения вновь объединяются в одно с суммарной вероятностью, строится новый столбец таблицы и т. д. Процесс продолжается до тех пор, пока в последнем построенном столбце не останется двух сообщений. Верхнему из них приписывается кодовое слово 0, нижнему - 1. Далее рассматривается предпоследний столбец, в к-ром для объединявшихся сообщений на втором месте кодового слова ставится 0 для верх. сообщения и 1-для нижнего. Если сообщения необъединялись, то они сохраняют кодовые слова предыдущего столбца. Процесс кодирования продолжается до тех пор, пока кодовые слова не будут приписаны всем исходным сообщениям в первом столбце.

Пусть, напр., источник создаёт четыре сообщения x₁, х₂, х₃, х₄ свероятностями p₁ =1/2, р₂=1/4, p₃=р₄= 1/8. Процесс построения кода Хаффмена для этого случая - объединение сообщений и кодирование - показан в табл. 1 и табл. 2 соответственно. Для построенных кодовых слов сообщений 0, 10, 110, 111 ср. длина слова L= 1/2 · 1 + 1/4 · 2 +1/8 · 3 + 1/8 · 3 = 7/4, что равно значению энтропии для рассматриваемого источника: Н= -l/2 log₂1/2- l/4 log₂1/4- l/8 log₂1/8-- l/8 log₂1/8 = 7/4. Избыточность кодирования m =0, эффективность h =1, т. е. построенный код - оптимальный. Использование эфф. кодирования, однако, допустимо только при полной гарантии отсутствия ошибок при кодировании и декодировании сообщений, т. <к. в этом случае ошибка в восстановлении одного сообщения может повлечь появление ошибок при восстановлении многих последующих сообщений.

К наиб. важным проблемам Т. и. относится согласование информац. свойств источника сообщений и канала связи. П р о п у с к н а я с п о с о б н о с т ь канала связи С определяется как макс. кол-во информации, к-рое способен передать канал в единицу времени. Единицей измерения пропускной способности канала связи является 1 бит/с.

Пусть источник создаёт сообщения в виде слов, записываемых буквами алфавита A_m={ а₁..., а _т}. При вероятностях появления этих букв p₁,..., р _т на одну букву приходятся в ср. бит информации. О с н о в н а я т е о р е м а Ш е н н о н а д л я к а н а л а с в я з и б е з ш у м а формулируется след. образом.

Пусть источник сообщений характеризуется энтропией H (бит/буква), а канал связи имеет пропускную способность С (бит/с). Тогда можно закодировать сообщения так, чтобы передавать символы по каналу связи со ср. скоростью С/H-e (буква/с), где e - сколь угодно малое число. Передавать буквы со ср. скоростью, превышающей С/H, невозможно. Достижение верх. границы для скорости передачи, указываемой теоремой Шеннона, осуществляется за счёт применения процедур эфф. кодирования.

При передаче сигналов по каналам связи на них возможно действие разл. помех, шумов, к-рые могут привести к искажениям восстанавливаемых сообщений. Пусть, как и ранее, источник сообщений создаёт слова, записываемые буквами алфавита A_m = {a₁,..., а _т} при вероятностях их появления р₁..., р _т. Пусть далее вследствие действия помех слова, восстанавливаемые приёмником, оказываются записанными валфавите B_n = {b₁..., b_n}, к-рый, в частности, может совпадать с алфавитом источника, причём вероятности появления букв алфавита В _п равны r₁,..., r_n. Тогда кол-во информации на выходе канала связи относительно его входа, приходящееся на одну передаваемую букву, определяется след. ф-лой:

где р _ij(i=l,..., n; j=1,..., m)- вероятности совместного появления букв входного и выходного алфавитов.

Пропускная способность канала связи с шумами С _ш определяется как макс. кол-во информации I(В _n, А _т), к-рое можно передать по каналу связи за 1 с. Максимум находится для всех возможных источников, к-рые могут быть использованы на входе данного канала связи.

Т е о р е м а Ш е н н о н д л я к а н а л а с в я з и с ш у м а м и формулируется след. образом.

Пусть H₁- ср. кол-во информации, создаваемое источником в единицу времени, т, е. производительность источника сообщений, измеряемая в бит/с. Пусть далее С _ш - пропускная способность канала с шумом, тоже измеряемая в бит/с. Тогда если Н ₁ =<С _ш, то такой системы кодирования не существует.

Пропускная способность канала с шумом существенно зависит от действующих на сигналы помех. Рассмотрим двоичный симметричный канал, передающий двоичные буквы 0 и 1 с вероятностью правильной передачи e и искажающий их с вероятностью d =1 - e. Пропускная способность такого канала при передаче одной буквы в секунду определяется ф-лой

График зависимости С _ш от d приведён на рис. 4. Если e = d = 1/2, т. <е. если вероятность правильной передачи буквы равна вероятности её искажения, то пропускная способность канала с шумом С _ш = 0.

Теорема Шеннона для канала с шумом не указывает конкретного способа борьбы с помехами. Простейший способ борьбы с помехами, состоящий в многократном повторении сообщений, неэффективен, т. к. требует больших затрат времени на передачу. Большую эффективность обеспечивает применение кодов, позволяющих обнаруживать и исправлять ошибки передачи. П о м е х оу с т о й ч и в о с т ь кодирования при этом обеспечивается спец, введением избыточности, т, е, введением в сообщение добавочных символов, к-рые используются для обнаружения и исправления ошибок в принятом сообщении. К числу кодов, обнаруживающих и исправляющих ошибки, относятся к о д ы Х э м м и н г а (см. Кодирование информации).

Лит.:1) Шеннон К., Работы по теории информации и кибернетике, пер. с англ., М., 1963; 2} Хартли Р., Передача информации, [пер. с англ.], в сб.: Теория информации и ее приложения, М., 1959; 3) Стратонович Р. Л., Теория информации, М., 1975; 4) Поплавский Р. П., Термодинамика информационных процессов, М., 1981; 5) Николис Д. С., Динамика иерархических систем, пер. с англ., М., 1989. В, И. Капалин.

ТЕОРИЯ ИНФОРМАЦИИ, математическая дисциплина, изучающая законы, которые управляют каналами коммуникации. Главным образом она имеет дело с измерением количества информации, методами ее кодирования, передачи, хранения и обработки. Некоторые понятия теории информации были взяты из психологии для объяснения процессов, связанных с чувственным восприятием и памятью.

信息论

ТЕО́РИЯ ИНФОРМА́ЦИИ

теория, изучающая законы и способы измерения, преобразования, передачи, использования и хранения информации. В Т. и. и ее технич. приложениях центральными являются понятия количества информации и его меры. Эти понятия в известной степени соответствуют интуитивным представлениям о количеств. оценке информации, к-рая естественно связывается с числом возможных вариантов сообщения и со степенью его неожиданности. Т. и. возникла как результат осмысления процессов передачи сообщений, вызванного запросами практики: развитие технич. средств электросвязи требовало количественных критериев для сравнения разнородных способов передачи (телеграф, телефон, телевидение). В 1928 амер. специалист по связи Р. Хартли предложил меру информации, к-рая не зависела от способов передачи и формы сигналов в передающих каналах, а также от содержания и психологич. аспектов передаваемых сообщений. Он воспользовался универсальным свойством процессов связи: каждое сообщение – независимо от его природы, содержания и назначения – выбирается отправителем из заранее известного получателю множества возможных различных сообщений; поэтому на приемном конце важно знать только результат (случайного для получателя) выбора, а неопределенность результата до выбора сообщения при прочих равных условиях зависит от общего числа возможных сообщений – m. Т.о., количество информации может быть измерено мерой неопределенности выбора, к-рая уничтожается после выбора сообщения. Хартли предложил логарифмич. меру неопределенности выбора: H=k·logаm (к – коэффициент пропорцио- нальности), к-рая обладает полезным свойством аддитивности и сводит процесс измерения информации к линейному сравнению с единицей меры, т.к. для двух различных множеств logа(m1·m2)=logam1+logam2=H1+H2. Выбор основания логарифма а обусловливается областью применения меры информации; и т.к. с развитием вычислит. техники и новых средств связи распространение получила двоичная система счисления, то часто принимают k=l, a=2. Наиболее простой выбор – выбор между двумя равными возможностями, дает одну двоичную единицу информации, или бит (сокр. от англ. binary digit); при m=2, log22=1.

Концепция выбора была развита и получила строгое матем. обоснование в трудах амер. ученого К. Э. Шеннона (1948). В его теории все разнообразные случаи передачи информации сводятся к абстрактной схеме: "источник сообщений – передатчик – канал – приемник – получатель", а все качественно разнородные сообщения преобразуются в единую абстрактную матем. форму. Это удается сделать всегда, если принять во внимание принципиально ограниченную разрешающую способность получателя (любой физич. процесс измерения всегда ограничен точностью способов измерения) и те сообщения, к-рые не различаются получателем, рассматривать как одно сообщение. Тогда сообщения любых реальных источников информации, дискретных или непрерывных, можно представить конечным набором чисел или кодовых знаков, выбранных из конечного алфавита. Напр., используя двоичную систему счисления, все сообщения можно представить (или закодировать) последовательностью из нулей и единиц. В этом случае источник в абстрактной модели схемы связи будет иметь алфавит из двух символов, но тем не менее полностью опишет работу реального источника с алфавитом из m символов, а задача измерения информации сведется к определению минимально необходимого для такого кодирования числа нулей и единиц. Это число зависит от меры неопределенности выбора символа из алфавита. Поскольку процесс создания сообщений источником заключается в последовательном и случайном для получателя выборе символов, неопределенность выбора зависит не только от m, но и от вероятностей выбора символов и вероятностных взаимосвязей между ними. Поэтому вычисление меры информации базируется на вероятностных оценках. Если рi -вероятность выбора i-гo символа алфавита si, то hi=- log pi есть количество собственной, или индивидуальной, информации в событии появления символа si. Но hi - величина случайная, т.к. ее значение зависит от осуществления случайного события si. Удобнее пользоваться др. оценкой - количеством информации, приходящейся в среднем на символ алфавита:

т.е. просто матем. ожиданием собств. информации hi. Эта формула усложняется при учете вероятностных связей между символами. Когда состояние неопределенности заменяется состоянием полного знания, т.е. вероятности выборов всех символов, кроме одного, равны нулю, а вероятность выбора этого одиночного символа равна 1, то H=0. Полное отсутствие знаний, напр., когда выбор производится из неизвестного получателю алфавита, также исключает передачу информации. Максимум величины H достигается при равновероятных символах p1=p2=...=pm=1/m, что дает меру Хартли: Hмакс=–log p=log m.

По матем. выражению, мера количества информации совпадает с известной мерой энтропии в статистич. механике, введенной Больцманом. Это дало повод, назвать ее энтропией источника сообщений, или энтропией символов. По своему физич. смыслу энтропия источника сообщений – это минимально необходимое число знаков нек-рого кода (определяемого единицей измерения, т.е. выбором основания логарифма а), к-рое надо затратить в среднем на один символ реального алфавита источника, когда он посредством операции кодирования заменяется своим отображением в абстрактной схеме связи.

Приведенные подходы к оценке информации не являются единственными в своем роде. Р. А. Фишер (см. его "The design of experiments", 5 ed., Edin.–L., 1949) предложил (1921) принять за меру информации, доставляемой результатом одиночного измерения, в физич. эксперименте величину, обратно пропорциональную дисперсии результатов измерения, когда ошибки измерения подчинены нормальному закону. На возможность иных, не специально статистических, подходов к определению информации указал Колмогоров (см. сб. "Проблемы передачи информации", т. 1, вып. 1, М., 1965). Так, напр., существуют задачи, в к-рых по заданному объекту А надо построить связанный с ним объект В. Тогда количество информации в объекте А относительно объекта В можно определить как меру сложности алгоритма преобразования А в В. По существу, эта операция сводится к наиболее экономному нумерованию всех символов алфавита, причем номер каждого символа должен в среднем содержать как минимум H бит, если принят бинарный код. Надо иметь в виду, что численное значение энтропии символов принципиально зависит от свойств получателя различать сообщения и что в реальных системах связи по линиям связи передаются в качестве результатов выбора, конечно, не "кодовые номера", а сами сообщения, преобразованные в физич. сигналы. Такой мерой служит, в частности, минимально необходимое число операций, или "длина" программы, к-рая указывает, как произвести это преобразование. Этот подход получил название а л г о р и т -м и ч е с к о г о.

Топологич. подход к оценке информации, когда количество информации определяется как мера топологич. различия структур, т.е. как мера тех различий, к-рые остаются инвариантными при топологич. преобразованиях, намечен Рашевским.

Дальнейшим развитием этих подходов явились попытки оценить количество семантич. информации.

В семантической Т. и. пытаются преодолеть специфику абстрактных подходов и ввести количеств. оценки содержательности, важности, ценности и полезности информации, т.е. в известном смысле найти количеств. меру семантич. характеристик сообщений (предложений, высказываний). В отличие от матем. Т. и., различные варианты теории семантич. информации пытаются охарактеризовать "меру информации" гл. обр. с помощью средств логич. семантики, а также логики индуктивной и модальной логики. Хотя ни один из предложенных к наст. времени вариантов теории семантич. информации не претендует на сколько-нибудь исчерпывающее решение проблемы нахождения точных оценок семантич. информации, нек-рые из этих подходов уже дали возможность не только развить формальный матем. аппарат (как правило, впрочем, совсем простой; такова, напр., концепция семантич. информации Р. Карнапа и И. Бар-Хиллела, сочетающая чисто семантич. рассмотрения, базирующиеся на анализе языков прикладных предикатов исчислений, с характерными для шенноновской теории алгебро-комбинаторными схемами, предложенная ими в работе "Semantic information", в журн. "Brit. J. Philos. Sсi.", 1953, v. 4, No 14, p. 147–57), но и применить его к различным логич., лингвистич. и психологич. исследованиям. Примером могут служить работы Д. Харро, посвященные формальному описанию процессов коммуникаций с помощью развиваемой им на базе логич. семантики "логики вопросов и ответов", работа сов. логика Е. К. Войшвилло, показавшего возможность объединения в рамках единой теории шенноновской оценки количества информации с семантич. интерпретацией Карнапа и Бар-Хиллела. Ряд идей, относящихся к этой развивающейся проблематике, выдвинут советскими и иностр. учеными, работающими над задачами машинного перевода и др. проблемами лингвистики математической. Многие из этих идей предполагают выход из "чисто семантических" рамок и привлечение более общих представлений семиотики и особенно прагматики. Так, если допустить, что информация собирается для достижения нек-рой цели, то ее ценность естественно считать зависящей от того, насколько она способствует достижению этой цели. Отсюда мера ценности может быть выражена через приращение вероятности достижения цели. Продолжая развивать этот прагматич. аспект Т. и., сов. математик Е. С. Вентцель указывает след. путь оценки полезности информации: когда эффективность к.-л. мероприятий можно оценить численно, приращение эффективности (т.е. разность между эффективностью проведения мероприятий до и после получения информации об условиях, в к-рых они будут проходить) характеризует важность и ценность полученного сообщения. М. М. Бонгард (см. его "Проблема узнавания", М., 1967) связывает меру полезности сообщения с задачей, к-рую решает получатель, с запасом его знаний до прихода сообщения и способом истолкования сообщения. Если наблюдатель получает извне нек-рое сообщение, изменяющее исходную неопределенность задачи Н0 на Н 1, то полезная информация, заключенная в сообщении, есть разность неопределенностей Iполезн=Н0 - Н 1. Под неопределенностью задачи понимается выражение

где р(х) есть истинное распределение вероятностей результатов опыта, a q(x) - гипотетич. распределение результатов опыта, из к-рого исходит в своей деятельности наблюдатель. Заметим, что аналогичное выражение было использовано нем. психофизиком Г. Франком (1953) для меры субъективной информации, получаемой человеком при наступлении события si, где qi, играли роль "субъективных вероятностей" - величин, отражающих представления наблюдателя о численной возможности наступления события. За нулевой уровень можно принять qi =1/n (i=1, 2,..., n). В этом случае количество полезной информации, содержащейся в гипотезе о том, что распределение вероятностей результатов опыта есть q(x) относительно задачи с распределением вероятностей р(х), есть Jn=H(q)–H (q/p) = log n –H (q/p).

Новый подход к оценке семантич. информации разрабатывается сов. математиком Ю. А. Шрейдером (см. сб. "Проблемы кибернетики", вып. 13, М., 1965). Абстрактная модель системы связи в матем. Т. и. строится в предположении, что получателю известен алфавит источника сообщений. В более общей формулировке это требование означает, что для понимания и последующего использования сообщений получатель должен обладать определ. запасом знаний. Знания получателя в ряде случаев, напр. при анализе информац. содержания в науч. статьях, можно представить в виде списка названий объектов и названий их свойств – слов, в к-ром также указаны смысловые связи между словами. Такой словарь или справочник с заданными связями представляет собой обобщение понятия т е з а у р у с а. Под влиянием сообщений, если существует алгоритм для их анализа, тезаурус будет пополняться новыми словами, в него будут добавляться новые связи и изменяться старые. При этих условиях количество семантич. информации, содержащейся в тексте сообщения, естественно измерить степенью изменения тезауруса под влиянием сообщения. Она может быть измерена, напр., числом новых слов и связей, числом отброшенных слов и связей и пр. Данный подход существенно отличается от концепции выбора, где предполагалось, что получаемая информация тем больше, чем меньше априорных сведений имеется об источнике информации. Напротив, мера семантич. информации растет, если один и тот же текст проектировать на все более сложные тезаурусы, т.к. в более сложных тезаурусах, вообще говоря, больше возможностей для изменения. Это хорошо согласуется с интуитивным представлением о содержат. стороне процесса обмена информацией: полное незнание предмета не позволяет извлечь существенное смысловое содержание из поступающей о нем информации. Но по мере роста наших знаний растет и извлекаемая информация. После достижения нек-рого максимума семантич. информация в поступающих к нам данных перестает расти и падает до весьма малой величины до тех пор, пока не поступят сведения, обладающие существ. новизной. Поэтому, в частности, элемент новизны в открытиях и изобретениях в любой области знаний оценивается в рамках этого подхода по степени их влияния на сложившиеся представления.

Общим свойством рассмотренных мер информации является то, что они вводятся при наложении на реальную ситуацию обмена информацией строго очерченной системы абстракций. Как отметил Колмогоров, едва ли удастся такое сложное и многообразное понятие, как информация, охарактеризовать во всех случаях с помощью одной числовой величины; поэтому любой подход к количеств. оценке информации представляет собой, по существу, ту или иную форму экспликации (или ограничения) общего понятия.

Правомерно, однако, анализируя сущность информации как филос. категории, поставить вопрос и о наиболее общем значении и содержании этого понятия. Сов. авторы и ряд зарубежных философов-марксистов связывают категорию "информация" с объективными условиями проявления закона отражения. В этом плане информация выступает как свойство материальных объектов и процессов порождать, передавать и сохранять многообразие состояний, к-рое посредством той или иной формы отражения может быть передано от одного объекта к другому и запечатлено в его структуре. Отсюда количество информации в зависимости от уровня процесса отражения связывается с мерами упорядоченности, организованности, структурности, сложности материальных объектов, процессов и систем в их взаимодействии между собой. Вне процессов взаимодействия количеств. оценка этого свойства невозможна, поскольку многообразие состояний любого материального объекта, рассматриваемого как отдельно взятый источник информации, принципиально неограниченно (особенно если иметь в виду переход от макросостояний к микроструктуре). Конечно, на совр. этапе развития наших представлений о свойствах микромира предел различимости микросостояний объекта или физич. переносчика сообщений устанавливается принципом неопределенности (см. Неопределенностей соотношение). Поэтому существует теоретич. возможность "абсолютной" (не зависящей от свойств "получателя") оценки макс. разнообразия, или информационной емкости. Эта величина по аналогии с физич. представлениями может быть названа "потенциальной информацией", но численная мера количества потенциальной информации, по сути дела, остается величиной относительной, определяющей своего рода предельные условия взаимодействия материальных объектов.

Определяя роль и место информации в системе диалектико-материалистич. взглядов, надо иметь в виду, что информац. процессы материальны постольку, поскольку всегда воплощены в том или ином материальном процессе взаимодействия, даже если это обмен идеями между людьми. Но статистич. теория передачи сообщений изучает особые формы взаимодействия. Особенностью их является, во-первых, то, что хотя они и зависят от энергетич. стороны взаимодействия, но не определяются ею, т.к. информация не зависит от типа материального носителя; и, во-вторых, что осн. количеств. мера взаимодействия – энтропия источника сообщений – употребляется в том же смысле, в каком Маркс употреблял термин "мера стоимости" для обозначения одной из функций денег. В этой функции деньги, в отличие от их чувственно воспринимаемой вещественной формы, существуют лишь в идеальной форме, иначе говоря, существуют лишь в представлении (см. К. Маркс и Ф. Энгельс, Соч., 2 изд., т. 23, с. 105–06). Точно так же выражение количества информации в битах в абстрактной схеме связи носит идеальный характер, т.е. осуществляется лишь в нашем представлении, и для этой цели применяются лишь мысленно рассматриваемые двоичные (или любые другие по произвольному выбору основания логарифма) единицы информации. В реальных сообщениях, данных, известиях никаких "бит", естественно, не содержится. Выражение "передано 10 бит информации" означает только, что процесс передачи данного сообщения, к-рое может иметь сколь угодно сложную форму и быть телевизионным изображением, метеосводкой или сигналом в нервной сети, эквивалентен в технике связи передаче десяти чередующихся в определ. порядке пауз и токовых посылок. Такова, в сущности, особенность способа измерения, вытекающая из принимаемых при построении абстрактной схемы связи допущений, особенность меры, а не особенность самой природы информации. Именно неправильное отождествление способа измерения с самой измеряемой величиной и породило представление об информации как о нематериальном объекте. Но в технич. приложениях Т. и. речь всегда идет лишь о количестве информации в абстрактной схеме связи, а не об информации в ее наиболее общем смысле. Поэтому можно говорить лишь об опасности некорректного перенесения этого понятия на др. аспекты информации и, в частности, о неадекватном использовании его в методологич. работах.

Развитие Т. и. стимулируется взаимным обменом идеями и методами с др. науч. дисциплинами, напр. при решении "информационных" проблем биологии и физиологии, психологии, эстетики, языкознания, физики. Так, физич. Т. и. изучает проблему соотношения информации и энергии. На первый взгляд энергетич. процессы в осн. построениях Т. и. не играют роли. Действительно, на оценке и содержательности информации не сказываются ни тип переносчика, ни физич. способ передачи. Но зависимость информации от энергии все же существует: создание информации, ее переработка и хранение невозможны без затраты энергии. В обычных условиях затраты энергии на получение одного бита информации пренебрежимо малы (в идеальном случае при очень широкой полосе частот на передачу одного бита надо затратить не менее 0,7 kТ джоулей, здесь k – постоянная Больцмана, равная 1,37·10^-23 дж/град, Τ – температура по шкале Кельвина). Но положение дел меняется, когда, напр., для получения информации приходится производить точные измерения на очень малых расстояниях. Бриллюэн приводит убедительный пример: если длину отрезка требуется измерить с точностью до 10^-50 мм, то энергии всего лишь одного кванта волны, служащего в этом случае эталоном длины, хватило бы на разрушение всей нашей планеты. Общей формулировки ограничений, накладываемых на процессы передачи сообщений квантовыми эффектами, в настоящее время не имеется, хотя изучение квантовомеханич. каналов связи, где в качестве приемо-передающих устройств используются лазеры и мазеры, – это важнейшее направление физич. Т. и., возникшее из запросов космич. связи. Др. направление физич. Т. и. – это проблема истолкования матем. тождественности выражений для энтропии в физике и для энтропии в теории сообщений (см. Энтропия).

В экспериментальной психологии мера информации, содержащейся в предъявляемых испытуемым стимулах, позволяет отвлечься от качеств. разнообразия стимулов и ввести формальные модели процессов восприятия информации человеком и процессов памяти, допускающие применение матем. аппарата Т. и. Это стало возможным после того, как Хиком было установлено, что время реакций выбора Τp и энтропия стимулов Η связаны между собой простой линейной зависимостью: Τ0= Τ0+bΗ, где Τ0 – время простой реакции, когда m=1 и выбор отсутствует, а b – величина, обратно пропорциональная макс. скорости переработки информации человеком в данных условиях эксперимента. Затем последовало большое число работ, в к-рых исследовались особенности переработки информации человеком и условия применимости формулы Хика. Результаты этих исследований зачастую противоречат друг другу, и здесь все еще остается немало спорных моментов, в частности о соотношении статистич. и семантич. аспектов информации в реальной деятельности человека. Все же возможность введения математически описываемых моделей сенсомоторных процессов, когда человека-оператора рассматривают как канал связи, включенный между двумя технич. блоками системы управления, приобретает огромное практич. значение в инженерной психологии, где без количеств. оценки всех сторон деятельности человека нельзя получить критерии эффективности и надежности сложных автоматизиров. систем управления.

В биологии, по мнению амер. биолога М. Бразье (см. сб. "Концепция информации и биологические системы", пер. с англ., М., 1966), Т. и. пока не привела к открытию новых значит. фактов, в основном потому, что для сложных биологич. систем определение количества информации настолько трудно, что большинство биологов не пользуется Т. и. в ее количеств. аспекте. С др. стороны, методологич. основания Т. и. – упор на информационные и структурные, а не на энергетич. связи, использование вероятностных, а не детерминистских подходов, включение шумов в структуру как неотъемлемого фактора процесса переработки информации – принесли в биологию новые идеи и способствовали развитию новых направлений, в частности развитию метода моделирования важнейших биологич. и физиологич. процессов. Непосредств. применение информац. анализа к генетич. коду хромосом тоже дало интересные результаты и позволило установить предел многообразия биологич. структур, к-рое может быть передано наследств. путем.

В лингвистике количеств. методы Т. и. способствовали появлению интересных идей. Наиболее известны работы Колмогорова (1962) в области теории языка и стихосложения, наметившие пути дальнейшего развития самой Т. и. Так, им были введены понятия информационной емкости языка – h1, т.е. общего числа различных идей, к-рые могут быть изложены в данном языковом сообщении, и гибкости языка – h2, измеренной числом равноценных способов изложения одного и того же содержания средствами данного языка. Эти величины рассматриваются как составляющие общей энтропии языка: H= h1+ h2. Необходимым условием создания поэтич. формы в языке является выполнение неравенства h2>β, где β – коэффициент, определяемый системой фиксиров. ограничений, налагаемых стихотворной формой на текст данного языка. Все эти величины измеряются статистическими или даже комбинаторными способами, и с их помощью можно производить анализ стихотворных произведений, напр. с целью установления авторства. Вообще же попытки применения Т. и. в искусстве к анализу различных форм эстетич. восприятия пока не привели к практически ценным результатам. Здесь понятие информации используется порой как синоним сложности структур, предлагаемых для восприятия, и связывается с непредсказуемостью произведения или же с его оригинальностью. Однако действит. способ количеств. оценки этой величины пока найти не удалось.

Лит.: Шеннон К., Работы по теории информации и кибернетики, пер. с англ., М., 1963; Клаус Г., Кибернетика и философия, пер. с нем., М., 1963; Земан И., Познание и информация, пер. с чеш., М., 1966; Моль Α., Теория информации и эстетическое восприятие, пер. с франц., М., 1966; Войшвилло Е. К., Попытка семантической интерпретации статистических понятий информации и энтропии, в сб.: Кибернетику на службу коммунизму, т. 3, М.–Л., 1966; Пирс Дж., Символы, сигналы, шумы, [пер. с англ.], М., 1967; Уpсул А. Д., Природа информации, М., 1968; Сhеrrу С., On human communication, 2 ed., Camb.–L., [1966].

Л. Фаткин. Москва.

раздел кибернетики, рассматривающий общие закономерности передачи информации.

information theory

* * *

information theory

teoria dell'informazione

- в узком смысле - математич. теория передачи сообщений в системах связи (телефон, телеграф и т. п.), возникшая на базе основополагающих трудов К. Шеннона (США). Основана на следующих представлениях: сообщения (точнее, их коды) поступают из источника сообщений через канал связи (с возможными помехами) в приемник информации. Эти сообщения изменяют систему знаний (тезаурус) приемника, уменьшая уровень его разнообразия, неопределенности, измеряемый энтропией. Энтропия системы сообщений определяется их вероятностями как среднее значение логарифмов величин, обратных этим вероятностям. Среднее количество информации (по Шеннону) определяется уменьшением энтропии приемника в рез-те изменения его представлений о распределении вероятностей состояний источника. При таком определении общее количество информации, содержащееся в отдельных, не связанных друг с другом сообщениях, получается суммированием количеств информации этих сообщений. Единица измерения информации задается средним количеством информации, содержащимся в сообщениях о том, какое из двух равновероятных состояний реализовалось на самом деле, и наз. "бит" (начало и конец английского binary digit - двоичный разряд). С использованием этого понятийного аппарата удается решать ряд задач теории передачи сообщений (расчет пропускной способности каналов связи, создание эффективных систем кодирования и т. п.) не только для технич., но и биологич. приложений (психофизика, распространение биоинформации и т. п.). Теоретически установлена тесная связь количества информации с физич. энтропией (мерой неопределенности распределения молекул в идеальных физич. системах), возрастающей в ходе термодинамич. процессов. Имеются попытки усовершенствовать теоретико-информационные построения, включив в них такое понятие, как, напр., ценность информации с т. зр. той или иной цели. Хотя расширительное толкование информации как субстрата процессов управления в сложных системах не вкладывается в теоретико-информационные представления, они тем не менее широко используются в кибернетич. анализе любых систем и процессов, в к-рых в к.-л. мере применимы понятия "разнообразие", "неопределенность", "передача и восприятие информации" и др. Напр., в терминах Т.и. получено достаточно продуктивное уточнение известного неформального принципа кибернетики о том, что разнообразие системы управления должно быть не ниже разнообразия управляемого объекта. В социологии понятия количества информации и энтропии используются прежде всего в связи с проблемами обработки эмпирич. многомерной информации (статистич., анкетной и т. п.) для оценки информативности признаков и их совокупностей. Имеется также ряд попыток "термодинамического" моделирования массового поведения на основе представления о том, что массовое поведение в слабоструктурированной системе в равновесии максимизирует энтропию этой системы. Следует указать прежде всего на исследования коммуникационных процессов типа распределения пассажиропотоков населения большого города, а также гиперболических распределений (городов по численности населения, населения страны по доходам, ученых по числу публикаций и т. п.), характерных для замкнутых соц. систем. Эти идеи используются также для моделирования поведения населения в потреблении материальных и культурных благ. Лит.: Шеннон К. Работы по теории информации и кибернетике. М., 1964; Гаврилец Ю.Н. Социально-экономическое планирование. М., 1974; Вильсон А.Дж. Энтропийные методы моделирования сложных систем. М., 1978; Петров В.М., Яблонский А.И. Математика и: социальные процессы. М, 1980. Б.Г. Миркин.