Image Processing

Хо­чу не­мно­го по­рас­суж­дать о важ­но­сти слов и их ча­стот­ном рас­пре­де­ле­нии. Со­глас­но тео­рии ин­фор­ма­ции, чем боль­ше ма­те­ма­ти­че­ское ожи­да­ние по­яв­ле­ния сло­ва, тем мень­шую ин­фор­ма­цию оно не­сёт, бу­дучи встре­чен­ным. И на­обо­рот, са­мые ред­кие сло­ва ока­зы­ва­ют­ся са­мы­ми важ­ны­ми (раз уж их упо­тре­би­ли). Рас­смот­рим ти­пич­ный диа­лог двух рус­ских лю­дей за бу­тыл­кой вод­ки:

— А что вы ска­же­те, ува­жае­мый, по по­во­ду из­лу­че­ния Кра­бо­вид­ной ту­ман­но­сти?
— Я ду­маю, что, ве­ро­ят­но, это син­хро­трон­ное из­лу­че­ние, вы­зван­ное мощ­ным по­то­ком ча­стиц, ис­пус­кае­мых пуль­са­ром в цен­тре Ту­ман­но­сти.

Мож­но ви­деть, что ос­нов­ной смысл со­став­ля­ют ред­кие сло­ва и вы­ра­же­ния (Кра­бо­вид­ная ту­ман­ность, син­хро­трон­ное из­лу­че­ние, пуль­сар), а ча­стые сло­ва мож­но без­бо­лез­нен­но про­пу­стить. Но ча­сти­ца «не» не та­кая! Она, яв­ля­ясь тре­тьим по ча­сто­те упо­треб­ле­ния сло­вом рус­ско­го язы­ка, не­сёт важ­ней­шую ин­фор­ма­цию, так как мо­жет из­ме­нить смысл сле­дую­ще­го за ней (воз­мож­но, ред­ко­го) сло­ва или вы­ра­же­ния на про­ти­во­по­лож­ный. Лег­ко пред­ста­вить се­бе оче­ред­ную ре­пли­ку при­ве­дён­но­го вы­ше диа­ло­га. Пер­вый со­бе­сед­ник до­пи­ва­ет свой ста­кан вод­ки, гром­ко сту­ка­ет им по сто­лу, и вскри­ки­ва­ет:

— Это не син­хро­трон­ное из­лу­че­ние! И я мо­гу это до­ка­зать!

Как же столь ча­стое сло­во мо­жет не­сти так мно­го ин­фор­ма­ции?