Image Processing

В свя­зи с не­со­вер­шен­ством фо­то­тех­ни­ки су­ще­ству­ет про­бле­ма шу­ма, ухуд­шаю­ще­го ка­че­ство изоб­ра­же­ний. Шум — это слу­чай­ные не­пред­ска­зуе­мые ло­каль­ные от­кло­не­ния изоб­ра­же­ния, вно­си­мые фо­то­ап­па­ра­том и/или фо­то­ма­те­ри­а­лом.

Для даль­ней­ших рас­суж­де­ний бу­дет по­лез­ным по­ня­тие «ори­ги­наль­но­го изоб­ра­же­ния». Ори­ги­наль­ным изоб­ра­же­ни­ем бу­дем на­зы­вать ис­ход­ное «не­за­шум­лён­ное изоб­ра­же­ние», не под­верг­шее­ся воз­дей­ствию шу­ма. Это за­ча­стую чи­сто тео­ре­ти­че­ская кон­ст­рук­ция, ведь оно мо­жет не су­ще­ство­вать ни на ка­ком эта­пе фор­ми­ро­ва­ния изоб­ра­же­ния.

Важ­ны­ми свой­ства­ми шу­ма яв­ля­ют­ся его ло­каль­ность и слу­чай­ность:

1. Ло­каль­ность озна­ча­ет, что шум вно­сит ис­ка­же­ния лишь ло­каль­но, не из­ме­няя изоб­ра­же­ние «в об­щем».

   Бо­лее фор­маль­но: су­ще­ству­ет чис­ло , при ко­то­ром ко­эф­фи­ци­ент кор­ре­ля­ции меж­ду зна­че­ни­я­ми шу­ма в точ­ках (пик­се­лах) и все­гда по мо­ду­лю мень­ше, чем , где r — рас­стоя­ние меж­ду и (в этом слу­чае ма­те­ма­ти­ки го­во­рят, что функ­ция кор­ре­ля­ции име­ет лёг­кий хвост).

2. Слу­чай­ность озна­ча­ет, что мы не мо­жем пред­ска­зать шум; его рас­по­ло­же­ние на изоб­ра­же­нии не за­ви­сит от са­мо­го изоб­ра­же­ния.

   Бо­лее фор­маль­но: зна­че­ние шу­ма в каж­дой точ­ке (пик­се­ле) изоб­ра­же­ния не кор­ре­ли­ро­ва­но со зна­че­ни­ем цве­та в этой точ­ке и не за­ви­сит от ме­ста рас­по­ло­же­ния точ­ки.

Да­же ес­ли счи­тать, что ис­ход­ный шум мат­ри­цы циф­ро­во­го фо­то­ап­па­ра­та име­ет ну­ле­вое ма­те­ма­ти­че­ское ожи­да­ние, то в ре­зуль­та­те не­ли­ней­ных пре­об­ра­зо­ва­ний цве́та, вы­пол­няе­мых в фо­то­ап­па­ра­те, это ма­те­ма­ти­че­ское ожи­да­ние пе­ре­ста­ёт быть ну­ле­вым. Из свойств шу­ма, опи­сан­ных вы­ше, по­лу­ча­ет­ся, что ес­ли к за­шум­лён­но­му изоб­ра­же­нию A при­ме­нить не­ли­ней­ное пре­об­ра­зо­ва­ние, и в ре­зуль­та­те по­лу­чить изоб­ра­же­ние B, то шум раз­де­лит­ся на две со­став­ляю­щие: ту, ко­то­рая всё ещё под­чи­ня­ет­ся свой­ствам 1 и 2, и не­слу­чай­ную со­став­ля­ю­щую, ко­то­рая этим свой­ствам не удо­вле­тво­ря­ет. По­это­му, го­во­ря о шу­ме и ори­ги­наль­ном изоб­ра­же­нии, нуж­но ука­зы­вать, в ка­ком цве­то­вом про­стран­стве эти по­ня­тия рас­смат­ри­ва­ют­ся (цве­то­вые пре­об­ра­зо­ва­ния мож­но трак­то­вать, как сме­ну цве­то­во­го про­стран­ства).

Имея фор­маль­ное опре­де­ле­ние шу­ма (как ис­ка­же­ния, об­ла­даю­ще­го свой­ства­ми 1 и 2), мы те­перь мо­жем с уве­рен­но­стью ска­зать, что, на­при­мер, хро­ма­ти­че­ские абер­ра­ции не яв­ля­ют­ся шу­мом, так как не удо­вле­тво­ря­ют свой­ству 2. По­греш­ность сра­ба­ты­ва­ния за­тво­ра (из-за ко­то­рой от­дель­ные фо­то­гра­фии мо­гут по­лу­чить­ся слег­ка тем­нее или свет­лее) так­же не яв­ля­ет­ся шу­мом, так как вно­сит не­ло­каль­ные ис­ка­же­ния (не удо­вле­тво­ря­ет свой­ству 1).

Из свойств 1 и 2 сра­зу же сле­ду­ют два ме­то­да борь­бы с шу­мом:

1. Из пер­во­го свой­ства: умень­шить изоб­ра­же­ние. Умень­шен­ное за­шум­лён­ное изоб­ра­же­ние бу­дет при­бли­жать­ся к умень­шен­но­му ори­ги­наль­но­му изоб­ра­же­нию по ме­ре умень­ше­ния изоб­ра­же­ния. К та­ко­му же эф­фек­ту при­ве­дёт при­ме­не­ние к изоб­ра­же­нию раз­мы­тия по Гаус­су (или свёрт­ки с би­но­ми­аль­ным яд­ром в слу­чае изоб­ра­же­ния с квад­рат­ны­ми пик­се­ла­ми): раз­мы­тое за­шум­лён­ное изоб­ра­же­ние бу­дет при­бли­жать­ся к раз­мы­то­му ори­ги­наль­но­му по ме­ре уве­ли­че­ния ра­ди­у­са филь­тра.
2. Из вто­ро­го свой­ства: сфо­то­гра­фи­ро­вать не­сколь­ко изоб­ра­же­ний и взять их сред­нее ариф­ме­ти­че­ское. Это сред­нее ариф­ме­ти­че­ское бу­дет при­бли­жать­ся к ори­ги­наль­но­му изоб­ра­же­нию по ме­ре уве­ли­че­ния чис­ла усред­няе­мых сним­ков.

Эти спо­со­бы очень хо­ро­шо ра­бо­та­ют, но за­ча­стую не­удоб­ны на прак­ти­ке, по­это­му поль­зу­ют­ся по­пу­ляр­но­стью дру­гие го­раз­до бо­лее слож­ные под­хо­ды, ко­то­рые я не бу­ду за­тра­ги­вать в дан­ной ста­тье.

Шум мож­но пред­ста­вить в ви­де сум­мы двух ком­по­нент:

1. Яр­ко­ст­ный шум. Ис­ка­жа­ет яр­кость изоб­ра­же­ния, не ме­няя его цвет.
2. Хро­ма­ти­че­ский (цвет­ной) шум. Ис­ка­жа­ет цвет изоб­ра­же­ния, не ме­няя его яр­кость.

Опять же, эти по­ня­тия за­ви­сят от рас­смат­ри­ва­е­мо­го цве­то­во­го про­стран­ства. Что́ счи­тать яр­ко­стью, а что — цве­том — во­прос, тре­бую­щий от­дель­но­го рас­смот­ре­ния.

При­чи­ны воз­ник­но­ве­ния шу­ма

Ос­нов­ным ис­точ­ни­ком шу­ма на плё­ноч­ной фо­то­гра­фии яв­ля­ет­ся зер­ни­стость плён­ки (не­од­но­род­ность её свойств). Обыч­но зёр­на вно­сят по­греш­ность сра­зу в не­сколь­ко све­то­чув­стви­тель­ных сло­ёв, из-за че­го из­ме­не­ния раз­ных цве­то­вых ка­на­лов по­лу­ча­ют­ся вза­и­мо­свя­зан­ны­ми. По­это­му плё­ноч­ный шум в боль­шей сте­пе­ни со­сто­ит из яр­кост­но­го шу­ма, а не из хро­ма­ти­че­ско­го. Осо­бый слу­чай — чёр­но-бе­лая фо­то­гра­фия. В ней хро­ма­ти­че­ский шум от­сут­ству­ет во­все.

Со­всем дру­гое де­ло — циф­ро­вые фо­то­ап­па­ра­ты. У них ис­точ­ни­ков шу­ма го­раз­до боль­ше:

• Раз­ные свой­ства фо­то­эле­мен­тов мат­ри­цы. Стро­го го­во­ря, не со­всем и не все­гда шум: ведь из­ме­не­ния свойств мо­гут быть вы­зва­ны про­стран­ствен­но-свя­зан­ны­ми яв­ле­ни­я­ми, на­при­мер, раз­ной тем­пе­ра­ту­рой участ­ков сен­со­ра. Кро­ме то­го, эти свой­ства обыч­но со­хра­ня­ют­ся от кад­ра к кад­ру, что при­во­дит к на­ру­ше­нию вто­ро­го свой­ства шу­ма. Од­на­ко, имея од­но изоб­ра­же­ние, мы мо­жем трак­то­вать та­кие ис­ка­же­ния, как слу­чай­ные.
• Шум, вы­зван­ный ком­му­та­ци­ей фо­то­эле­мен­та и ана­ло­го-циф­ро­во­го пре­об­ра­зо­ва­те­ля (АЦП): за­ви­сит от по­ряд­ка счи­ты­ва­ния пик­се­лов и яр­ко­сти со­сед­них пик­се­лов. На­ру­ша­ет­ся пер­вое свой­ство шу­ма, од­на­ко в не­ко­то­ром при­бли­же­нии мож­но счи­тать та­кие по­греш­но­сти слу­чай­ны­ми.
• Элек­трон­ный шум в про­вод­ни­ках и по­лу­про­вод­ни­ко­вых эле­мен­тах, со­еди­няю­щих фо­то­эле­мент с АЦП. Наи­бо­лее зна­чи­тель­ная со­став­ляю­щая шу­ма, наи­бо­лее точ­но под­чи­няю­щая­ся обо­им свой­ствам.
• По­греш­ность ра­бо­ты АЦП. Мож­но све­сти к сум­ме двух преды­ду­щих ис­точ­ни­ков.

У циф­ро­вых фо­то­ап­па­ра­тов на све­то­чув­стви­тель­ной мат­ри­це обыч­но ис­поль­зу­ют­ся фо­то­эле­мен­ты трёх ти­пов, ко­то­рые чув­стви­тель­ны к све­ту раз­но­го цве­та (раз­ной дли­ны вол­ны). Ча­ще все­го фо­то­гра­фия об­ра­ба­ты­ва­ет­ся встро­ен­ны­ми ал­го­рит­ма­ми фо­то­ап­па­ра­та и со­хра­ня­ет­ся в гра­фи­че­ском фор­мат JPEG. Ал­го­рит­мы фо­то­ап­па­ра­та до­ста­точ­но про­сты, т. к. тре­бу­ет­ся вы­со­кая ско­рость об­ра­бот­ки сним­ков и низ­кое энер­го­по­треб­ле­ние. В ре­зуль­та­те шум каж­до­го цве­то­во­го ка­на­ла (крас­но­го, зе­лё­но­го и си­не­го) по­лу­ча­ет­ся по­чти не­за­ви­си­мым, что при­во­дит к вы­со­ко­му уров­ню цвет­но­го шу­ма, так не­при­ят­но­го для гла­за.

Ре­же оциф­ро­ван­ная ин­фор­ма­ция не под­вер­га­ет­ся об­ра­бот­ке, а со­хра­ня­ет­ся в спе­ци­аль­ном фор­ма­те (RAW-файл), ко­то­рый мо­жет быть впо­след­ствии об­ра­бо­тан бо­лее со­вер­шен­ны­ми ал­го­рит­ма­ми на бо­лее мощ­ном обо­ру­до­ва­нии. При­чём фо­то­граф име­ет воз­мож­ность из­ме­нить раз­лич­ные па­ра­мет­ры об­ра­бот­ки, до­би­ва­ясь же­ла­е­мо­го ре­зуль­та­та. Та­кой под­ход обыч­но обес­пе­чи­ва­ет мень­ший уро­вень шу­ма.