В первой части статьи мы подробно рассмотрели базовые понятия о том, что такое матрица, каким образом она формирует изображение. В частности, было рассказано о популярных технологиях Quad Bayer и Tetracell, которые используются на современных смартфонах в матрицах с высоким разрешением (от 48 мегапикселей).
В этой части мы затронем еще несколько интересных технологий, связанных с процессом фокусировки и получения изображения. Понимание этих вещей не только удовлетворит праздное любопытство, но и принесет практический смысл, позволяя вам более осознанно подходить к выбору смартфона с хорошей камерой даже в средне-бюджетном ценовом сегменте.
Перед тем, как приступить к основной теме, хочу предупредить, что многое, о чем будет говорится ниже я привожу лишь в качестве иллюстрации. Принцип работы некоторых систем я буду сильно упрощать, чтобы статья была понятной и доступной широкому кругу читателей.
Как смартфоны научились фокусироваться и делать изображение резким
Вы задумывались над тем, как смартфон понимает, какую часть изображения необходимо сделать резкой и как именно он это делает?
Аналогия с нашими глазами здесь не совсем уместна, так как глаза делают резким то изображение, которое мы хотим разглядеть. В отличие от смартфона мы отлично распознаем то, что видим, фокусируясь на желаемом предмете. А вот для смартфона наша фотография — это бессмысленный набор цветных точек. И камера не понимает, на чём ей следовало фокусироваться, чтобы не испортить очередной кадр.
Конечно, существует такое понятие, как семантическая сегментация. Но несмотря на активное развитие машинного обучения и нейронных сетей, современные смартфоны еще не научились определять предметы на фото так же хорошо, как это делают люди, чтобы использовать для фокусировки искусственный интеллект.
Четкая или размытая фотография?
Для того, чтобы фотография получилась четкой, необходимо соблюсти всего одно условие — лучи света, отраженные от снимаемого объекта, должны пересекаться в точке на матрице.
Чтобы лучше это понять, вспомним, как вообще свет попадает на матрицу и формирует там изображение. Представим, что мы хотим сфотографировать цветок. Внутри камеры смартфона вначале располагается объектив с линзами, а затем матрица:
Лучи света, отраженные от каждой точки этого цветка, попадают на матрицу смартфона, проходя через линзы объектива. И когда лучи света проходят через объектив, они преломляются, пересекаясь в одной точке. В этой точке изображение и будет максимально резким и четким.
К примеру, вот как свет, отраженный от красного лепестка, оказался на матрице смартфона:
Не обращайте внимание на то, что картинка на матрице получилась перевернутой. Ведь текст, который вы сейчас читаете (как и весь окружающий мир), вы точно также видите перевернутыми. Просто мозг скрывает это от вас, «на лету» переворачивая обратно сформированное на сетчатке глаза изображение.
Хрусталики наших глаз напоминают по форме линзу, выпуклую с двух сторон — как та, что используется в объективе камеры смартфона и показана на наших картинках. А когда через такую линзу проходят лучи света, они, как уже было сказано, преломляются под определенными углами, из-за чего изображение получается перевернутым. Эти углы подчиняются определенным правилам (законам физики). Они очень просты для понимания, но в рамках этой статьи мы не будем их рассматривать, чтобы сэкономить время.
Ровно таким же образом на матрице формируются и другие части нашего цветка, например, зеленый стебель:
В рассмотренном примере цветок на матрице получился четким, то есть, в фокусе. Но если бы наш цветок находился чуть дальше, лучи проходили бы через линзу немножко под другим углом, соответственно, угол преломления также слегка бы отличался и пересекались бы эти лучи еще до попадания на матрицу. А на матрицу вместо одной точки падало бы множество лучей, накладываясь друг на друга с небольшим смещением, что делало бы общую картинку размытой (не в фокусе):
В реальной жизни, когда объект отдаляется от нашего глаза, мозг просто слегка изменяет форму хрусталика, растягивая его или, наоборот, сжимая. Из-за этого меняется угол преломления лучей, которые в итоге пересекаются в одной точке прямо на сетчатке. А те объекты, что находятся ближе или дальше, оказываются размытыми, так как лучи света, отраженные от них, пересекаются еще до сетчатки или в условной точке за нею.
Но смартфон не может изменять форму линзы, растягивая ее, как хрусталик, ведь она сделана из стекла. Вместо этого смартфон перемещает линзу внутри объектива вперед или назад таким образом, чтобы лучи снова пересеклись в одной точке — на матрице. Проблема со смартфоном заключается лишь в том, как определить, в какую сторону двигать эти линзы и как понять, что нужный объект уже в фокусе.
Контрастный автофокус (CDAF). Или определяем резкость «на глаз»
Еще недавно смартфоны вообще не умели фокусироваться. К примеру, первые два поколения iPhone не имели системы автофокусировки. Она появилась лишь в 2009 году с выпуском iPhone 3GS.
Сегодня все бюджетные и многие средне-бюджетные смартфоны используют самый старый, простой и надежный метод фокусировки под названием контрастный автофокус.
Суть его работы очень проста. Вы выбираете пальцем на экране смартфона нужную область фокусировки или смартфон самостоятельно выбирает центральную часть кадра, после чего камера пытается сделать так, чтобы объект в этой части кадра был в фокусе.
Но делает он это не так как люди. Мы понимаем, что цветок находится в фокусе, когда отчетливо видим его очертание, смартфон же просто оценивает гистограмму изображения (график распределения яркости). Ведь, как уже было сказано ранее, для смартфона все предметы — это просто пятна различной яркости.
Лучше всего это понять на следующем примере. Ниже вы можете увидеть изображение одного и того же цветка с разной степенью резкости, а под каждым цветком — его гистограмму (график распределения яркости), с которой и работает смартфон:
По горизонтали на маленьких гистограммах представлены уровни яркости изображения — от ее полного отсутствия слева (черный цвет) до самого яркого участка справа (белый цвет). А по вертикали отображается количество пикселей в кадре соответствующей яркости.
А теперь обратите внимание на закономерность — чем более размыта картинка, тем меньше здесь контрастных четких контуров темного цвета. На самом размытом цветке (первый слева) вообще отсутствуют черные/темные цвета, то есть, контуров нет вообще и график очень сильно смещен вправо.
Что же делает смартфон? Он берет небольшой участок изображения (на котором мы хотим сфокусироваться или же центральную часть кадра) и оценивает его гистограмму. Затем смартфон начинает передвигать лизну внутри объектива вперед и анализирует, как меняется распределение яркости. Если контраст падает (то есть, разброс по яркости уменьшается), смартфон начинает передвигать линзу в обратную сторону, пока не найдет самый высокий контраст. А в конце, чтобы наверняка не промахнуться, передвигает линзу еще немножко дальше. Если контраст снова начинает падать — возвращается обратно в ту позицию, где контраст был максимальным.
Что не так с контрастным автофокусом и почему он используется только на дешевых смартфонах?
Я думаю, вы уже догадались по описанию работы контрастного автофокуса, что с ним не так. Смартфон понятия не имеет, четкая ли сейчас картинка и в каком направлении нужно переместить объектив, чтобы еще увеличить резкость.
Для этого он начинает просто передвигать линзу вперед-назад, чтобы оценить, меняется ли контраст сцены. А в это время мы видим на экране «прыгающий» автофокус. То есть, изображение на доли секунды становится то размытым, то снова резким.
Если при съемке фотографий это не является проблемой, то при записи видео контрастный автофокус может хорошенько подпортить результат. Вероятно, вы не раз замечали, как картинка на видео периодически «дергается» и фокус то пропадает на мгновение, то снова появляется. Когда вы снимаете видео на смартфоне с контрастным автофокусом и вся сцена идеально сфокусирована, смартфон все равно будет периодически передвигать линзу, чтобы убедиться, что в данный момент времени картинка максимально резкая. И это будет хорошо заметно на записи.
Другими словами, контрастный автофокус очень плохо справляется с видеозаписью и вам следует об этом помнить, если вы любите снимать видео на смартфоне.
А продолжают его использовать по той причине, что это самый простой и дешевый метод фокусировки, не требующий никакого дополнительного оборудования. Но если вы хотите иметь более быстрый и качественный автофокус, необходимо при выборе смартфона искать в его характеристиках аббревиатуру PDAF.
Что такое PDAF (или фазовый автофокус) на современных смартфонах?
Сам термин PDAF (Phase-Detection Autofocus) переводится с английского, как фазовый автофокус. Впервые этот метод фокусировки появился на зеркальных фотоаппаратах достаточно давно. Но первым в мире смартфоном с PDAF автофокусом, если мне не изменяет память, стал Samsung Galaxy S4, вышедший в 2014 году. Затем последовал iPhone 6 от компании Apple и с тех пор все флагманские смартфоны стали выпускаться с PDAF.
Принцип работы фазового автофокуса выглядит следующим образом. Когда объект находится в фокусе, отраженные от него лучи света будут в равной степени освещать противоположные стороны объектива. Если объект не в фокусе, лучи света по-разному проходят через края линзы.
Другими словами, чтобы сфокусироваться, камера должна получить два изображения одного и того же кусочка кадра — одно изображение с левой половины линзы, а другое — с правой. Если изображения будут немного смещены относительно друг друга, значит, снимаемый объект не в фокусе.
Рассмотрим простой пример:
Здесь мы видим изображение, полученное с одной стороны линзы (A) и с противоположной (B). Если эти сигналы сравнить, то мы увидим небольшое смещение (C). Так как камера хорошо знает свои параметры (размер объектива и линз, фокусное расстояние), ей не составляет труда определить расстояние, на которое нужно переместить линзу, чтобы сигналы с противоположных сторон объектива совпадали.
В этом и заключается главное преимущество фазового автофокуса над контрастным. При фазовом автофокусе камере достаточно одного кадра, чтобы рассчитать, в какую сторону и как далеко нужно переместить линзу. А при контрастном автофокусе, каким бы идеальным он ни был, приходится проверять множество кадров при разных положениях линзы, чтобы поймать самый высокий контраст.
Неужели у смартфона две матрицы!?
Действительно, каким образом смартфон получает две картинки с противоположных сторон линзы? Ведь, когда свет проходит через объектив, он освещает всю матрицу сразу. Все верно, но здесь есть один небольшой трюк.
В типичной матрице с PDAF автофокусом не все пиксели используются для получения картинки. Среди «обычных» пикселей встречаются пиксели PDAF, которые не участвуют в построении изображения, а служат лишь для фокусировки. Чтобы понять, в чем разница между этими пикселями, давайте посмотрим на их схематическое изображение:
Слева изображен обычный пиксель. Здесь мы видим, как лучи света с противоположных сторон объектива (A и B) падают на микролинзу (C), прикрывающую сам фотодиод (E). Затем идет цветной фильтр (D), который пропускает только свет определенного цвета (в данном случае, красного). Если все это кажется вам немного сложным, почитайте первую часть статьи.
Справа изображен PDAF-пиксель, который имеет ряд отличий. Прежде всего, здесь нет цветного фильтра по нескольким причинам. Во-первых, цвет совершенно не играет никакой роли при оценке смещения изображения, а во-вторых, цветной фильтр пропускает только треть света, падающего на микролинзу.
Черная область на картинке справа (D) — это перекрытие половины фотодиода, которое блокирует весь свет, падающий с левой половины линзы объектива. То есть, этот пиксель содержит только те лучи света, что прошли через правую половину объектива. Если мы возьмем еще один PDAF-пиксель и перекроем другую половину его фотодиода, он будет содержать только те лучи, что прошли также через другую половину объектива. Такая пара PDAF-пикселей и содержит информацию с противоположных сторон объектива, которую мы можем теперь сравнивать.
Таких пар PDAF-пикселей на самом деле достаточно много «разбросано» по всей матрице — десятки тысяч. И каждый из них не содержит никакой информации о фотографии. Если ничего не предпринимать, на любом снимке со смартфона при детальном рассмотрении можно было бы отыскать десятки тысяч маленьких черных точек.
Но, к счастью, вы их не найдете. Смартфон прекрасно «знает» позицию каждого PDAF-пикселя и после съемки «зарисовывает» черные точки, примерно подбирая нужный цвет. Если на готовой фотографии PDAF-пиксель окружают зеленые точки, смартфон предполагает, что и на месте PDAF-пикселя должна была быть зеленая точка.
Что такое Dual Pixel от компании Samsung?
Это маленькая революция в области фокусировки камер. Правда, придуманная не компанией Samsung и не для смартфонов.
Впервые автофокус Dual Pixel был представлен компанией Canon в 2013 году с анонсом зеркальной камеры Canon EOS 70D. А спустя 3 года ту же технологию компания Samsung принесла в мир мобильных камер. Первым в мире смартфоном с Dual Pixel PDAF стал Samsung Galaxy S7.
Что интересно, на iPhone этой технологии до сих пор нет. Там используется гибридный автофокус — вначале смартфон примерно «прицеливается» с помощью PDAF, а затем доводит резкость контрастным автофокусом. Дело в том, что точность PDAF-автофокуса при столь редком «вкраплении» PDAF-пикселей ниже точности контрастного автофокуса, хотя он и быстрее. Поэтому, PDAF используется на iPhone лишь для того, чтобы понять, в какую сторону двигать линзы, чтобы фокус не прыгал туда-сюда, как на дешевых бюджетных камерах.
Такой же принцип используется и на других средне-бюджетных аппаратах с PDAF, но без Dual Pixel.
Каждый пиксель — это и PDAF, и обычный пиксель одновременно!
При использовании технологии Dual Pixel, каждый пиксель на матрице (или 80-90% всех пикселей) используется для работы фазового автофокуса. Но в таком случае, кто же тогда будет делать снимок, если все пиксели используются для фокусировки?
Давайте схематически изобразим Dual Pixel и все вопросы сами отпадут:
Здесь мы видим те же лучи света с противоположных сторон объектива (A и B), микролинзу (C) и цветной фильтр (D). Однако дальше картина немного отличается. Вместо одного фотодиода, собирающего весь свет, размещаются 2 отдельных фотодиода (E и F). А микролинза спроектирована так, чтобы на каждый отдельный фотодиод конкретного пикселя попадала только часть лучей с одной из сторон объектива.
Таким образом, каждый пиксель содержит информацию о фазе световых лучей. Здесь больше нет никаких перекрытий фотодиодов, блокирующих 50% всего света. Для фокусировки камера использует информацию с каждого фотодиода по отдельности (левая и правая стороны объектива), а во время съемки, сигналы с двух фотодиодов объединяются в один.
Камера не теряет информацию, так как здесь нет отдельных PDAF-пикселей, не захватывающих изображение. Также областью фокусировки является вся матрица, а не 5% ее пикселей.
В реальности, на матрице Samsung Galaxy S10 или Note10 с разрешением 12 мегапикселей используется 24 миллиона фотодиодов. Но работают они по отдельности только при фокусировке, а во время съемки сигнал обрабатывается совместно, да и линз с цветными фильтрами на такой матрице 12 миллионов.
Получается, на 108-Мп матрице в реальности используется 216 мегапикселей?
Нет. Размер одного пикселя на любой современной матрице с высоким разрешением (48/64/108 Мп) составляет рекордные 0.8 мкм. Если предположить, что каждый пиксель содержит еще по 2 отдельных фотодиода, мы получим размер каждого из них по 0.4 мкм. Но до этого технологии еще не дошли.
Чтобы ответить на этот вопрос, предлагаю взглянуть на реальную фотографию небольшого участка матрицы от Sony под микроскопом:
То, что вы видите — это реальные микролинзы, прикрывающие пиксели. Под ними расположены цветные фильтры и фотодиоды. Обратите внимание на крупный пузырек в центре кадра. Это микролинза PDAF-пикселя, скрывающая под собою два фотодиода.
Если мы посмотрим под микроскопом на матрицу Samsung, то увидим немножко другую картину:
Здесь уже показан вид сверху. Но мы не видим никаких больших пузырьков, как у Sony, а вместо этого в центре находятся половинки пикселей. Это и есть «классические» PDAF-пиксели, у которых просто одна половина перекрыта, чтобы на них попадали только те лучи света, что прошли через одну половину объектива.
И пусть вас не смущает то, что на этой матрице идут подряд 4 пикселя, у которых перекрыта правая половина. Все дело в том, что перед вам — Tetracell матрица, у которой 4 пикселя объединяются в один. Соответственно, и PDAF-пиксели размещаются по такому же принципу. Подробно о Tetracell-матрицах было рассказано в первой части статьи.
Вместо заключения…
Надеюсь, эта часть не была слишком перегруженной и дала базовое понимание того, как устроен автофокус на современных смартфонах.
Dual Pixel — это логическое продолжение и развитие технологии PDAF-автофокуса. Если выбирать между смартфоном с PDAF и Dual Pixel, предпочтение следует однозначно отдавать Dual Pixel. К слову, такие матрицы используются далеко не только на флагманах от Samsung. Вы можете встретить технологию Dual Pixel на таких аппаратах, как:
- Asus ROG Phone
- Google Pixel 3a
- Google Pixel 3
- Google Pixel 2
- HTC Exodus 1
- HTC U12+
- LG V50
- LG G8 ThinQ
- Meizu 16X
- Motorola Moto Z3 Play
- Motorola Moto G6 Plus
- Nokia 8.1 aka Nokia X7
- Sony Xperia 1
- Vivo V15
- Xiaomi Mi 8 Pro
- и многих других
Если вы хотите более детально погрузиться в то, как устроены и работают камеры смартфонов, тогда рекомендую почитать мой цикл статей «Камера смартфонов для чайников«. Там вы найдете ответы на все вопросы, связанные с камерами и узнаете много всего нового и интересного.
Автор статьи: Алексей Сало, главный редактор Deep-Review; Фото на обложке (c) Thor Alvis, все иллюстрации в статье принадлежат Deep-Review.
P.S. Не забудьте подписаться в Telegram на наш научно-популярный сайт о мобильных технологиях, чтобы не пропустить самое интересное!