Как-то очень быстро и незаметно в наш лексикон вошел новый модный термин — гибридный зум. Выпускать сегодня камерофон без гибридного зума — это уже признак дурного тона. В чем легко убедиться, взглянув на технические характеристики любого современного флагмана. Вот лишь самые свежие примеры:
- Samsung Galaxy S20 Ultra: телеобъектив с 4-кратным оптическим приближением (зумом) и 10-кратным гибридным зумом
- Samsung Galaxy S20: телеобъектив с 3-кратным гибридным зумом
- Huawei P40: телеобъектив с 3-кратным оптическим и 5-кратным гибридным зумом
Неужели производители действительно хотят, чтобы мы поверили в «10-кратное приближение»? Мы же должны были усвоить этот урок, пройденный еще лет 15 назад, когда на видеокамерах Sony и Panasonic красовались надписи «100-кратный цифровой зум». Если гибридный зум — это оно и есть, почему бы тогда не написать те самые «100 крат» на смартфоне? Выглядело бы куда эффектнее «жалкого» 10-кратного гибридного зума! Хотя, постойте-ка, ведь именно это и написано на камере Galaxy S20 Ultra:
Если на камере написано «100 кратный цифровой зум», а в ее технических характеристиках указан «10-кратный гибридный зум», выходит, это разные понятия? Чем тогда гибридное приближение отличается от цифрового? Или все дело в том, что маркетологи совсем страх потеряли? В общем, вопросов много, поэтому сразу перейдем к сути.
А в чем, собственно, суть проблемы?
Формально есть только один способ приблизить какой-то объект с помощью камеры — использовать для этого своеобразное «увеличительное стекло» под названием телеобъектив.
Чем больше будет расстояние от матрицы камеры до оптического центра объектива (фокусное расстояние), тем сильнее такая камера сможет приближать объекты. И если бы мы исходили только из этого принципа, современные камерофоны с телеобъективами выглядели бы так:
Согласитесь, смартфон с подзорной трубой — зрелище не для слабонервных. Поэтому оптический зум был всегда ограничен и приближал в 2-3 раза, не более. Затем появились камеры-перископы, в которых производители догадались размещать объективы не перпендикулярно задней крышке, а вдоль нее (внутри):
Первой была компания Sony еще в далеких «нулевых», а спустя десятилетие идею подхватили производители смартфонов. Этот хитрый способ позволил увеличить оптическое приближение до 5 крат, но стоимость такого решения является слишком высокой. Ведь, помимо самой системы, такие объективы занимают много драгоценного места внутри смартфона.
Что же делать?
В принципе, вариантов не так много, а точнее — ровно один. Если мы никак не можем приблизить картинку, тогда нужно увеличить разрешение снимка. То есть, увеличить количество точек (пикселей), из которых наш снимок состоит.
Например, у нас есть следующая фотография размером 450 на 450 пикселей:
Чтобы приблизить (увеличить) ее в 2 раза, мы можем провернуть один нехитрый трюк. Взять все пиксели, из которых состоит изображение, и раздвинуть их. То есть, каждый пиксель будет размещаться на определенном расстоянии друг от друга, образовывая пустоты внутри:
Наша фотография увеличилась в два раза и нам для этого не потребовался даже телеобъектив! Вот только вы, наверное, заметили, что изображение выглядит как-то странно. Нужно же чем-то заполнить пустоты. Но чем? Откуда взять информацию, которой нет на снимке, ведь мы использовали каждый пиксель оригинальной фотографии.
А что, если взять и просто заполнить пустоты между точками, копируя информацию с ближайших соседних точек? Отличная идея! Это и есть самый базовый принцип цифрового зума под названием метод ближайшего соседа. Теперь наша картинка будет выглядеть следующим образом:
Подозреваю, что это не совсем тот результат, который вы надеялись получить при зумировании. Фото выглядит отвратительно, как если бы кто-то взял и растянул маленькие пиксели в два раза. В принципе, именно это мы и сделали.
Согласен, копировать соседние пиксели, чтобы заполнить пустоту в душе между пикселями — не лучшая идея. А что, если заполнять пустоты немножко иначе. Скажем, брать цвет для каждого нового пикселя, равный среднему значению четырех окружающих точек:
В таком случае картинка получится более гладкой и естественной. Ведь это уже другой метод цифрового зума под названием билинейная интерполяция. С его помощью мы получим следующий результат:
А можно и вовсе брать усредненный цвет не четырех пикселей (сетка 2×2), а шестнадцати (4×4). Естественно, те пиксели, что расположены ближе к точке, которую мы хотим раскрасить, будут иметь более сильное влияние на цвет (больший вес), чем те, что расположены дальше. Этот вид цифрового зума называется бикубической интерполяцией.
Чем больше пикселей в оригинальном (маленьком) изображении мы используем для вычисления цвета пикселя в увеличенном изображении, тем сложнее алгоритм и сильнее нагрузка на процессор.
Одним из наиболее качественных алгоритмов цифрового увеличения является фильтр Ланцоша (анализ 36 пикселей, сетка 6×6). Но у него есть и свои недостатки, которые проявляются в виде ореолов вокруг контрастных переходов. Ниже можно увидеть пример такого ореола вокруг дерева:
В общем, ситуация с цифровым зумом более-менее понятна — увеличение разрешения при помощи интерполяции не идет ни в какое сравнение с оптическим зумом. В лучшем случае, цифровой зум может качественно увеличить изображение лишь незначительно. Но ни о каком пяти- и тем более десяти-кратном приближении даже речи быть не может.
И, тем не менее, производители заявляют о гибридном зуме без потерь качества!
Что такое гибридный зум и как это работает?
Задача гибридного зума ровно та же, что и у цифрового — увеличить разрешение фотографии. Но кое-что в этой технологии позволяет сделать это настолько качественно, что создается впечатление, будто объекты на картинке действительно приблизили с помощью оптики!
Зачастую, отличить оптическое приближение в 2 раза от гибридного 2-кратного зума довольно тяжело. И если на смартфоне есть 2-кратная оптика, мы можем получить 3- или даже 4-кратный гибридный зум, аналогичный оптическому.
Как же это работает?
Для начала рассмотрим самый простой вариант 3-кратного гибридного зума, реализованный на Samsung Galaxy S20. По сути, мы имеем две камеры с идентичным фокусным расстоянием. То есть, если сделать 2 снимка на основную камеру и на «телеобъектив» Galaxy S20, мы получим идентичную картинку.
И теперь нам нужно каким-то образом увеличить изображение в 3 раза, но сделать это настолько качественно, чтобы разницы между 3-кратным гибридным и оптическим зумом не было вовсе.
Сказано — сделано! Samsung просто взяла и увеличила реальное (физическое) разрешение матрицы в 5 раз. Если фотография с основной камеры имеет размеры 4000×3000 точек (приблизительно), то снимок на телеобъектив состоит из 64 миллионов точек (9000×7000 пикселей). Осталось лишь взять и вырезать нужный кусочек изображения, размером 4000×3000 из огромной картинки и мы получим гибридный зум.
Если бы мы захотели максимально приблизить башню, имея только 12-мегапиксельный снимок и цифровое увеличение, то получили бы такой результат:
А теперь оставляем тот же смартфон, тот же объектив, но меняем 12-мегапиксельную матрицу на 64-мегапиксельную. Разрешение стало гораздо выше, соответственно, можем использовать его для гибридного зума и получаем следующую картинку:
Совсем другое дело! На фото появилась фактура стены, видны отдельные кирпичики и в целом детализация снимка заметно возросла.
Но это все просто и понятно, гораздо интереснее обстоят дела в ситуации, когда используется одна камера с работающим гибридным зумом! Например, когда мы делаем снимок на Huawei P40 с оптическим 3-кратным зумом, используется телеобъектив. Но когда мы снимаем с 5-кратным гибридным зумом, используется ровно тот же телеобъектив и та же матрица. Так откуда же берется прирост качества и детализации?
Фильтр байера, как главный вредитель
Фильтр Байера был придуман более 40 лет назад и до сих пор ему не нашлось адекватной замены. Да, есть всевозможные вариации (RYYB-фильтр, Quad Bayer и пр.), но принцип их работы один и тот же.
Для тех, кто совсем не в теме, вкратце объясню суть (это очень важно для понимания гибридного зума). Один пиксель камеры может сообщить нам лишь яркость определенной точки. Я уже много раз на страницах Deep-Review говорил о том, что цвета в природе не существует (это лишь наше субъективное восприятие электромагнитных волн) и по этой причине камера не способна его запечатлеть.
Чтобы какая-то точка на фотографии получалась красного цвета, камера в момент съемки должна отфильтровать весь свет другого цвета и оставить только волны нужной длины (которые мы воспринимаем, как красный цвет). Для этого, над определенным пикселем размещают стеклышко красного цвета. То есть, сам пиксель выглядит так:
Если мы уберем красный фильтр, этот пиксель будет способен записывать только яркость света, в результате чего у нас будет черно-белая фотография. Для получения цветных снимков, мы накрываем по очереди все пиксели красными, зелеными и синими стеклышками. В итоге, если посмотреть на матрицу под микроскопом, получим следующую картину:
Вы уже понимаете, в чем заключается проблема с таким фильтром? Как нам получить исходный цвет определенной точки? Ведь на матрице каждый пиксель хранит информацию лишь об одном из трех составляющих цветов.
И цветной снимок на матрице выглядит не так (увеличено для удобства понимания):
А вот так:
Именно в таком зеленоватом виде снимают все современные камеры, после чего начинается сложный процесс дебайеризации (или демозаики), чтобы получить привычную фотографию.
Камера буквально делает следующее. Вот у нас красный пиксель. Но это не значит, что эта точка на фото должна быть красной. Нужно еще взять цвета соседних пикселей (зеленого и синего), смешать их с красным и только потом мы получим реальный цвет.
Выходит, после процесса дебайеризации разрешение снимка заметно снижается. Так как мы, фактически, используем 4 оригинальных пикселя на матрице, чтобы получить 1 пиксель на фото. Вот наглядный пример фото до и после дебайеризации:
Обратите внимание, как снизилась детализация и представьте, насколько это неэффективный процесс. Но ничего лучше пока не придумали. К слову, снижение детализации — это не единственная проблема фильтра Байера. Эта техника вносит еще и различные искажения (цветные артефакты), вроде муара:
Вот было бы здорово, если бы мы как-то смогли в один пиксель впихнуть информацию сразу о красном, синем и зеленом цветах! Тогда не нужен был бы этот фильтр Байера и разрешение снимка увеличилось бы само собой. Решение проблемы с фильтром Байера — это и есть один из примеров гибридного зума.
Принцип очень простой в теории. Нужно просто сделать несколько снимков, каждый раз смещая матрицу на 1 пиксель в сторону (вправо, затем вниз, затем вверх). Благодаря набору снимков, мы будем иметь реальную информацию о каждом из основных цветов для каждой конкретной точки:
Соответственно, нам уже не нужно делать дебайеризацию в классическом понимании, снижая разрешение. А раз так, мы возвращаемся к примеру с гибридным зумом на Samsung. То есть, по факту, у нас получился снимок с более высоким разрешением и мы теперь можем увеличивать определенные фрагменты этого снимка без потери качества.
Стоп! Какой еще сдвиг матрицы? На смартфонах нет ничего подобного! — скажет читатель и будет не совсем прав. Ведь оптическая стабилизация — это и есть тот самый сдвиг матрицы (оптическая стабилизация бывает двух видов: подвижная матрица или подвижная линза).
Но все решается еще проще благодаря нашим кривым дрожащим рукам! Ведь человек не способен держать камеру совершенно неподвижно. Да, оптическая стабилизация будет убирать основные нежелательные движения, при этом, легкий тремор рук, присущий каждому человеку, будет делать свое полезное дело — немножко сдвигать изображение в разные стороны:
А если мы закрепим смартфон на штативе, оптическая стабилизация сама начнет потряхивать камеру, чтобы провернуть трюк с «обходом» дебайеризации.
Итак, подводя небольшой итог, можно сказать, что гибридный зум основан на повышении разрешения фотографии благодаря созданию целой серии снимков с незначительным сдвигом изображения в разные стороны.
Но дело далеко не только в процессе дебайеризации. Сделав множество снимков и анализируя каждый из них на уровне суб-пикселей, мы заметим, что все они будут немножко отличаться. Если на первом снимке определенная точка была испорчена цифровым шумом, есть большая вероятность того, что на втором и третьем снимках эта точка будет зафиксирована правильно (именно по этой причине, а не из-за оптики и матрицы, современные флагманы так хорошо справляются с цифровым шумом). Опять-таки, изображение на каждом снимке будет слегка сдвинуто в разные стороны, что даст еще больше информации для вычислений.
Посмотрите реальный пример того, как благодаря обработке серии снимков с низким разрешением, мы получаем гораздо более четкий кадр (особенно обратите внимание на нижнюю строчку текста):
Это и есть «гибридный зум» в действии. Конечно, на самом деле все гораздо сложнее. Необходимо учитывать не только дрожание рук, но и движение самих объектов в кадре (листья на деревьях, проезжающий автомобиль и пр.), убирать цифровой шум, чтобы не сделать его по ошибке супер четким и детализированным. Но принцип работы гибридного зума заключается именно в следующем:
- Используем, например, 3-кратный телеобъектив смартфона, чтобы реально приблизить объект в 3 раза.
- Благодаря дрожанию рук (или создавая микро-дрожание камеры с помощью системы оптической стабилизации) создаем серию снимков (чем больше — тем лучше).
- Из полученного набора фотографий создаем кадр с более высоким разрешением, после чего делаем кроп (обрезку) этого снимка, фактически получая аналог оптического 5-кратного зума.
- Первые два пункта можно пропускать, если на смартфоне есть сенсор со сверхвысоким разрешением. Тогда мы просто берем данные с этой камеры. Иногда результат комбинируется (если разрешение матрицы и оптическое приближение дают похожий результат).
Кстати, новая технология Deep Fusion от Apple, дебютировавшая с iPhone 11 Pro, использует ровно ту же технику серийной съемки со смещением, только не для гибридного зума, а для повышения детализации обычных снимков. Из-за этого и достигается подобный результат:
Вот такая интересная технология. Но если, вдруг, кто-то ничего не понял из всего вышесказанного, просто знайте: гибридный зум работает лучше цифрового, так как реально увеличивает разрешение фотографии. А цифровой зум уже растягивает картинку, полученную после гибридного, применяя интерполяцию. Цифровой зум не дает нам никакой новой информации на снимке, в отличие от гибридного.
Ну а в следующий раз мы поговорим о том, как смартфоны в скором времени (некоторые — уже) будут увеличивать разрешение снимков без использования серийной съемки и дополнительных камер! Помните эти фильмы, в которых какой-нибудь агент ЦРУ получает размытое изображение с камеры наблюдения и просит оператора: «А ну-ка, сделай резче это пятно на его очках»? Затем оператор нажимает чудо-кнопку и вместо желтоватого пятна мы отчетливо видим лицо преступника в отражении. Забавно, не так ли?
Но то, что раньше у технически грамотных зрителей вызывало лишь снисходительную улыбку, сегодня уже не кажется таким смешным. Машинное обучение скоро будет справляться с подобной задачей.
Алексей, главный редактор Deep-Review (alexeysalo@gmail.com)
P.S. Не забудьте подписаться в Telegram на наш научно-популярный сайт о мобильных технологиях, чтобы не пропустить самое интересное!
