Сегодня всё чаще звучит мысль о том, что технологии больше никому не интересны. И проблема даже не в том, что якобы все уже пресытились гаджетами. Просто сами гаджеты стали скучны — одни и те же формы, экраны, камеры, процессоры.
Да, Samsung активно продвигает новый класс устройств с гибкими экранами. Но выход третьего поколения Galaxy Fold уже не вызывает такого восторга, как первые демо-образцы. Прямо какой-то застой на рыке, не находите?
Если вас действительно иногда посещают такие мысли, тогда предлагаю вам нашу новую экспериментальную рубрику!
Периодически мы будем брать одну тему (компонент смартфона, технологию, функцию) и внимательно разбираться с прогрессом в этой области — что изменилось за последнее время, с какими трудностями столкнулись производители и чего ожидать в ближайшем будущем.
Как вы уже догадались, сегодня мы поговорим о камерах в смартфонах. Погрузившись немного в эту тему, вы увидите, что прогресс не стоит на месте и всё самое интересное только начинается!
Подэкранная селфи-камера
Производители начали активно демонстрировать фронтальные камеры, скрытые под экраном, еще в 2019 году. Но первые смартфоны с этой технологией появляются только сейчас.
Почему от анонса до выпуска первых устройств прошло 2 года, но даже с учетом этого времени качество первых подэкранных селфи-камер, мягко говоря, оставляет желать лучшего?
Одна из главных задач при разработке подэкранных камер состоит в том, чтобы сделать часть экрана над камерой максимально прозрачной.
Для этого во всех текущих смартфонах (Samsung Galaxy Fold 3, Xiaomi Mi Mix 4 и ZTE Axon 30) увеличивают расстояние между суб-пикселями AMOLED-дисплея, благодаря чему появляется пространство, через которое свет может попасть под экран. Но при этом разрешение дисплея значительно снижается:
Сами пиксели делаются крупнее, чтобы отверстие и скрывающаяся под ним камера были не так заметны. Разумеется, это крайне негативно сказывается на качестве картинки в области селфи-камеры.
Вспомогательные слои экрана (анод и катод) над и под сеткой пикселей также делаются из прозрачных материалов. Но несмотря на это, «прозрачный» дисплей всё еще блокирует большую часть света.
Кроме того, сама полимерная подложка, на которой размещаются светодиоды, поглощает часть спектра видимого света, из-за чего искажается цветопередача.
И это только часть проблемы.
Дело в том, что дисплей — это сложный «бутерброд» из электроники. Для управления каждым пикселем здесь используется сразу несколько транзисторов, а все компоненты связаны между собой проводкой. Из-за этого на пути света появляются очень мелкие преграды.
А если размер преграды приближается к размеру самой волны света (ее длине), то начинает проявляться интересный эффект под названием дифракция. То есть, свет начинает огибать препятствия, словно волна, и мы уже не можем контролировать положение каждого фотона на матрице, чтобы в точности передать все детали.
Плохая прозрачность и дифракция — вот две главные проблемы подэкранных камер.
Если посветить на такую селфи-камеру через «прозрачный» AMOLED-дисплей параллельным пучком света, то вместо красивого и ровного круга на матрице мы получим что-то вроде этого:
На снимках, сделанных этими камерами, мы можем видеть различные ореолы, блики и размытия, особенно вокруг источников света. Кроме того, свет, проходя через экран, будет частично рассеиваться непрозрачными компонентами в разные стороны, засвечивая матрицу и вызывая эффект дымки.
Со всем этим необходимо как-то бороться, для чего компании используют алгоритмы и аппаратные ухищрения.
Например, если во всём дисплее каждым пикселем управляет отдельная схема, то на «прозрачном» участке одна схема может управлять сразу двумя пикселями. Этим мы сокращаем количество преград на пути света, но детализация падает еще сильнее.
Что будет дальше?
Качество снимков с первых подэкранных камер значительно уступает обычным селфи-камерам. В этом смысле мы возвращаемся лет на 10 в прошлое. А значит, впереди нас ждет активное развитие этой технологии.
Идеальный сценарий использования подэкранной селфи камеры сегодня — это складные смартфоны с гибкими экранами, у которых уже есть одна нормальная селфи-камера, а вторая нужна постольку-поскольку.
Использовать эту технологию сегодня в качестве основной камеры (для тех, кому важно качество) — очень плохая идея. И в этом плане Samsung находится в удобной позиции со своей линейкой Galaxy Fold, на которой может обкатывать новую технологию.
Что касается ближайшего будущего, можно посмотреть на разработки и анонсы различных компаний. В частности, недавно OPPO раскрыла некоторые подробности касательно своих подэкранных камер (и других технологий в области фото, о чем мы еще поговорим ниже).
В скором времени разрешение «прозрачной» части экрана будет увеличено до разрешения всего дисплея (порядка 400 ppi). То есть, по всей площади экрана будет одинаковая плотность пикселей. Но сами субпиксели (светящиеся лампочки) в области селфи-камеры уменьшатся в размерах, из-за чего расстояние между ними увеличится. Таким образом экран сможет пропускать больше света при той же плотности пикселей:
Также в новых «прозрачных» дисплеях каждым пикселем будет управлять отдельная схема, как в обычных экранах, что еще сильнее улучшит детализацию картинки. И это не должно значительно сказаться на прозрачности дисплея.
Дело в том, что производители постоянно ищут новые прозрачные материалы для проводов и других компонентов дисплея, а миниатюризация техпроцесса позволяет сокращать размеры компонентов.
Что касается борьбы с дифракцией (когда свет огибает мелкие преграды), придумать эффективные алгоритмы здесь практически невозможно, так как это довольно случайный процесс. И мы снова приходим к искусственному интеллекту.
Я еще раз хочу повторить одну простую мысль. Многие пользователи не понимают, зачем производители наращивают мощность процессоров. Ведь какой-нибудь флагманский Snapdragon 2-3 летней давности с легкостью справится с большинством современных задач.
Но в действительности именно нейросети являются одной из главных причин повышения производительности. Многие даже не осознают, сколько задач на самом обычном смартфоне сегодня решают нейросети.
В банальном наборе текста на клавиатуре используется искусственный интеллект, чтобы точнее определять, какую клавишу вы пытались нажать. Новые мощные процессоры позволяют перенести обработку диалога с голосовым ассистентом с облаков на ваш смартфон и так далее.
Теперь на плечи нейросетей ложится и подэкранная селфи-камера. Сейчас для обучения нейросеток используются наборы из тысяч фотографий, искаженных дифракцией и без искажений, чтобы ИИ научился понимать эти искажения и в реальном времени исправлял «недостатки» нашей природы.
Результаты всего этого мы будем наблюдать уже в следующем году.
Матрицы камер
Гонка мегапикселей немного приостановилась. Начиная с 2019 года мы увидели феноменальный рост разрешения матриц от 12 до 108 мегапикселей.
Некоторых людей, в особенности тех, кто в прошлом увлекался фотографией, пугала такая ситуация, так как они ошибочно полагали, что уменьшение размера пикселя — это всегда и безусловно плохая идея.
Но, как мы уже обсуждали ранее, пиксели не просто уменьшаются — они становятся более эффективными. Современный маленький пиксель способен захватить больше света, чем более крупный старый пиксель.
Важно понимать, что рост количества мегапикселей сопровождался и увеличением диагонали матриц, а это было главным. Но в этом году фокус частично сместился с качества на удобство.
Если вы читали наше сравнение смартфонов Vivo V21 и Vivo V21e, то заметили одну интересную тенденцию, которую мы будем наблюдать и дальше.
Первый 800-нанометровый (0.8 мкм) пиксель подарил нам много качественных матриц от Sony и Samsung. Естественно, никто не стал останавливаться на достигнутом и производители продолжили уменьшать пиксель еще сильнее, но уже не для повышения разрешения.
В третьем поколении матрицы ISOCELL GW компания Samsung сохранила прежнее разрешение (64 Мп). Сокращение размера пикселя на 100 нанометров не кажется значительным, но так как этих пикселей десятки миллионов, мы получили новую 64-Мп матрицу с ощутимо меньшей диагональю.
А раз диагональ уменьшилась, необходимо уменьшать и фокусное расстояние объектива, чтобы у новых камер был привычный угол обзора (почему?). То есть, теперь вся камера уменьшилась по высоте, так как производители передвинули линзу поближе к матрице.
В этом и заключалась основная идея. То есть, от качества снимков мы перешли к габаритам камер, что позволило производителям либо сократить размер выступающего блока камер, либо получить больше места внутри корпуса для других компонентов. Это особенно важно с учетом новых форм-факторов (складных смартфонов) и стильных тонких телефонов.
Этим летом Samsung представила новые пиксели с еще меньшим размером — 0.64 микрометра (а компания OmniVision месяцем ранее превзошла и их со своим пикселем в 0.61 мкм). При этом разрешение новой матрицы ISOCELL JN1 составляет «всего» 50 Мп. Таким образом, размер новой матрицы с учетом её разрешения стал вообще смехотворным — 1/2.76″ или около 6 мм по диагонали. Для сравнения, «старые» сенсоры Sony IMX586 на 48 Мп имеют диагональ 8.4 мм.
Модуль с такой матрицей можно разместить в маленьком блоке, выступающем над корпусом буквально на миллиметр:
Одним словом, маленькие пиксели будут захватывать рынок недорогих (средне-бюджетных) смартфонов. Поэтому следует быть внимательным и обязательно обращать внимание на размер матрицы, указанный в характеристиках.
Но, конечно же, появились и смартфоны для настоящих фото-любителей. Именно в этом году была представлена самая крупная матрица (15 мм по диагонали) в истории мобильных аппаратов — Samsung ISOCELL GN1 на 50 Мп. До неё звание крупнейшей матрицы принадлежало телефону Nokia 808.
Кроме того, появились новые технологии для более быстрой фокусировки. Если раньше фазовый автофокус анализировал два изображения с левой и правой части линзы, то теперь фокусировочные пиксели умеют одновременно анализировать и два изображения с верхней и нижней части линзы. Это значительно повысило качество и скорость работы автофокуса.
Также улучшился динамический диапазон сенсоров. Новые матрицы умеют одновременно считывать изображение с высокой и низкой светочувствительностью (ISO), после чего процессор совмещает обе картинки для получения широкого диапазона яркостей.
Производители продолжают эксперименты с оптической стабилизацией. К примеру, в новом iPhone 12 Pro Max для стабилизации изображения впервые использовалась технология сдвига матрицы. Зачастую в смартфонах картинка стабилизируется движением объектива камеры относительно матрицы, здесь же движется сама матрица:
Так как сенсор менее громоздкий, чем вся конструкция объектива с линзами, новая технология позволила компенсировать тряску более точно и быстро.
Что будет дальше?
Технически уже сегодня можно выпустить сенсор, разрешение которого будет заметно выше 108 мегапикселей. Текущая флагманская 108-Мп матрица Samsung ISOCELL HM3 далеко не самая большая на рынке (диагональ ~12 мм). Кроме того, здесь используются не самые маленькие пиксели (0.8 мкм). А современные процессоры обработки изображений (ISP) уже давно поддерживают камеры вплоть до 200 Мп.
Вопрос лишь в целесообразности всего этого. Высокое разрешение в основном нужно для вычислительной фотографии, но даже 40-50 мегапикселей более, чем достаточно, чтобы выдавать превосходный результат (флагманы от Huawei — лучшее тому подтверждение).
Возможно, в ближайшем времени мы снова увидим увеличение разрешения, но это в любом случае будет скорее маркетинговым прорывом, чем технологическим.
Было бы куда интереснее увидеть матрицу с диагональю в 1″, ведь последние камерофоны уже достаточно близко подошли к Nikon’овскому формату CS.
Но в этом случае модуль камеры должен значительно выступать над корпусом и не факт, что производители пойдут на такое. А вот на что они пойдут точно, так это на новые цветные фильтры, которые могут значительно повлиять на качество снимков при правильной реализации.
Сегодня самым популярным фильтром является RGGB-фильтр. На таких матрицах каждый фотодиод (или каждые 4 фотодиода, если мы говорим о технологиях Tetracell и Quad Bayer) накрыты одним из 3 цветов: красным, зеленым или синим.
Каждое такое стеклышко пропускает только свой цвет и поэтому матрица камеры может «видеть» в цвете:
Однако у такого фильтра есть одна проблема — на каждый пиксель падает только треть всех фотонов, так как остальные блокируются самим фильтром. В результате падает светочувствительность матрицы.
Huawei отказалась от подобного RGGB-фильтра и вместо него использует в своих флагманских камерофонах RYYB-фильтры, где зеленые стеклышки заменены желтыми.
Дело в том, что желтый цветной фильтр пропускает больше света, чем зеленый, так как включает в себя часть зеленого и часть красного спектров. Фактически, желтые фильтры пропускают на 40% больше света, чем зеленые. Остается лишь восстановить точную цветопередачу, что при грамотном подходе не является большой проблемой.
Ранее OPPO и Huawei также использовали интересные фильтры — RGBW, где вместо второго зеленого фильтра устанавливался белый, который пропускал весь свет. Но в скором времени на рынке появятся смартфоны с новыми RGBW-фильтрами, которые сделаны довольно интересно.
В частности, OPPO недавно представила фильтр, в котором каждый субпиксель фактически состоит из четырех фотодиодов, прикрытых двумя фильтрами основного цвета и двумя прозрачными («белыми») фильтрами:
К примеру, если в классическом сенсоре красный пиксель пропустит только красный цвет, то в новом сенсоре половина большого (объединенного из 4 маленьких субпикселей) красного пикселя пропустит красный цвет, а другая половина — весь свет.
Таким образом, в каждой точке будет гораздо больше (на 60%) информации о её яркости. Разумеется, это позволит и заметно снизить количество шумов.
Новые матрицы будут комбинироваться с уже хорошо работающими технологиями биннинга пикселей 4-в-1, HDR и пр.
Кроме того, в ближайшее время нас ждут новые эксперименты со стабилизацией. Если в классической мобильной камере движется объектив, а у iPhone 12 Pro Max — сам сенсор, то в новых смартфонах в 2022 году мы увидим комбинацию этих режимов. То есть, при стабилизации изображения одновременно и независимо друг от друга будут смещаться как сенсор, так и объектив.
А еще мы увидим новые объективы, включая первые настоящие зум-объективы, в которых можно будет плавно изменять фокусное расстояние. Эту технологию, опять-таки, недавно продемонстрировала OPPO.
Sony реализовала нечто подобное в своем новом Sony Xperia 1 III, но этот телеобъектив способен фиксироваться только в двух положениях — 70 и 105 мм эквивалентного фокусного расстояния, не позволяя при этом плавно зумировать.
Также, в объективах будут частично использоваться стеклянные линзы. Думаю, вы замечали на различных презентациях смартфонов упоминание о количестве линз в объективе. Например, в основной камере iPhone 12 используется 6P линз, в Xiaomi Mi Note 10 Pro — 8P линз. Буква P (Plastic) указывает на материал этих линз и в данном случае означает пластик.
Однако в новых объективах будут встречаться и другие конфигурации, например 2G5P с двумя стеклянными линзами и пятью пластиковыми. Стекло гораздо сложнее обрабатывать, но оно позволит снизить дисперсию света.
Подытоживая наш небольшой обзор, можно сказать, что всё только начинается и никакого застоя, как минимум в области камер, точно не наблюдается.
В то же время, с экранами, процессорами и другими компонентами ситуация очень похожа. Но об этом поговорим в другой раз.
P.S. Не забудьте подписаться в Telegram на наш научно-популярный сайт о мобильных технологиях, чтобы не пропустить самое интересное!
