Сегодня у нас будет необычное, но интересное сравнение двух «устройств» для захвата изображения — матрицы смартфона и человеческого глаза.
Если вы думаете, что современная матрица какого-нибудь Redmi Note 10 Pro на 108 Мп (см. наш обзор) во всём уступает глазу, тогда вы сильно ошибаетесь. Эта статья не только позволит вам лучше понять современные мобильные технологии и то, как они будут развиваться дальше, но и по-другому взглянуть на себя.
Конечно, может показаться, что до сих пор ни одна даже профессиональная камера и близко не подошла к возможностям человеческого глаза. А камеры смартфонов — и подавно!
Посудите сами, сколько же должно быть мегапикселей в камере, чтобы она выдала огромную фотографию, заполняющую всё поле зрение и при этом настолько высокого качества, чтобы мы не увидели ни единого отдельного пикселя?
Ведь глаза выдают нам резкую картинку без пикселей. А значит, разрешение «матрицы» нашего глаза (сетчатки), стало быть, запредельно высокое.
Давайте с разрешения и начнем!
Сколько мегапикселей в глазу?
Задав этот вопрос поисковику Google на английском языке, вы получите в ответ конкретную цифру — 576 мегапикселей. Спросив то же, но уже на русском, ответ будет звучать иначе — около 120 Мп. А если бы на этот вопрос отвечал Стив Джобс, он, вероятно, назвал бы цифру ~350 Мп.
Несмотря на то, что все ответы отличаются, они, как минимум, «доказывают», что ни одна современная матрица пока не способна приблизиться к возможностям нашего глаза!
Но почему, собственно, ответы разные? Всё дело в том, что эти расчеты не имеют отношения к реальному устройству глаза.
Глаз на 576 Мп
Представьте, что перед вами огромный экран, который закрывает собой всё ваше поле зрения, то есть, вы не видите ничего, кроме этого экрана. Так вот, для того, чтобы вы не смогли разглядеть отдельные точки на таком дисплее, он должен содержать минимум 576 миллионов пикселей.
Много это или мало? Судите сами: современные 4k телевизоры содержат чуть больше 8 млн пикселей, а ультра-современные 8K-телевизоры могут содержать до 30 млн пикселей и больше! Согласитесь, цифра 576 млн звучит в этом контексте очень убедительной.
То же касается и 350 Мп. Просто при расчете учитывается не самое лучшее зрение, а что-то ближе к средне-статистическому (чем острее зрение, тем больше нужно пикселей в экране и наоборот).
Но какое отношение эти цифры имеют к глазу? Если бы глаз действительно «делал снимки» с разрешением 576 Мп, а затем показывал их нашему сознанию, тогда бы можно было говорить о таком высоком разрешении. Однако в реальности ничего подобного не происходит.
Глаз не делает таких «фотографий», поэтому и цифры вроде 576 или 350 Мп можно отбрасывать сразу. Они вообще не отвечают на поставленный вопрос и не имеют никакого отношения к зрению.
120-мегапиксельный глаз
Это уже более интересная и правдоподобная цифра, которая, впрочем, также не имеет отношения к правильному ответу.
Как и матрица смартфона, «матрица» глаза (сетчатка) состоит из отдельных крохотных светочувствительных элементов. В камере мы называем их пикселями, а на сетчатке — палочками и колбочками (есть еще третий вид «пикселей», но в формировании картинки они не принимают участия).
Количество палочек на сетчатке — от 110 до 120 млн, а колбочек — 6-7 млн. Получается, общее количество светочувствительных элементов — 116-127 млн, что и дает нам те самые усредненные 120 Мп.
Пока что остановимся на этой цифре. Тем более, что она очень близка к современным 108-Мп матрицам смартфонов.
А теперь давайте сравним эти «матрицы».
108-Мп камера смартфона против 120-Мп глаза. Чья матрица лучше?
Любая мобильная матрица со сверхвысоким разрешением (от 48 Мп и выше) устроена примерно одинаково. Это прямоугольная пластинка, на которой размещаются те самые «пиксели» небольшими группами.
Дело в том, что пиксели не способны воспринимать цвет, поэтому над каждым из них нужно дополнительно разместить фильтр — стекляшку, окрашенную в один из 3 основных цветов. И когда весь свет от объектива проходит через такой фильтр, на пиксель попадает только его часть определенного цвета:
То есть, мы как бы раскладываем весь поступающий свет на составляющие части: красную, зеленую и синюю. У нас получается мозаика из 3 цветов. А затем, когда нужно восстановить оригинальный цвет на фотографии, мы снова собираем эти составляющие части в один цвет. Или, говоря профессиональным языком, делаем демозаику.
Но в матрицах с высоким разрешением «стекляшка» (фильтр) устанавливается не над каждым пикселем, а сразу над группой пикселей. Например, в первой 108-Мп матрице Samsung HMX цветные фильтры накрывали сразу 4 пикселя (технология Tetracell), а уже во второй версии Samsung HM1 — 9 пикселей (технология Nona-binning):
И в таком объединении пикселей некоторые пользователи видят подвох. Ведь фактически, если считать по цветам, то у нас нет 108 мегапикселей. Матрица Tetracell выдает 27 Мп (108/4), а Nona-binning вообще видит только 12 цветных мегапикселей (108/9).
Конечно, в реальности всё сложнее, так как есть много алгоритмов и вариантов получить гораздо больше цветов, по-разному складывая пиксели. Но этот подвох — сущий пустяк в сравнении с тем, как устроена «матрица» глаза!
Реальный размер «матрицы»
Сетчатка глаза (аналог матрицы) не прямоугольная, как в камере смартфона, а сделана в виде «полусферы», растянутой на задней внутренней стенке глазного яблока:
На иллюстрации выше сетчатка показана серым цветом. С учетом того, что она покрывает около 72% всей площади глазного яблока, мы получаем просто гигантскую матрицу в сравнении с матрицей смартфона. Даже если речь идет о самой крупной 108-Мп матрице, ее площадь минимум в 10-14 раз меньше сетчатки.
Но если со смартфоном весь подвох заключался в объединении пикселей, то с глазом всё куда серьезнее.
Начнем с того, что за цвет отвечают только «пиксели» под названием колбочки, которых в глазу не более 7 млн. То есть, даже чисто теоретически наш глаз способен выдать цветную картинку в разрешении всего 7 Мп. А это уже даже не уровень 4K!
Вы можете себе представить огромную фотографию, занимающую всё поле зрения, которая состоит всего лишь из 7 Мп? Конечно же, с таким низким разрешением размер матрицы уже не играет никакой роли. Снимки будут в любом случае отвратительного качества.
Но почему же тогда картинка, которую мы видим, настолько чёткая?
Всё дело в том, что большая часть колбочек (цветных светочувствительных «пикселей») собрана в крохотной ямке по центру сетчатки. Здесь же полностью отсутствуют палочки («пиксели», воспринимающие только яркость). Фактически, «матрица» нашего глаза, фиксирующая максимально четкое цветное изображение, выглядит вот так:
Согласитесь, теперь уже смартфон кажется куда более серьёзным и качественным инструментом на фоне этого незначительного кусочка сетчатки.
И только в этом месте изображение на сетчатке максимально резкое. Это примерно кусочек изображения 2×2 см на расстоянии вытянутой руки. Вся остальная картинка очень размыта и чем дальше от этого центрального кусочка, тем плачевнее ситуация.
Естественно, это справедливо именно для одного «снимка». Если вы захотите проверить эту информацию и посмотреть чуточку левее, то уже в этой точке будет максимальная резкость, а участок правее окажется смазанным. Просто ваших глаза сфокусируют новую область изображения на центральную ямку.
Но и это еще не все!
«Биннинг пикселей» на матрице глаза
Как уже было сказано выше, на мобильных матрицах пиксели объединяются в группы по 4 или 9 штук. Эта технология называется биннингом пикселей и главная ее цель — улучшить качество снимка, сократив количество шумов или увеличив отношение сигнал/шум.
Точно такая же технология используется и в «матрице» нашего глаза. Только там объединяются не 4 или 9 «пикселей» в одну нервную клетку, а десятки, сотни и даже тысячи палочек и колбочек! Если брать в среднем, то можно считать, что «пиксели» глаза объединяются по 100 штук.
И здесь, в отличие от смартфона, мы имеем дело с реальным физическим объединением сигнала. То есть, мы не можем считать сигнал с одной палочки, которая объединена в группу из 1000 палочек/колбочек. Считывается только общий сигнал всей группы (как одна точка). Просто у нас физически только около миллиона «проводков», выходящих из глаза и идущих в мозг.
На смартфоне же каждый пиксель подключен отдельным проводом и мы считываем по отдельности каждый из 108 миллионов пикселей, даже если собраны в группы и накрыты одним цветным фильтром. А объединение сигнала происходит уже после его считывания. Таким образом:
Реальное разрешение глаза приближается к цифре в 1.3 Мп! А это уровень кнопочного телефона 15 летней давности…
И практически вся эта детализация уходит на крошечный «центр кадра», так как именно в центральной ямке колбочки не объединяются в группы, чтобы картинка оставалась максимально четкой.
Дыра в матрице!
Казалось бы, что еще можно придумать, чтобы испортить матрицу глаза? Может добавить «мертвые зоны» на матрицу? Так и есть!
Примерно по центру каждого глаза, недалеко от главного резкого участка (центральной ямки), находится место, куда выходят все «провода» (аксоны) от наших пикселей и одним общим «кабелем» (оптический нерв) идут в мозг:
В этом месте нет никаких светочувствительных элементов и поэтому «слепые пятна» находятся прямо у нас перед глазами.
Если вы читаете эту статью с монитора компьютера (с большого экрана), тогда просто закройте, например, правый глаз и посмотрите левым глазом с расстояния ~20-30 см на плюсик, изображенный справа. В этот момент огромный черный кружок слева просто исчезнет, так как он попадет прямо на слепое пятно:
Естественно, вы не должны никуда переводить взгляд, иначе глаз снова проделает свой трюк — сфокусирует эту область в центральную ямку.
Можно поступить еще проще. Вытяните левую руку вперед и посмотрите левым глазом на свой большой палец, выставленный вверх. Теперь не отводя взгляд в сторону, медленно отводите руку в лево и в какой-то момент (где-то левее на 20 см от центральной точки) большой палец просто исчезнет, попав в «слепую зону».
Эти слепые пятна на глазах присутствуют постоянно, но когда мы смотрим двумя глазами — правый глаз добавляет картинку в слепое пятно слева и наоборот. А когда смотрим только одним глазом, мозг пытается как-то незаметно зарисовать пятно чем угодно, например, цветом, окружающим слепое пятно).
Но и это еще не все! Не забывайте, что сетчатку глаза нужно как-то питать, а значит на ней должны быть сосуды. Эти сосуды действительно есть, и они отбрасывают тень на «фотографию». Но мы не видим эти тени, так как мозг к ним уже давно привык и понял, что их нужно не показывать сознанию, а зарисовывать, как в фотошопе.
Думаю, теперь вы готовы увидеть пример снимка, который выдает 1.3-Мп матрица глаза. Если вы ожидали увидеть качество хотя бы на уровне кнопочной Nokia 15-летней давности, то всё еще хуже:
Конечно, это лишь наглядный пример, сделанный на компьютере, но он хорошо передает основной смысл.
Мы видим маленькую четкую область по центру, слепое черное пятно справа, тени, отбрасываемые сосудами. И крайне низкое качество 1.3-Мп снимка. Да и цвета по краям практически отсутствуют, так как там мало колбочек и много палочек. Единственный нюанс — здесь не показан нос, который постоянно присутствует в кадре и мешает просмотру, но мозг его «вытирает» на снимках.
А еще забавный факт заключается в том, что мобильные телефоны уже давно перешли на технологию BSI, суть которой заключается в том, что вся обвязка пикселей (провода) размещается позади светочувствительных элементов. То есть, ничего не препятствует движению света:
Но глаз был разработан гораздо раньше появления технологии BSI. Поэтому здесь светочувствительные элементы находятся в самом низу, за несколькими слоями проводов (нервов) и других клеток (по большей части прозрачных):
И прежде, чем мы поймем почему же вопреки всему этому мы видим окружающий мир так хорошо, давайте еще сравним производительность матриц при плохом освещении.
Матрица смартфона против сетчатки при плохом освещении
Когда света становится очень мало, каждый фотон на счету! Фотон — это мельчайшая неделимая порция света. На матрицу смартфона или сетчатку не может упасть половина или четверть фотона.
Когда фотон поглощается пикселем матрицы, кусочек кремния высвобождает 1 электрон (подробнее). Чем больше фотонов поглотится, тем больше электронов появится. А чем больше электронов — тем ярче будет эта точка на итоговом снимке.
И здесь важно использовать все фотоны максимально эффективно. То есть, желательно, чтобы каждый фотон, попавший на пиксель, привел к появлению электрона. Хотя это не всегда так.
Представьте, насколько ужасной была бы матрица, поглощающая только каждый десятый фотон?! Их и так очень мало при плохом освещении, а здесь еще и 90% фотонов просто тратятся впустую.
Знаете ли вы какая эффективность современных матриц на 64 или 108 мегапикселей? Примерно 120%! То есть, если на матрицу попадает 100 фотонов, они могут «создать» до 120 электронов. Это превосходный показатель.
А теперь посмотрим на наш глаз. Чтобы активировать хотя бы одну колбочку («цветной пиксель»), нужно гораздо больше фотонов, чем требуется для активации одной палочки («пиксель», учитывающий только яркость). Поэтому в темноте недостаточно света для активации колбочек и мы «делаем снимки» только черно-белыми палочками.
Если в матрице смартфона фотоны поглощают кусочки кремния, то в палочках этим занимаются специальные молекулы под названием родопсин. Одна молекула родопсина может поглотить 1 фотон света.
Вот как выглядит такая палочка:
Обратите внимание на «полку» с дисками. В каждом таком диске находится 10 тыс. молекул родопсина. То есть, каждый диск способен поглотить 10 тысяч фотонов. А теперь следите за цифрами:
- На сетчатке глаза 120 млн палочек
- В каждой палочке 1000 дисков
- В каждом диске 10 тыс. молекул родопсина
Итого, «матрица» глаза способна поглотить около 1.2 квадриллиона фотонов (1 квадриллион — это миллион миллиардов). А 108-Мп матрица смартфона с самыми современными эффективными пикселями может поглотить около 600 миллиардов фотонов, что примерно в 2000 раз меньше.
Но проблема в том, что этих фотонов ночью очень мало. Днем такое преимущество дает гораздо лучший динамический диапазон, но как быть ночью?
Всего одного фотона достаточно для того, чтобы активировалась одна палочка. Но эта палочка не отправит никакого сигнала в мозг и мы не увидим картинку. Для этого нужно активировать хотя бы 10 палочек. И здесь мы возвращаемся к вопросу об эффективности «матрицы» глаза.
Если у смартфона она превышает 100%, то для глаза этот показатель не дотягивает и до 20%. То есть, из 100 фотонов, попавших на сетчатку, палочками поглотится в лучшем случае 20 фотонов. Остальное будет «утилизировано» специальным слоем, который предотвращает хаотическое движение фотонов внутри глаза, чтобы не возникало никаких отражений, «засветки» и прочих проблем.
Именно из-за такого поглощения всех «лишних» фотонов наш зрачок кажется черным. Оттуда просто не возвращается свет. А если бы возвращался, мы бы видели кровь в сосудах задней части глаза.
Собственно, иногда это и происходит, когда мы используем вспышку (яркий источник света) при плохом освещении. Зрачки не успевают отреагировать на мощный поток света и прикрыть «диафрагму объектива». Слишком много фотонов залетает в глаз и, отражаясь, вылетает оттуда.
Процессор как секрет успеха! Или что нас ждет дальше?
Возможно, вы уже догадались, что весь секрет качественного изображения заключается в мощнейшем «процессоре» обработки фотографий. Мозг действительно получает плохую картинку, если сравнивать ее с тем, что выдает смартфон.
Но глаза работают не покадрово. Они непрерывно ритмично совершают очень мелкие движения (саккады), сканируя сцену своими жалкими 1.3 мегапикселями.
Мозг объединяет две плоские картинки с двух глаз и строит трехмерное изображение. Он убирает тени от сосудов, силуэт носа, разукрашивает слепые пятна, делает догадки и превращает их в «реальную» картинку.
Чтобы вы осознали масштаб его художественной самодеятельности, скрытой от вашего сознания, просто посмотрите на луну или солнце. Вы замечали, какие они громадные над горизонтом и мелкие в зените?
Бывало ли у вас такое, что вы даже говорили кому-то полюбоваться большой и красивой луной (и желательно сделать это быстрее, пока она не поднялась вверх и не стала маленькой)?
Что же это за такое загадочное физическое явление? Может всё дело в орбитах? Или в атмосфере, которая как-то не так преломляет свет и увеличивает размеры небесных тел?
На самом деле, ни солнце, ни луна никак не изменяют своих размеров, будь они в зените или над горизонтом. Это просто ваш мозг так развлекается, «делая снимок» маленькой луны над горизонтом, а затем в своем «фотошопе» увеличивает ее до захватывающих размеров и демонстрирует результаты своей работы вашему сознанию.
Вы поражаетесь его талантам, звоните знакомым и советуете посмотреть на эту красоту. Но объективно никакой красоты нет. Ваши знакомые посмотрят на крохотную луну, а их мозг точно также «отфотошопит» снимок, сделав луну покрупнее и поэффектнее. И вы вместе насладитесь несуществующим пейзажем!
Просто осознайте весь это сюрреализм.
Те жалкие 1.3 Мп, которые фактически поступают в мозг — это лишь незначительный процент от той картинки, которую мы видим. Всё остальное — это, если так можно выразиться, вычислительная фотография. И именно по этому пути пошло развитие смартфонов.
Разница лишь в том, что смартфон должен делать четким весь снимок, а не только его кусочек в центральной части, как это делает мозг. Поэтому матрица смартфона в целом выдает гораздо более качественное и четкое изображение, нежели сетчатка глаза. И в этом плане технологии давно опередили биологию.
Будет интересно наблюдать за реакцией людей, когда все смартфоны будут проделывать тот же трюк с луной, что и наш мозг. И не только с луной!
Эстеты будут выражать свое недовольство тем, что смартфоны больше не передают реальность, а занимаются ерундой: «Зачем мне фотошоп!? Я хочу видеть натуральный снимок! Где старые-добрые времена, когда в камере была главной физика, а не алгоритмы!?»…
И эти же люди даже не будут догадываться, что «реальность» — это плод их воображения, рисунки, жестко обработанные «фотошопом» мозга.
Алексей, глав. редактор Deep-Review
P.S. Не забудьте подписаться в Telegram на наш научно-популярный сайт о мобильных технологиях, чтобы не пропустить самое интересное!
