Edinstvo.org
ЛЮБИТЕЛЬСКАЯ АСТРОНОМИЯ. АСТРОФОТОГРАФИЯ

Так ли нужны dark'и?

Вопрос целесобразности использования дарков постоянно поднимается среди астрономов-любителей, но однозначного ответа нет. Современные матрицы настолько малошумные, что вычитание дарка выглядит уже не столь очевидным, как это было 10 лет назад. Если сравнить характеристики матриц фотоаппаратов 2008 (D700) и 2011 года (D5100), то уже здесь виден довольно большой скачок по уменьшению шума считывания: с 12.8e до 4.1e. И такая тенденция видна по всему модельному ряду не только Nikon, но и Canon (правда не до таких значений).

Очевидно, что дело в улучшении технологии прозводства матриц, а значит не за горами то время, когда шум считывания окажется в районе одного-двух электронов. Известный астрофотограф Roger N. Clark пишет о том, что в современных матрицах применяется технология подавления темнового шума во время экспозиции:

On sensor dark current suppression is a technology that reduces dark current during the exposure of your subject. There are several technologies and patents that are online describing the methods, and the technology is constantly being refined.

К сожалению, производители фотоаппаратов не стремятся делиться техническими подробностями, поэтому нам остаётся только самостоятельно исследовать данный вопрос. (Небольшая статья по этому вопросу: «Шумоподавление на чипе современных CMOS-фотосенсоров» и ссылка на документацию Canon (pdf).)

Для меня это уже не первая попытка получить какие-то реальные данные. Проблема в том, что численно оценить эффективность дарков очень сложно. Дарки применяются при сложении, а значит их влияние нужно как-то «отделить» от непосредственного алгоритма сложения (kappа-sigma). Самый простой вариант — это сделать сложение серии без дарков, после с дарками и проверить уровень сигнал/шум (SNR). Но, при сложении по каппа-сигма, влияние дарка (в численном выражении) оказывается крайне небольшим из-за большого количества складываемых лайт-файлов (от 100 и более). Мои эксперименты в данном подходе показали лишь то, что на SNR влияние дарков не заметно, хотя дарки позволяют убрать множество (но не все) горячих пикселей.

При этом вырисовывается довольно чёткая зависимость: чем больше дарков, тем лучше исправляются битые пикселы. Дарков должно быть много — не менее 50 штук. Если их меньше, то их влияние может уже быть негативным — происходит небольшое, но увеличение шума на итоговом изображении, а горячие пиксели удаляются не так эффективно.

Цифры здесь приводить не имеет смысла, поскольку тут всё зависит от конкретного фотоаппарата. Нужно просто сделать большую серию дарков и сравнить сложение с ними и без них.

Второй важный вывод, который мне удалось получить — это то, что дарк-файл «состоит» из двух составляющих — хаотичный шум, который меняется вообще от кадра к кадру и постоянной — это битые пиксели на одном и том же месте. При увеличении выдержки, битые пиксели проявляют себя всё больше и больше.

Хаотичный шум довольно незначительный, а с учётом того, что дарков (и лайтов) должно быть много, он довольно легко убирается/сглаживается при сложении.

И опять же, здесь всё зависит от фотоаппарата. Сделайте несколько дарков или даже возьмите какие-то старые и загрузите их в Fitswork. Гаммой откорректируйте яркость так, чтобы были видны пикселы на обоих (можно несколько) снимках. Дальше выберите Blink Images чтобы визуально увидеть те пикселы, которые не изменяются. Более того, таким способом можно увидеть постоянные пиксели не только одиночных дарков, но и у мастер-дарков. В качестве альтернативного способа просмотра можно в фотошопе расположить дарки слоями, подкорректировать гамму, и верхнему слою задать режим lighten. Будут видны все совпадающие пиксели.

Создание мастер-дарка как раз и используется для выявления постоянной составляющей снимка. Проблема здесь в том, что мастер-дарк создается из дарков, которые уже имеют слабое отношение к лайт-снимкам, а значит их «рисунки» лишь частично совпадают.

Если подумать, то идеальный дарк должен создаваться в тот же самый момент, что и сам снимок. Это ровно то, о чём пишет Roger N. Clark. Но, даже если это так, то такая технология всё-равно «пропускает» битые пиксели, которые мы и видим на дарках. Если бы подавление было бы идеальным, то любой дарк дарка должен был бы иметь нулевой уровень шума и отсутствие битых пикселей.

Таким образом дарк должен быть сделан после лайта как можно быстрее — это единственная возможность их разделить по времени пока их «рисунок» возможно ещё совпадает. Понятно, что для астрономов это не самая лучшая идея, поскольку для создания дарка пришлось бы постоянно открывать/закрывать крышку телескопа после каждого снимка.

Во многих фотоаппаратах существует функция подавления шума на длинных экспозициях, которая собственно, и работает как дарк сразу после лайта. Единственная сложность — это неопределенность: мы не знаем как именно происходит вычитание дарка и как он влияет на результат. Процессор фотоаппарата сразу после лайта, закрывает затвор и делает снимок с теми же параметрами. После этого он применяет его к лайту и уже готовый результат сохраняет как raw-файл. Если бы производители фотоаппарата просто сохранили отдельными файлами лайт и дарк, то это сняло бы массу вопросов. Именно по этой причине, астрономы боятся использовать такие raw-файлы, поскольку они возможно обработаны и уже не являются «сырыми» (см. Использование «автодарков»).

В своём исследовании я использовал следующую методику.

Вначале сделал 9 снимков с включенной функцией dark-подавления фотоаппарата. После этого тоже 9 снимков, но уже без подавления, а через несколько часов сделал 36 дарков. Это обычное поведение, когда дарки делаются уже после всей астросессии. Температура в эту ночь практически не менялась и была около +5C. Фотоаппарат Nikon D5100. Выдержки по 30 секунд, ISO 320. Телескоп: Ньютон 150/750.

Количество лайт-снимков небольшое, чтобы своим количеством они не «задавили» влияние дарков.

Дальше я выполнил сложение в DeepSkyStacker, где отключил все коррекции, баланс белого выставил фиксированным. Режим raw-декодирования — AHD (биллинейная сильно «мылит» и имеет низкое качество). Режим сложения — каппа-сигма 3.00 и 2 прохода. Для дарков режим сложения — медиана. В общем — типовой вариант.

Первое сложение — 9 кадров с dark-подавлением фотоаппарата. Второе — без него, третье — без подавление, но уже со своими dark-файлами.

Результирующие fit-файлы я загружал в FW, для удобстава приводил к 16 битам и снимал статистику SNR. В результате оказалось, что какой-то явно заметной разницы не удаётся выявить. Небольшой, исчезающе малый перевес оказался за сложением снимков с dark-подавлением: на 10-20 единиц от 1200..2000 (Std.Deviation). При этом на некоторых участках в разных каналах ситуация могла измениться в другую сторону.

Таким образом это говорит о том, что на малошумящих матрицах влияние дарков на отношение сигнал/шум уже не так очевидно. И это на небольшом количестве лайтов. Очевидно, что при их увеличении, разница вообще исчезнет.

Второй вопрос, который меня волновал больше с практической стороны — это способность дарков удалять битые, в первую очередь, горячие пиксели.

Для этого исследования я открыл исходные raw-файлы с двух серий (один с dark-подавлением, другой обычный) и в режиме Blink Images визуально их сравнил (так проще и быстрей). Вот одна из найденных областей.

Подавление темнового шума в фотоаппарате

Это одна и таже область неба в масштабе 400%. Видно, что фотоаппарат хорошо справился с удалением горячих и холодных пикселей. Поскольку их не так много, то численное значение SNR в обоих случаях примерно одинаков. То есть здесь улучшение произошло из-за «косметики», но сам хаотичный шум остался. Детализация звезд вообще не изменилась, во всяком случае визуально определить разницу и какие-то артефакты при просмотре снимков мне не удалось.

Из этого можно сделать вывод, что подавление шума в фотоаппарате в первую очередь борется с битыми пикселами. И делает это он отлично.

Однако, из теории, мы знаем, что дарки (наши «самодельные» :-) ) точно также должны удалить битые пиксели. Чтобы это проверить нужно посмотреть на эту же область неба на сложенных fit-файлах.

Сложение без дарков и с дарками

Здесь мы видим, что на первом изображении битые пиксели создали неприятный артефакт при сложении. То что на втором снимке (сложение с даркам) они также просматриваются, говорит о том, что дарки не полностью смогли справиться битыми пикселями.

Чтобы лучше рассмотреть я немного поднял яркость области с артефактами:

Сложение без дарков и с дарками

Теперь посмотрим сложение снимков с dark-подавлением фотоаппаратом. Здесь просто сложение без дарков.

Сложение с подавлением шума фотоаппаратом

Как говорится, комментарии излишни. :-) При этом никаких проблем со звёздами или фоном на всём изображении не видно. Фотоаппарат прекрасно справился с горячими пикселами.

Выводы

1. Очевидно, что функция подавление шума на фотоаппаратах (как минимум у Nikon) реализована очень хорошо. В первую очередь она работает над «косметикой», что сразу заметно. При этом не создается каких-то проблем на самом изображении. Качество итогового изображения (в теории) должно улучшится, поскольку аппаратное вычитание дарка должно ещё улучшать и сам фон (до шума неба).

2. Данная функция есть на многих фотоаппаратах, но я бы всё-таки посоветовал проверить её результат, как это сделал я. Для владельцев Canon, где горячих пикселей в разы больше, чем на Nikon, данная функция может вообще оказаться «спасительной».

3. Главный минус — увеличенное время экспозиции в два раза. С одной стороны жалко его терять, а с другой — мы получаем «идеальный» дарк, который сразу же применяется к своему «родному» лайту и больше нет потребности отдельно создавать коллекцию дарков и использовать их при сложении.

4. Вопрос для дальнейшего исследования — насколько велика разница SNR между сложением большого количества (300-500) лайт-снимков с dark-подавлением и без? Сложность здесь в том, что такие серии потребуют много времени, а значит влияние фона неба/температуры и т.п., астросессий может оказаться больше, чем влияние дарков.

Комментариев: 2 RSS

2Анатолий04-04-2021 20:17

Большое вам спасибо за обширное изложение материала.

Оставьте комментарий!

Используйте нормальные имена. Ваш комментарий будет опубликован после проверки.

(обязательно)