Назад

Что видит фазовый автофокус: карта 12×16 на камере с Rockchip RV1106

Фазовый автофокус (PDAF) определяет, в какую сторону и насколько двигать линзу, по одному измерению: сенсор сравнивает два изображения сцены, снятые через левую и правую половины объектива. Мы вывели эти данные на экран на плате Luckfox Pico Ultra W с процессором Rockchip RV1106 и камерой Raspberry Pi Camera Module 3 (сенсор Sony IMX708). Сенсор делит кадр на сетку 12×16, то есть 192 зоны, и для каждой присылает фазу и уверенность.

Что такое фаза и чем фазовый автофокус отличается от контрастного?

Фазой называют сдвиг в пикселях между изображениями из левой и правой половин объектива. Ноль означает фокус, знак показывает направление, величина показывает, насколько двигать линзу. На нашей камере положительная фаза значит, что предмет дальше плоскости фокуса, отрицательная что ближе. Контрастный автофокус не знает направления и ищет пик резкости перебором, а фазовому обычно хватает одного измерения. На однородных поверхностях и при очень сильном расфокусе измерение ненадёжно.

Что IMX708 присылает вместе с кадром?

Вместе с кадром сенсор присылает служебные строки (embedded data) по тому же интерфейсу MIPI CSI-2, что и картинка, и драйвер выводит их в устройство /dev/video1. Для каждой из 192 зон даются два числа: фаза с шагом 1/16 пикселя и уверенность. На сцене с текстурой уверенность лежит в диапазоне от 0 до 266, в среднем около 40. Зоны с уверенностью ниже порога 16 прошивка не использует. На нашей плате фаза измерена примерно от −38 до +42 px.

Как фаза превращается в команду мотору линзы?

Автофокус берёт окно: по умолчанию 32 зоны в центре кадра (8 по ширине и 4 по высоте), отбрасывает зоны с низкой уверенностью и усредняет остальные с весом по уверенности. Шаг мотора равен фазе, умноженной на −1.2. Это чуть больше измеренного значения 1.05–1.18 кода мотора на пиксель (код от 0 до 64, где 0 это бесконечность), но в непрерывном режиме шаг ещё уменьшается. За один кадр линза сдвигается не больше чем на 8 кодов. Если надёжной фазы нет 6 кадров подряд, включается запасной контрастный поиск. Коэффициент подобран под нашу оптику, на другом модуле его нужно мерить заново.

Почему фазовый автофокус не видит горизонтальные полосы?

Мы поставили перед камерой лист с полосами. На горизонтальных полосах окно автофокуса тёмное: ни в одной зоне сенсор не измерил фазу. На вертикальных фаза есть в 28 зонах из 32, остальные четыре попали на чистую бумагу. Значит, IMX708 ищет сдвиг только вдоль строки, слева направо. Сцена, где яркость меняется только сверху вниз, например горизонтальные жалюзи, для него пустая, как гладкая стена.

Что остаётся неизвестным?

Какие именно PDAF-пиксели стоят в IMX708, как сенсор ищет сдвиг и считает уверенность и до какого расфокуса фазе можно верить, мы не знаем: сенсор отдаёт только готовый результат, а документация Sony закрыта.

Вывод

Карта фазы показывает сразу, что резкое, что ближе, что дальше и где надёжных данных нет. Многие промахи автофокуса объясняются тем, что попало в окно: гладкая поверхность, горизонтальные полосы или предметы на разных расстояниях. Сетка 12×16 и шаг 1/16 пикселя известны по разбору данных IMX708 в libcamera, остальные значения измерены на нашей камере или заданы в настройках нашей прошивки.

Если у вас задача по камере на встраиваемой платформе: драйвер сенсора, настройка ISP, автофокус, расскажите о проекте, оценим объём работ.