Chapter 08

MTF와 샘플링

7장에서 렌즈의 점 퍼짐 함수(PSF)를 계산했다. 이 장에서는 같은 정보를 주파수 영역에서 읽는다. MTF는 "줄무늬의 대비가 몇 %나 살아남는가"를 공간 주파수마다 알려 주는 곡선으로, 렌즈 데이터시트와 센서 평가 보고서에서 가장 많이 쓰이는 숫자다. 렌즈의 회절과 수차, 픽셀의 감광 면적, 확산과 크로스토크, OLPF, ISP 샤프닝이 모두 MTF의 곱으로 묶인다. 그리고 픽셀 격자가 영상을 샘플링하는 순간 새로운 현상, 곧 나이퀴스트 한계와 앨리어싱·모아레가 생긴다. 마지막으로 이 모든 것을 실제 센서에서 측정하는 ISO 12233 슬랜티드 엣지 방법을 처음부터 직접 구현해 본다.

OTF·MTF·PTF를 정의하고, 정현파의 대비 전달·위상 이동·대비 반전을 PSF 모양과 연결한다.
회절 한계 MTF와 차단 주파수 $1/(\lambda N)$을 유도하고, 디포커스·수차가 MTF를 어떻게 깎는지 동공 자기상관으로 계산한다.
렌즈 데이터시트의 스루 포커스 MTF와 화각별 사지털·탄젠셜 MTF 차트를 읽는다.
픽셀 개구 MTF(sinc), 개구율, 확산·크로스토크 MTF를 계산하고 lp/mm ↔ cycles/pixel ↔ LW/PH를 자유롭게 환산한다.
나이퀴스트 주파수와 앨리어싱을 스펙트럼 복제로 설명하고, 베이어 배열의 색 모아레와 OLPF의 역할을 이해한다.
렌즈 × OLPF × 픽셀 × 크로스토크 × ISP 샤프닝의 시스템 MTF 사슬에서 MTF50과 MTF@Ny를 구하고, 슬랜티드 엣지 SFR을 직접 측정해 참값과 비교한다.

OTF, MTF, PTF: 대비가 얼마나 살아남는가

결맞지 않는 결상에서 상은 물체와 PSF의 컨볼루션이고, 주파수 영역에서는 물체 스펙트럼에 광학 전달 함수(Optical Transfer Function, OTF)를 곱한 것이다(7장). OTF는 정규화한 PSF의 푸리에 변환이다. 1차원(한 방향)으로 쓰면 다음과 같다.

$$\text{OTF}(\nu)=\frac{\displaystyle\int \text{LSF}(x)\,e^{-i2\pi\nu x}\,dx}{\displaystyle\int \text{LSF}(x)\,dx}=\text{MTF}(\nu)\,e^{\,i\,\text{PTF}(\nu)},\qquad \text{LSF}(x)=\int \text{PSF}(x,y)\,dy$$

$\nu$: $x$ 방향 공간 주파수(lp/mm 또는 cycles/mm). LSF: 선 퍼짐 함수(Line Spread Function), 즉 PSF를 $y$로 적분한 것으로 '가는 선 하나의 상'이다. MTF(Modulation Transfer Function) = |OTF|, PTF(Phase Transfer Function) = arg OTF. 정규화 때문에 언제나 $\text{MTF}(0)=1$이다.

이름이 '변조 전달'인 이유는 정현파 물체를 넣어 보면 바로 보인다. 평균 1, 변조도(대비) $m$인 줄무늬 $1+m\cos 2\pi\nu x$를 PSF와 컨볼루션하면, 컨볼루션은 정현파의 모양을 바꾸지 못하므로 결과도 같은 주파수의 정현파다. 바뀌는 것은 진폭과 위치뿐이다.

$$1+m\cos(2\pi\nu x)\;\xrightarrow{\;\otimes\,\text{LSF}\;}\;1+m\,\text{MTF}(\nu)\cos\!\big(2\pi\nu x+\text{PTF}(\nu)\big),\qquad M\equiv\frac{I_{\max}-I_{\min}}{I_{\max}+I_{\min}}$$

$M$: 변조도(마이컬슨 대비). 입력 변조도가 $m$이면 출력 변조도는 $m\cdot\text{MTF}(\nu)$이다. 즉 MTF는 주파수별 대비 전달률이다. PTF는 줄무늬가 옆으로 밀린 정도로, $\Delta x = -\text{PTF}/(2\pi\nu)$만큼 이동한다. PSF가 좌우 대칭이면 OTF는 실수이므로 PTF는 0 또는 180°뿐이고, 180°는 밝고 어두움이 뒤집힌 상(대비 반전, Spurious Resolution)을 뜻한다.

그림 8-1. 정현파는 선형 시불변 시스템의 고유 함수다. PSF와 컨볼루션해도 주파수는 그대로이고 진폭만 MTF 배로 줄며, PSF가 비대칭이면 줄무늬가 PTF만큼 옆으로 밀린다. 평균 밝기(DC)는 그대로 유지되므로 대비 $M=(I_{\max}-I_{\min})/(I_{\max}+I_{\min})$가 MTF만큼 줄어든다.

실제 측정에서 정현파 차트는 만들기 어렵고, 흑백 막대(사각파) 차트가 많이 쓰인다. 사각파에 대한 응답은 CTF(Contrast Transfer Function)라 부르며, 사각파가 기본파와 3·5·7차 고조파의 합이기 때문에 같은 주파수에서 MTF보다 약간 높다(대략 $\text{CTF}(\nu)\approx\frac{4}{\pi}[\text{MTF}(\nu)-\tfrac13\text{MTF}(3\nu)+\cdots]$). 흔히 "MTF 차트"라고 부르는 USAF 1951이나 막대 차트에서 읽은 값은 엄밀히는 CTF다.

PSF를 한 방향으로 적분한 LSF, 그리고 LSF를 한 번 더 적분한 엣지 퍼짐 함수(Edge Spread Function, ESF)도 같은 정보를 담고 있다. $\text{ESF}'(x)=\text{LSF}(x)$이므로 날카로운 경계 하나의 상만 정확히 재면 미분하고 푸리에 변환해서 MTF를 얻을 수 있다. 이것이 10절의 슬랜티드 엣지 방법이다.

SIMULATOR

정현파 ⊗ LSF: MTF와 PTF를 눈으로 보기

LSF 종류

블러 크기 줄무늬 주파수 ν 사각파(막대 차트) 입력

MTF(ν)—

PTF(ν)—

측정한 출력 대비 M—

줄무늬 이동 Δx—

해볼 것: ① '회절 한계'에서 블러 크기(= F/#, λ = 550 nm)를 1.8로 두고 ν를 올리면 $1/(\lambda N)\approx1010$ lp/mm에서 대비가 완전히 사라진다. ② '디포커스'(착란원 지름 c, µm)에서 ν를 $1.22/c$ 위로 올리면 출력 줄무늬가 입력과 반대 위상이 된다 — PTF = 180°, 대비 반전. ③ '비대칭'은 PTF가 0이 아니어서 줄무늬가 옆으로 밀리고, 밀리는 양이 주파수마다 다르다(위상 왜곡). ④ 사각파 입력의 출력 대비는 같은 ν의 MTF보다 높다(CTF > MTF). 위 패널의 출력은 실제 수치 컨볼루션 결과이고, 아래 곡선은 LSF의 FFT다.

회절 한계 MTF와 차단 주파수

7장의 '푸리에 광학 사각형'에서 보았듯이 OTF는 동공 함수의 자기상관이다. 수차가 없는 원형 동공에서는 이 자기상관이 순수한 기하 문제, 곧 지름 $D$인 두 원을 $\lambda z\nu$만큼 어긋나게 겹쳤을 때 겹친 면적의 비율이 된다.

$$\text{OTF}(\nu)=\frac{\displaystyle\iint \mathcal P\!\left(\xi+\tfrac{\lambda z\nu}{2},\eta\right)\mathcal P^*\!\left(\xi-\tfrac{\lambda z\nu}{2},\eta\right)d\xi\,d\eta}{\displaystyle\iint|\mathcal P|^2\,d\xi\,d\eta},\qquad \text{MTF}_{\text{diff}}(\nu)=\frac{2}{\pi}\Big[\phi-\cos\phi\,\sin\phi\Big],\quad \phi=\arccos\frac{\nu}{\nu_c}$$

$\mathcal P = P\,e^{i2\pi W/\lambda}$: 동공 함수, $z$: 출사동–상면 거리. 차단 주파수 $\nu_c=\dfrac{D}{\lambda z}=\dfrac{1}{\lambda N}=\dfrac{2\,\text{NA}}{\lambda}$에서 두 원이 더 이상 겹치지 않아 MTF가 정확히 0이 된다. 저주파에서는 $\text{MTF}\approx1-\tfrac{4}{\pi}\,\nu/\nu_c$로 거의 직선이다. $N$은 작동 F-넘버(3장).

그림 8-2. 회절 한계 MTF의 기하학. 동공을 자기 자신과 $\lambda z\nu$만큼 어긋나게 겹친 면적(진한 렌즈 모양)이 MTF다. 두 원의 중심 거리가 지름 $D$가 되는 $\nu_c=D/(\lambda z)=1/(\lambda N)$에서 0이 된다. 오른쪽: 원형 동공의 MTF(실선)는 $\nu_c/2$에서 0.39이고, 같은 폭의 정사각 동공(점선, 직선 $1-\nu/\nu_c$)보다 중간 주파수에서 약간 낮다.

차단 주파수는 파장과 F-넘버만으로 정해진다. 아래 표에서 모바일 렌즈의 $\nu_c$가 800~1600 lp/mm라는 것, 그리고 같은 렌즈에서도 청색과 적색의 해상력이 1.4배 넘게 차이 난다는 것을 확인하자. 오른쪽 두 열은 1.0 µm 픽셀의 나이퀴스트(500 lp/mm)에서 녹색 회절 MTF로, 픽셀이 아무리 완벽해도 이 값을 넘을 수 없다.

F/#	ν_c @ 450 nm	ν_c @ 550 nm	ν_c @ 650 nm	MTF_diff(500 lp/mm), 550 nm	쓰이는 곳
1.4	1587 lp/mm	1299	1099	0.52	플래그십 메인(가변 조리개 개방)
1.8	1235	1010	855	0.40	메인 카메라 표준
2.0	1111	909	769	0.34	초광각, 차량 전방
2.2	1010	826	699	0.28	초광각, 전면
2.8	794	649	549	0.13	망원, 잠망경형
4.0	556	455	385	0 (ν > ν_c)	산업용 조임, 매크로

왜 결맞지 않는 결상의 차단은 2NA/λ인가

결맞는 결상의 진폭 전달 함수는 동공 자체이므로 $\text{NA}/\lambda$에서 끊긴다. 강도 PSF는 진폭 PSF의 절댓값 제곱이고, 곱은 주파수 영역에서 컨볼루션(자기상관)이므로 대역폭이 두 배가 된다. 대가로 OTF는 평평하지 않고 고주파로 갈수록 감쇠한다. 물리적으로는 동공의 서로 다른 두 점에서 온 빛이 간섭해 줄무늬를 만들 때, 두 점의 거리가 그 줄무늬의 주파수를 결정하고, 그렇게 짝지을 수 있는 점 쌍의 수(겹친 면적)가 그 주파수의 대비를 결정한다.

디포커스와 수차가 만드는 MTF

수차는 동공의 위상만 바꾼다. 자기상관 적분에서 겹친 영역의 위상차 $e^{i2\pi[W(\xi+s)-W(\xi-s)]/\lambda}$가 서로 상쇄되면서 면적의 합이 줄어든다. 슈바르츠 부등식에 의해 어떤 수차도 MTF를 올리지 못한다: $|\text{OTF}_W(\nu)|\le \text{MTF}_{\text{diff}}(\nu)$. 대표적인 수차인 디포커스의 크기는 파면 계수로 바꿔 쓴다.

$$W_{020}=\frac{\Delta z}{8N^2},\qquad c_{\text{Zernike}}^{(4)}=\frac{W_{020}}{2\sqrt3},\qquad \text{MTF}_{\text{dz}}^{\text{geo}}(\nu)\approx\left|\frac{2J_1(\pi c\nu)}{\pi c\nu}\right|,\quad c=\frac{\Delta z}{N}$$

$\Delta z$: 상면의 초점 이탈, $W_{020}$: 동공 가장자리의 파면 오차(P-V), $c^{(4)}$: Noll 정규화 디포커스 계수(RMS). $c$는 기하 광학의 착란원 지름이다. 기하 근사는 $W_{020}\gtrsim\lambda$일 때만 맞고, 작은 디포커스에서는 실제 MTF(회절 포함)가 $\text{MTF}_{\text{diff}}\times\text{MTF}^{\text{geo}}_{\text{dz}}$보다 크다. 첫 영점 $\nu=1.22/c$ 너머에서 OTF가 음수가 되어 대비가 반전된다.

숫자로 감을 잡자. F/1.8 렌즈에서 $\Delta z=4$ µm이면 $W_{020}=4/(8\cdot3.24)=0.154$ µm = 0.28λ(550 nm)로, 레일리 λ/4 한계를 조금 넘는다. 이때 중간 주파수 MTF는 회절 한계 대비 20~30% 떨어진다. 모바일 렌즈의 초점 심도가 ±4~5 µm에 불과하므로, 렌즈와 센서 사이의 틸트·높이 공차와 AF 정확도가 µm 단위로 관리된다.

디포커스 이외의 수차는 방향성이 있다. 비점수차는 x 방향과 y 방향 줄무늬의 초점 위치를 다르게 만들고, 코마는 한쪽으로 꼬리를 끌어 PTF를 만든다. 그래서 렌즈 MTF는 항상 두 방향, 곧 사지털(Sagittal)과 탄젠셜(Tangential, Meridional)로 따로 제시된다. 아래 시뮬레이터는 7장과 같은 제르니케 동공을 만들고, PSF를 FFT한 뒤 다시 FFT해서 OTF를 직접 계산한다($N_{\text{FFT}}=128$, 동공 반지름 30 샘플).

SIMULATOR

제르니케 동공 → PSF → OTF: 수차 MTF 직접 계산

디포커스 Z4 비점수차 Z6 (0°) 코마 Z7 (y) 구면수차 Z11 F-넘버 OTF 실수부(부호 포함) 보기

RMS 파면 σ—

스트렐 비 (PSF 피크)—

MTF x / y @ 250 lp/mm—

MTF x / y @ 500 lp/mm—

초점 이탈 환산 Δz—

해볼 것: ① 디포커스 Z4 = 0.07λ(= λ/4 P-V)에서 스트렐이 약 0.8로 떨어지는데 MTF는 저주파보다 중간 주파수가 많이 깎이는지 보자. ② Z4 = 0.3λ 이상에서 '실수부 보기'를 켜면 OTF가 0을 지나 음수로 내려간다 — 대비 반전 구간이다. ③ 비점수차만 주면 x·y 곡선은 똑같이 떨어진다(두 초점선의 한가운데, 최소 착란원 위치). 여기에 디포커스를 더하면 x·y 곡선이 갈라져 한쪽은 좋아지고 다른 쪽은 나빠진다 — 사지털·탄젠셜 초점이 다르다는 뜻이다. ④ 구면수차와 디포커스는 서로 부분 보정된다: Z11 = 0.1에서 Z4를 움직여 MTF@250이 최대가 되는 점(최적 초점)을 찾아보자. (λ = 550 nm, 차트 점선 = 회절 한계)

스루 포커스 MTF와 화각별 MTF: 렌즈 데이터시트 읽기

렌즈 공급사가 센서 팀에 주는 MTF 자료는 대개 두 종류다. 하나는 화각별 MTF(MTF vs Field)로, 가로축이 상고(image height, 0~1.0 필드)이고 몇 개의 고정 주파수(예: Ny/4, Ny/2)에서 사지털(S)·탄젠셜(T) MTF를 실선·점선으로 그린다. 다른 하나는 스루 포커스 MTF(Through-Focus MTF)로, 가로축이 초점 이동 Δz이고 각 필드의 S·T 곡선 봉우리 위치가 그 필드의 최적 초점을 알려 준다.

왜 S와 T가 갈라질까? 축외 물점에서 온 광속은 자오면(T)과 구결면(S)에서 서로 다른 곡률을 겪는다. 그 결과 S 상면과 T 상면이 서로 다른 곡면이 되고(비점수차), 두 곡면의 평균은 페츠발 곡면에서 휘어 있다(상면 만곡, 4장). 평평한 센서는 이 곡면들과 화면 가장자리에서 어긋나므로, 가장자리 MTF가 떨어지고 S/T 중 한쪽이 특히 나빠진다.

그림 8-3. 상면 만곡과 비점수차. 상고가 커질수록 사지털(실선)과 탄젠셜(점선) 최적 초점이 서로 반대쪽으로 휜다. 평평한 센서(가운데 띠)는 화면 중앙에서 최적이지만 가장자리에서는 두 상면 사이에 끼어, 스루 포커스 곡선의 S·T 봉우리가 Δz = 0에서 벗어나 있다.

아래 시뮬레이터는 F/1.8 모바일 렌즈를 단순화한 모델이다. 필드 $h$에서 파면을 $c_4=c_{\text{fc}}h^2+\delta$, $c_6=c_{\text{as}}h^2$, $c_7=c_{\text{co}}h$, $c_{11}=0.03\lambda$로 두고, 각 필드·각 초점마다 동공 → PSF → OTF를 FFT로 계산해 S·T 방향의 MTF를 읽는다. 주파수는 1.0 µm 센서의 Ny/4(125 lp/mm)와 Ny/2(250 lp/mm)다.

SIMULATOR

렌즈 데이터시트 만들기: 화각별 MTF와 스루 포커스

차트

상면 만곡 계수 비점수차 계수 코마 계수 센서 위치 δz 스루 포커스 필드 h

중앙 MTF S/T @ Ny/2—

0.8 필드 MTF S/T @ Ny/2—

필드 h 최적 초점 S / T—

초점 심도 ±2λN²—

해볼 것: ① 기본값에서 0.8 필드의 S(실선)가 T(점선)보다 낮다. 비점수차 계수의 부호를 바꾸면 순서가 뒤집힌다. ② '스루 포커스'로 바꿔 h = 0.8에서 S·T 봉우리 사이 간격(비점 거리)을 읽고, 센서 위치 δz를 움직여 중앙과 가장자리를 동시에 만족시키는 타협점을 찾아보자 — 모듈 공정의 액티브 얼라인이 하는 일이다. ③ 상면 만곡만 크게 하면 두 봉우리가 함께 이동한다. 이때는 센서를 옮기면 가장자리는 좋아지지만 중앙이 나빠진다. ④ 코마는 봉우리를 낮추지만 거의 이동시키지 않는다. (1 µm 센서 기준 Ny/2 = 250 lp/mm 굵은 선, Ny/4 = 125 lp/mm 가는 선)

실무 노트: 센서 팀이 렌즈 MTF 자료에서 확인할 것

① 주파수 기준: 공급사는 종종 "Ny/4, Ny/2"를 특정 피치 기준으로 적는다. 0.7 µm 센서용 렌즈인데 1.4 µm(4-in-1 비닝) 기준 Ny로 적혀 있으면 실제 풀 해상도 MTF는 훨씬 낮다. ② 파장 가중: 설계 MTF는 보통 다색(예: 435~656 nm, 녹색 가중)이다. 센서의 R/G/B 채널 응답과 IR 컷 필터를 곱한 가중으로 다시 계산해야 채널별 해상력이 나온다(7장의 다색 PSF). ③ 설계값 vs 공차 포함값: 몬테카를로 공차 분석 후 예상 수율 기준(예: 90% 모듈이 넘는 값) MTF를 따로 받아야 한다. ④ 필드 정의: 0.8 필드가 대각선 기준인지 가로 기준인지, 센서 유효 영역과 렌즈 이미지 서클이 어떻게 맞물리는지 확인한다. ⑤ 렌즈 MTF는 센서 커버 유리·IR 필터 두께를 포함한 설계여야 한다. 0.21 mm 유리 판이 빠지면 구면수차와 초점 위치가 바뀐다.

픽셀 개구 MTF, 확산·크로스토크, 그리고 단위

렌즈가 만든 연속 상은 픽셀에서 면적 적분된다. 감광 영역이 폭 $a$인 상자 모양이면 픽셀 신호는 상과 상자 함수의 컨볼루션을 픽셀 중심에서 읽은 값이고, 상자의 푸리에 변환이 sinc이므로 다음 MTF가 곱해진다.

$$\text{MTF}_{\text{pix}}(\nu_x,\nu_y)=\left|\operatorname{sinc}(a_x\nu_x)\right|\,\left|\operatorname{sinc}(a_y\nu_y)\right|,\quad \operatorname{sinc}(u)=\frac{\sin\pi u}{\pi u},\qquad \text{MTF}_{\text{xt}}(\nu)=e^{-2\pi^2\sigma^2\nu^2}$$

$a$: 유효 개구 폭(선형 개구율 $\times p$). 100% 개구($a=p$)이면 나이퀴스트 $\nu_N=1/(2p)$에서 $2/\pi=0.637$, $1/p$에서 0이다. $\text{MTF}_{\text{xt}}$: 광학 크로스토크와 캐리어 확산(Diffusion)을 표준편차 $\sigma$인 가우시안 커널로 근사한 것. 실리콘 깊은 곳에서 흡수되는 적색·NIR일수록 σ가 크다(14장).

그림 8-4. 픽셀 개구 MTF. 폭 $a$인 상자 함수의 MTF는 $|\operatorname{sinc}(a\nu)|$이다. 100% 개구에서는 나이퀴스트에서 0.64, $1/p$에서 0이 되고 그 위에 음의 로브(절댓값으로 그림)가 있다. 개구를 줄이면 MTF는 좋아지지만 감도와 함께 앨리어싱 억제력도 잃는다.

여기서 흔한 오해 하나: "개구율을 키우면 해상력이 좋아진다"는 반대다. 개구가 작을수록 상자가 좁아 MTF는 높아진다. 그러나 앞면 조사(FSI) 시절 25~50%였던 개구율이 마이크로렌즈와 BSI로 사실상 100%(유효 개구가 피치와 같거나 크다)가 된 것은 감도를 위해서였고, 대가로 픽셀 MTF는 이론적 한계인 sinc(pν)에 붙었다. 실제 유효 개구는 마이크로렌즈의 집광 스팟, 확산, 크로스토크 때문에 피치보다 넓게 퍼지므로, 측정한 픽셀 MTF는 0.637보다 낮다.

lp/mm, cycles/pixel, LW/PH

렌즈는 lp/mm, 센서와 ISP는 cycles/pixel, 카메라 리뷰는 LW/PH(line widths per picture height)를 쓴다. 변환은 간단하다.

$$\nu\,[\text{cy/px}]=\nu\,[\text{lp/mm}]\times\frac{p\,[\mu\text{m}]}{1000},\qquad \nu_N=0.5\ \text{cy/px}=\frac{500}{p\,[\mu\text{m}]}\ \text{lp/mm},\qquad \text{LW/PH}=2\,\nu\,[\text{cy/px}]\times N_{\text{rows}}$$

1 line pair = 2 line widths. 예: 50 MP(8160×6144) 1.0 µm 센서에서 MTF50 = 0.30 cy/px이면 300 lp/mm, 2×0.30×6144 ≈ 3690 LW/PH다.

픽셀 피치	대표 센서 등급	Ny (lp/mm)	Ny/2 (lp/mm)	λN/p (F/1.8, 550 nm)	ν_c (cy/px)	MTF_diff @ Ny	× MTF_pix @ Ny
0.56 µm	200 MP 1/1.4″	893	446	1.77	0.57	0.05	0.03
0.61 µm	200 MP 1/1.3″급	820	410	1.62	0.62	0.10	0.06
0.7 µm	64 MP 1/2″급	714	357	1.41	0.71	0.18	0.12
0.8 µm	64 MP 1/1.7″, 108 MP 1/1.33″	625	313	1.24	0.81	0.27	0.17
1.0 µm	50 MP 1/1.56″	500	250	0.99	1.01	0.40	0.25
1.22 µm	12 MP 1/2.8″급	410	205	0.81	1.23	0.50	0.32
1.4 µm	12 MP 1/2.55″	357	179	0.71	1.41	0.56	0.36
2.0 µm	4-in-1 비닝(1.0 µm) 출력	250	125	0.50	2.02	0.69	0.44
3.0 µm	차량용 2~3 MP, 보안용	167	83	0.33	3.03	0.79	0.50

표의 $\nu_c$를 cycles/pixel로 쓰면 $p/(\lambda N)$이다. 이 값이 1보다 작으면(오른쪽 위 0.56~0.8 µm) 렌즈 차단 주파수가 $1/p$보다 낮아, 나이퀴스트 위의 성분 대부분이 렌즈에서 이미 걸러진다. 소형 픽셀이 OLPF 없이도 앨리어싱이 적은 이유이자, 해상도가 픽셀 수만큼 늘지 않는 이유다(11절).

샘플링과 나이퀴스트: 앨리어싱

픽셀 격자는 개구로 적분된 상을 피치 $p$ 간격으로 샘플링한다. 샘플링은 빗(comb) 함수를 곱하는 것이고, 곱은 주파수 영역에서 컨볼루션이므로 샘플 신호의 스펙트럼은 원래 스펙트럼이 $1/p$ 간격으로 복제된 것의 합이 된다.

$$\tilde I_{s}(\nu)=\sum_{k=-\infty}^{\infty}\tilde I_{\text{pre}}\!\left(\nu-\frac{k}{p}\right),\qquad \tilde I_{\text{pre}}=\tilde O\cdot\text{OTF}_{\text{lens}}\cdot\text{MTF}_{\text{pix}}\cdot\text{MTF}_{\text{xt}},\qquad \nu_N=\frac{1}{2p}$$

$\tilde I_{\text{pre}}$: 샘플링 직전(Pre-sampling) 스펙트럼. 복제본이 겹치지 않으려면 $\tilde I_{\text{pre}}$가 $|\nu|<\nu_N$ 안에 갇혀 있어야 한다(나이퀴스트–섀넌 정리). $\nu_N$보다 높은 주파수 $\nu$는 $\nu_a=|\nu-k/p|$(가장 가까운 $k$)로 접혀서 낮은 주파수인 척한다. 이것이 앨리어싱(Aliasing)이다.

그림 8-5. 샘플링은 스펙트럼을 $1/p$마다 복제한다. 원래 스펙트럼이 나이퀴스트 $\nu_N=1/(2p)$를 넘으면 복제본과 겹치고(주황 삼각형), 예를 들어 0.7 cy/px 성분은 0.3 cy/px 성분과 구별할 수 없게 된다. 한 번 겹친 성분은 어떤 후처리로도 분리할 수 없다.

앨리어싱을 막는 유일한 방법은 샘플링 전에 나이퀴스트 위 성분을 줄이는 것이다. 센서에서 그 역할을 하는 것은 렌즈 MTF, 픽셀 개구 MTF, 크로스토크, 그리고 (있다면) OLPF다. 픽셀 개구 MTF는 $1/p$에서 0이 되지만 $\nu_N$과 $1/p$ 사이에서는 0.64→0으로 천천히 줄 뿐이라, 혼자서는 좋은 저역 필터가 못 된다. 반대로 나이퀴스트 아래 성분까지 모두 살리면서 위만 자르는 '이상적 필터'는 광학적으로 만들 수 없다. 이것이 선명도와 앨리어싱 사이의 근본적 트레이드오프다.

또 하나의 함정은 위상이다. 나이퀴스트에 딱 맞는 정현파는 샘플 위치가 봉우리에 맞으면 최대 대비로, 마루와 골 사이에 맞으면 대비 0으로 찍힌다. 그래서 샘플링 시스템의 MTF는 엄밀히 정의되지 않고(위치에 따라 응답이 다르다, Shift-Variant), 측정할 때는 여러 위상을 평균한 '샘플링 전 MTF'를 쓴다. 슬랜티드 엣지 방법이 엣지를 기울이는 이유가 바로 이것이다(10절).

SIMULATOR

픽셀이 정현파를 샘플링할 때: 앨리어싱 1D 실험

입력 주파수 ν 샘플 위상 (격자 이동) 픽셀 개구율 (선형) 렌즈 λN/p

입력 → 겉보기 주파수—

렌즈 × 픽셀 MTF(ν)—

샘플 대비 (이 위상)—

상태—

해볼 것: ① ν = 0.5(나이퀴스트)에서 위상을 0 → 0.5로 움직이면 샘플 대비가 최대에서 0까지 변한다. ② ν = 0.62로 두면 점(픽셀 값)을 이은 보간 곡선은 0.38 cy/px의 '가짜' 줄무늬를 그린다. ③ ν = 1.0에서는 개구율 100%일 때 픽셀 값이 모두 같아진다(sinc 영점). 개구율을 50%로 줄이면 픽셀 값은 여전히 모두 같지만 그 값이 위상에 따라 크게 바뀐다 — 0 주파수(평균 밝기)로 앨리어싱된 것이다. ④ 렌즈 λN/p를 1.4(0.7 µm 픽셀, F/1.8)로 올리면 0.7 cy/px 이상이 렌즈에서 사라져 앨리어싱 자체가 없어진다.

모아레와 베이어 색 모아레

2차원에서 앨리어싱은 모아레(Moiré)로 보인다. 옷감의 촘촘한 직조, 건물 외벽 타일, 모니터 화면처럼 나이퀴스트 근처의 규칙적 구조를 찍으면, 접힌 저주파 성분이 원래 없던 넓은 물결무늬를 만든다. 동심원 줄무늬의 주파수가 반경에 비례해 커지는 존 플레이트(Zone Plate) 차트 $\tfrac12+\tfrac12\cos(\pi r^2/r_0^2)$는 모든 방향·모든 주파수를 한 장에 담고 있어, 앨리어싱이 어디서 시작되는지 한눈에 보여 준다. 국소 주파수가 $\nu(r)=r/r_0^2$이므로 $\nu=1/p$인 반경마다 '가짜 원점'이 다시 생긴다.

컬러 센서는 사정이 더 나쁘다. 베이어 배열(Bayer CFA)에서 G는 체크무늬(5점형)로 픽셀의 절반에, R과 B는 각각 $2p$ 간격 격자로 1/4에만 있다. 따라서 채널별 나이퀴스트가 다르다.

채널	샘플 격자	가로·세로 나이퀴스트	대각선 나이퀴스트	비고
흑백(모노)	p × p	1/(2p) = 0.5 cy/px	0.707 cy/px (대각 방향)	기준
베이어 G	5점형(체크무늬)	0.5 cy/px	0.354 cy/px	가로·세로는 모노와 같지만 대각에 약함
베이어 R, B	2p × 2p	0.25 cy/px	0.354 cy/px	색 모아레의 주범
쿼드 베이어 R, B (풀 해상도)	2×2 묶음이 4p 주기	0.125 cy/px (리모자이크 전)	—	리모자이크 알고리즘이 보완

회색 줄무늬도 R과 B가 서로 다른 위상으로 앨리어싱되면 디모자이크 후에 색이 생긴다. 이것이 색 모아레(Color Moiré, False Color)로, 밝기 모아레보다 훨씬 눈에 띈다. ISP의 디모자이크는 G의 고주파를 R·B에 빌려 주고(색차 보간) 색 모아레 억제(false color suppression)를 하지만, 정보 자체가 접혀 버린 부분은 완전히 되살리지 못한다. 쿼드 베이어(SensorBook 색 장)는 같은 색 2×2가 뭉쳐 있어 풀 해상도 리모자이크 때 이 문제가 더 커진다.

SIMULATOR

존 플레이트 촬영: 모아레, 베이어 색 모아레, OLPF

센서

최대 주파수 (가장자리) 렌즈 λN/p OLPF 분리 d/p 왼쪽에 이상적(샘플링 전) 상 표시

나이퀴스트 원 반경—

MTF@Ny (렌즈×픽셀×OLPF)—

앨리어스 에너지 (Ny 밖/안)—

위색(false color) RMS—

해볼 것: ① 흑백, λN/p = 0.5(큰 픽셀)에서 점선 원(Ny) 바깥에 동심원 '가짜 원점'이 생긴다. ② 베이어로 바꾸면 Ny/2 원 바깥부터 무지개색 위색이 생긴다 — R·B 나이퀴스트가 절반이기 때문이다. ③ OLPF d/p = 1을 켜면 모아레와 위색이 크게 줄지만, Ny 안쪽의 대비도 함께 떨어진다. ④ OLPF를 끄고 λN/p를 1.4 이상(0.7 µm급 픽셀)으로 올려도 비슷한 효과가 난다 — 렌즈 자체가 저역 필터다. 오른쪽 영상의 한 화소 = 센서 한 픽셀(96×96), 연산은 픽셀당 4×4 부표본 적분.

광학 저역 통과 필터(OLPF)와 모바일이 OLPF를 버린 이유

나이퀴스트 위 성분을 광학적으로 줄이는 장치가 광학 저역 통과 필터(Optical Low-Pass Filter, OLPF, Anti-Aliasing Filter)다. 표준 구조는 복굴절 결정판(수정 또는 LiNbO₃)으로, 비편광을 o·e 두 편광으로 나누어 $d=t\tan\rho$만큼 떨어진 두 점을 만든다(9장). 판 두 장을 직교로 쌓고(사이에 편광을 섞는 λ/4판 또는 45° 회전판) 한 점을 네 점으로 나눈다.

$$\text{PSF}_{\text{OLPF}}=\tfrac14\big[\delta(x,y)+\delta(x-d,y)+\delta(x,y-d)+\delta(x-d,y-d)\big]\;\Rightarrow\;\text{MTF}_{\text{OLPF}}=\left|\cos(\pi\nu_x d)\right|\,\left|\cos(\pi\nu_y d)\right|$$

$d$: 점 분리 거리. 첫 영점은 $\nu=1/(2d)$이므로 $d=p$이면 정확히 나이퀴스트에서 0이 된다. 이때 Ny/2에서의 MTF는 $\cos(\pi/4)=0.71$로, 통과 대역의 대비도 상당히 깎인다. 점 이동은 순수한 평행 이동이라 PTF는 $e^{-i\pi\nu d}$ 위상 지연(상 전체가 d/2 이동)에 0/180° 부호 변화만 더한다.

그림 8-6. 4점 분리 복굴절 OLPF. 첫 판은 가로로, 둘째 판은 세로로 e 광선을 $d$만큼 비켜 보내고, 사이의 λ/4판은 둘째 판에서 다시 두 편광 성분이 생기도록 편광을 원편광으로 바꾼다. $d=p$이면 MTF의 첫 영점이 나이퀴스트에 온다. 수정의 워크오프는 두께 1 mm당 약 5.9 µm이므로 $p=4.3$ µm DSLR이면 판 한 장이 약 0.73 mm다.

2010년대 초까지 대부분의 DSLR·캠코더와 일부 휴대폰 카메라가 OLPF를 썼지만, 지금의 모바일 센서에는 거의 없다. 이유는 네 가지다.

렌즈가 이미 저역 필터다. 0.6~1.0 µm 픽셀과 F/1.8 렌즈에서는 $\lambda N/p\approx1\sim1.8$로, 회절 MTF가 나이퀴스트에서 0.05~0.4에 불과하고 $1/p$ 근처에서는 거의 0이다(5절 표). OLPF를 더하면 앨리어싱은 조금 줄고 해상력은 크게 준다.
두께와 공간. 1 µm 피치용 수정판도 0.17 mm × 2장 + λ/4판이 필요하다. 모듈 높이(TTL)가 0.1 mm 단위로 싸우는 휴대폰에서 이 두께와 그에 따른 구면수차·초점 이동은 큰 부담이다.
원가와 반사. 결정판 여러 장, 각 면의 AR 코팅, 접합 공정이 원가와 고스트(16장)를 늘린다.
ISP와 고화소. 디모자이크의 색 모아레 억제가 좋아졌고, 고화소 센서는 기본 출력을 4-in-1/16-in-1 비닝으로 내기 때문에 출력 해상도 기준으로는 오버샘플링 상태다. 고화소 미러리스들도 2012년 이후 OLPF를 빼거나 약하게 하는 추세다.

대신 모바일에서 앨리어싱이 문제가 되는 곳은 따로 있다: 큰 픽셀의 차량용·보안용 센서(2~3 µm, λN/p ≈ 0.3~0.5), 망원 모듈의 쿼드 베이어 풀 해상도 모드, 그리고 화면(디스플레이)을 찍는 경우다.

시스템 MTF 사슬과 ISP 샤프닝

지금까지의 요소는 모두 선형 필터이므로 곱해진다. 17장의 사슬에 OLPF와 ISP를 더해 센서 출력 영상 기준으로 쓰면 다음과 같다.

$$\text{MTF}_{\text{sys}}(\nu)=\underbrace{\text{MTF}_{\text{lens}}(\nu)}_{\text{회절·수차·디포커스}}\cdot\underbrace{\text{MTF}_{\text{OLPF}}(\nu)}_{|\cos\pi\nu d|}\cdot\underbrace{\text{MTF}_{\text{pix}}(\nu)\cdot\text{MTF}_{\text{xt}}(\nu)}_{\text{센서}}\cdot\underbrace{H_{\text{ISP}}(\nu)}_{\text{디모자이크·샤프닝}},\qquad H_{\text{USM}}(\nu)=1+g\left[1-e^{-2\pi^2r^2\nu^2}\right]$$

$H_{\text{USM}}$: 언샤프 마스크(Unsharp Mask) 샤프닝. 원본에서 가우시안(반경 $r$ 픽셀)으로 흐린 영상을 빼서 $g$배 더한다. 저주파는 1, 고주파는 $1+g$배로 올린다. 디지털 필터이므로 $\nu\le\nu_N$에서만 의미가 있고, 노이즈도 똑같이 증폭한다.

센서 평가에서 많이 쓰는 지표는 두 가지다. MTF50은 MTF가 0.5로 떨어지는 주파수로, 사람이 느끼는 선명도와 상관이 높다. MTF@Ny(나이퀴스트에서의 MTF)는 픽셀이 담을 수 있는 가장 미세한 정보의 대비이자 앨리어싱 위험의 지표다. 샤프닝은 이 두 숫자를 쉽게 부풀리므로 센서·렌즈 자체를 평가할 때는 RAW(샤프닝 없음)로 측정해야 한다.

SIMULATOR

MTF 사슬 + ISP 샤프닝: MTF50, MTF@Ny, 엣지 헤일로

픽셀 피치 p F-넘버 렌즈 RMS 파면 확산·크로스토크 σ/p OLPF d/p 샤프닝 이득 g 샤프닝 반경 r

MTF50 (cy/px · lp/mm)—

MTF@Ny / MTF@Ny/2—

MTF 최대값 (과샤프닝 > 1)—

엣지 오버슈트—

백색 노이즈 증폭—

앨리어스 에너지 비—

해볼 것: ① 기본값(1.0 µm, F/1.8)에서 MTF50이 몇 cy/px인지 확인한 뒤, 샤프닝 g = 1.5를 주면 MTF50이 얼마나 '좋아지는지', 대신 엣지에 헤일로(오버슈트)와 노이즈 증폭이 얼마나 생기는지 보자. ② 피치를 0.6 µm로 줄이면 cy/px 기준 MTF50은 크게 떨어지지만 lp/mm 기준은 거의 그대로다 — 렌즈 제한 영역. ③ 피치 2.4 µm에서는 앨리어스 에너지 비가 커진다. OLPF d/p = 1이 이것을 얼마나 줄이고 MTF50을 얼마나 희생하는지 비교하자. ④ σ/p는 작은 픽셀일수록 같은 µm 크로스토크라도 커진다(DTI의 가치).

MTF가 1을 넘으면 의심하라

슬랜티드 엣지로 측정한 MTF가 중간 주파수에서 1.1~1.3을 넘는다면 거의 확실히 ISP 샤프닝이 켜진 JPEG/YUV 영상이다. 이런 값으로 렌즈나 픽셀을 비교하면 샤프닝을 세게 건 쪽이 이긴다. 휴대폰 카메라 리뷰의 MTF50 수치가 센서 크기와 잘 맞지 않는 이유다. 센서 개발에서는 RAW, 선형화(블랙 레벨 제거, 감마 없음), 디모자이크 없음(채널별 또는 G 채널만)을 원칙으로 한다. 반대로 최종 화질 튜닝에서는 MTF50과 오버슈트·노이즈 증폭을 함께 보며 샤프닝 강도를 정한다.

슬랜티드 엣지 SFR: ISO 12233 측정

센서와 카메라의 MTF를 실제로 측정하는 표준이 ISO 12233의 슬랜티드 엣지 SFR(Spatial Frequency Response)이다. 정현파 차트 없이 흑백 경계 하나만 있으면 되고, 경계를 수직에서 약간(보통 5° 안팎) 기울이는 것이 핵심 아이디어다. 기울어진 경계는 행마다 픽셀 격자에 대한 위치가 조금씩 달라서, 여러 행의 픽셀 값을 경계로부터의 거리로 정렬하면 픽셀 피치보다 촘촘한(보통 1/4 픽셀) ESF를 얻는다. 샘플링의 위상 문제(6절)를 이렇게 평균으로 풀고, 나이퀴스트 위까지 샘플링 전 MTF를 잴 수 있다.

그림 8-7. ISO 12233 슬랜티드 엣지 알고리즘. ① 관심 영역(ROI)의 행마다 엣지 중심(LSF 무게중심)을 구해 직선으로 맞춘다. ② 모든 픽셀을 엣지까지의 거리로 투영해 1/4 픽셀 빈에 평균하면 4배 오버샘플된 ESF가 된다. ③ 유한 차분으로 미분해 LSF를 얻고 해밍 창으로 노이즈 꼬리를 누른다. ④ DFT의 크기를 0 주파수로 정규화하면 SFR(= 샘플링 전 MTF)이다.

세부 사항이 정확도를 좌우한다. 기울기가 너무 작으면(1~2°) ROI 높이 안에서 위상이 한 픽셀을 다 돌지 못해 빈이 비거나 특정 위상에 몰리고, 너무 크면 엣지 방향이 축과 어긋나 대각 MTF가 섞인다. 4배 빈의 유한 차분 $[-\tfrac12,0,\tfrac12]$은 그 자체로 $\operatorname{sinc}$형 저역 응답 $\sin(2\pi\nu\Delta)/(2\pi\nu\Delta)$($\Delta=p/4$)을 가지므로 보정해 준다. ISO 12233:2017은 경사 각도에 따른 주파수 축 보정($\cos\theta$)도 포함한다. 또 SFR은 선형 신호에서만 의미가 있으므로 감마가 걸린 영상은 OECF로 먼저 선형화해야 한다.

SIMULATOR

슬랜티드 엣지 SFR을 직접 구현: 측정 vs 참값

엣지 기울기 θ 렌즈 λN/p 노이즈 (흰 쪽 SNR 기준) ROI 높이 (행) 해밍 창 미분 필터 보정

추정 기울기—

MTF50 측정 / 참값—

MTF@Ny 측정 / 참값—

빈 채움 (빈 수/전체)—

해볼 것: ① 기본값에서 측정 SFR(실선)이 참값 $\text{MTF}_{\text{diff}}\cdot\text{sinc}$(점선)과 나이퀴스트 너머까지 겹치는지 보자. ② θ = 0°로 두면 엣지가 격자와 평행해 오버샘플이 안 되므로, 빈 대부분이 비어 측정이 깨진다(엣지 위상에 따라 운에 맡긴 결과). ③ 노이즈를 3%로 올리고 해밍 창을 끄면 고주파에 노이즈 바닥이 생긴다. ④ 미분 보정을 끄면 고주파 MTF가 약간 낮게 나온다. ⑤ ROI 높이를 8행으로 줄이면 θ = 5°에서 위상 커버가 0.7 픽셀에 그쳐 빈이 듬성듬성해진다. (ROI 64열, 렌즈는 회절 한계, 픽셀 개구 100%)

실무 노트: 센서 SFR 측정에서 자주 틀리는 것

① 렌즈를 빼고 잴 수 없다: 센서 MTF를 보려면 측정용으로 MTF가 충분히 높은(나이퀴스트에서 0.7 이상) 고해상 렌즈나 현미경 대물 투사계를 쓰고, 그 렌즈 MTF로 나누어 픽셀 MTF를 추정한다. ② 채널별: 베이어 RAW에서 G1/G2/R/B를 따로 추출하면 샘플 간격이 $2p$이므로 주파수 축을 다시 맞춘다. 디모자이크 영상으로 재면 디모자이크 알고리즘의 MTF가 섞인다. ③ 엣지 대비: ISO 12233:2014부터 저대비(4:1) 엣지를 권장한다. 고대비 엣지는 포화·플레어·비선형으로 MTF를 왜곡한다. ④ 위치: 화면 중심·0.5·0.8 필드에서 가로·세로 엣지를 모두 재야 S/T와 픽셀 비대칭(예: 직사각 포토다이오드, 2×1 OCL 위상차 픽셀)이 드러난다. ⑤ 파장: 적색·NIR은 확산 때문에 픽셀 MTF가 확연히 낮다. 940 nm 조명 센서는 반드시 해당 파장으로 측정한다.

렌즈 제한 vs 픽셀 제한: 피치를 줄이면 해상력이 늘까

시스템 MTF를 회절과 픽셀만으로 단순화하면 무차원 수 하나가 모든 것을 정한다. 바로 $Q=\lambda N/p$(17장)다. cycles/pixel 단위로 회절 차단은 $1/Q$이고 픽셀 MTF는 피치와 무관한 $\operatorname{sinc}(\nu)$이므로, $Q$가 같으면 cycles/pixel 기준 MTF 곡선은 완전히 같다.

$$\text{MTF}_{\text{sys}}(\nu_{\text{px}})=\text{MTF}_{\text{diff}}\!\left(\nu_{\text{px}}\cdot Q\right)\cdot\left|\operatorname{sinc}(\nu_{\text{px}})\right|,\qquad Q=\frac{\lambda N}{p},\qquad \nu_{\text{lp/mm}}=\frac{1000\,\nu_{\text{px}}}{p\,[\mu\text{m}]}$$

$Q<1$: 픽셀 제한(Pixel-limited). 픽셀을 줄이면 해상력이 거의 비례해서 는다. 앨리어싱 위험이 크다. $Q>2$: 렌즈 제한(Lens/Diffraction-limited). 픽셀을 줄여도 lp/mm 해상력은 거의 늘지 않고, 앨리어싱은 사라진다. $Q\approx1\sim2$가 대부분의 모바일 메인 카메라다. 실제 렌즈는 수차가 있어 유효 $Q$가 더 크다.

그렇다고 작은 픽셀이 의미가 없는 것은 아니다. 렌즈 제한 영역에서도 픽셀을 줄이면 MTF@Ny는 떨어지지만 $\nu<\nu_c$ 범위의 정보를 더 촘촘히 샘플링하므로 앨리어싱 없는 깨끗한 상을 얻고, 디지털 줌·크롭·비닝(4-in-1 출력 시 2배 피치 센서처럼 동작)의 유연성이 생긴다. 다만 같은 면적에서 픽셀 수만큼 '선명해진다'는 기대는 $Q>1$부터 빠르게 틀어진다. 아래 지도에서 픽셀 피치와 F/#에 따른 해상력을 cycles/pixel과 lp/mm 두 관점으로 비교해 보자.

SIMULATOR

피치 × F/# 지도: 렌즈 제한과 픽셀 제한의 경계

표시 값

파장 λ 커서 피치 p 커서 F/#

Q = λN/p—

영역—

MTF@Ny—

MTF50—

1/1.56″ 센서 기준 화소 수 · LW/PH—

해볼 것: ① 'MTF50 (lp/mm)'에서 F/1.8 행을 따라 피치를 3 → 0.5 µm로 줄이면 lp/mm 해상력이 처음엔 빠르게 늘다가, Q = 1(흰 점선)을 넘어 왼쪽 위(렌즈 제한 쪽)로 들어가면 거의 늘지 않는다. ② 'LW/PH'는 센서 크기를 1/1.56″(세로 6.1 mm)로 고정했을 때의 실제 영상 해상력이다. 픽셀 수가 4배가 되어도 LW/PH는 4배(선형 2배)가 아니라는 점을 확인하자. ③ 파장을 650 nm로 바꾸면 경계(Q = 1, 2 곡선)가 큰 피치 쪽으로 이동한다 — R 채널이 먼저 렌즈 제한에 걸린다. 지도 위를 클릭해도 커서가 옮겨진다. (회절 한계 + 100% 개구 픽셀 모델)

MTF 하나로 다 말할 수 있을까

MTF는 선형·시불변·결맞지 않는 결상이라는 가정 위의 지표다. 실제 카메라는 ① 샘플링 때문에 위치에 따라 응답이 다르고(앨리어싱은 MTF 곡선에 나타나지 않는다), ② 노이즈 감소·로컬 톤 매핑·AI 디테일 복원처럼 장면에 따라 달라지는 비선형 처리를 하며, ③ 화면 위치와 색마다 MTF가 다르다. 그래서 화질 평가에는 MTF와 함께 텍스처 보존(데드 리브즈 차트), 앨리어싱·위색 지표, 노이즈 파워 스펙트럼(NPS), 그리고 둘을 묶은 NEQ·DQE 같은 정보량 지표를 같이 쓴다. NPS와 NEQ는 SensorBook의 특성 평가 장에서 다룬다.

핵심 정리

OTF = 정규화 PSF(LSF)의 푸리에 변환 = MTF·e^iPTF. 정현파는 컨볼루션 후에도 정현파이고, 대비만 MTF배, 위치는 PTF만큼 변한다. PTF = 180°는 대비 반전이다.
회절 한계 MTF는 동공 자기상관(겹친 원의 면적)이며 $\nu_c=1/(\lambda N)$에서 0이다. F/1.8·550 nm에서 1010 lp/mm, 1 µm 픽셀 Ny(500 lp/mm)에서 0.40.
수차는 MTF를 절대 올리지 못한다. 디포커스 $W_{020}=\Delta z/(8N^2)$은 중간 주파수를 먼저 깎고, 크면 대비 반전을 만든다. 비점수차·코마는 S/T 방향 MTF를 갈라 놓는다.
렌즈 데이터시트의 화각별 MTF와 스루 포커스 MTF는 상면 만곡·비점수차가 가장자리 S/T 최적 초점을 어떻게 어긋나게 하는지 보여 준다. 기준 주파수(Ny의 피치)와 파장 가중을 꼭 확인한다.
픽셀 개구 MTF = |sinc(aν)|, 100% 개구에서 Ny에서 0.637(피치 무관). 확산·크로스토크는 가우시안 $e^{-2\pi^2\sigma^2\nu^2}$으로 곱해진다. ν[cy/px] = ν[lp/mm]·p[µm]/1000.
샘플링은 스펙트럼을 1/p마다 복제한다. ν_N = 1/(2p) 위 성분은 $|\nu-k/p|$로 접혀 앨리어싱·모아레가 되며, 샘플링 후에는 제거할 수 없다.
베이어의 R·B는 2p 격자라 나이퀴스트가 절반이다. 회색 고주파도 R·B 앨리어싱 위상 차이 때문에 색 모아레(위색)가 된다.
복굴절 OLPF의 MTF는 |cos πνd|, d = p면 Ny에서 0. 소형 픽셀 모바일은 렌즈가 이미 저역 필터(λN/p ≥ 1)이고 두께·원가 부담이 커서 OLPF를 쓰지 않는다.
시스템 MTF = 렌즈 × OLPF × 픽셀 × 크로스토크 × ISP. 샤프닝은 MTF50을 부풀리고 헤일로와 노이즈를 키우므로 센서 평가는 RAW로 한다.
슬랜티드 엣지(ISO 12233)는 기울어진 엣지로 4배 오버샘플 ESF를 만들고 미분·창·DFT로 샘플링 전 MTF(SFR)를 얻는다. 기울기, ROI 높이, 노이즈, 선형화가 정확도를 좌우한다.
Q = λN/p가 렌즈 제한(Q > 2)과 픽셀 제한(Q < 1)을 가른다. 렌즈 제한 영역에서는 픽셀을 줄여도 lp/mm 해상력이 거의 늘지 않는다.

확인 퀴즈

Q1. 대비 m = 0.8인 정현파 차트를 MTF = 0.35인 주파수에서 촬영했다. 상의 변조도는?

출력 변조도 = 입력 변조도 × MTF = 0.8 × 0.35 = 0.28. MTF는 대비 전달 비율이다.

Q2. F/2.0 렌즈, λ = 500 nm에서 회절 한계 차단 주파수와, 0.8 µm 픽셀 나이퀴스트에서의 회절 MTF에 가장 가까운 것은?

$\nu_c=1/(0.5\,\mu\text{m}\times2)=1\,\mu\text{m}^{-1}=1000$ lp/mm. Ny = 1/(2·0.8 µm) = 625 lp/mm, $\nu/\nu_c=0.625$: $\phi=\arccos0.625=0.896$, MTF = (2/π)(0.896 − 0.625·0.781) ≈ 0.26. 0.64는 픽셀 개구 MTF 값이다.

Q3. 디포커스가 큰 렌즈로 지멘스 스타를 찍었더니 어떤 반경 안쪽에서 흰 바퀴살과 검은 바퀴살이 뒤바뀐 것처럼 보였다. 그 이유는?

디포커스 PSF(균일 원판)의 OTF는 $2J_1(\pi c\nu)/(\pi c\nu)$로, $\nu>1.22/c$에서 음수가 된다. 대칭 PSF라 위상이 정확히 180°로 뒤집혀 명암이 반전된 '가짜 해상'이 나타난다.

Q4. 개구율 100%인 정사각 픽셀의 MTF가 나이퀴스트 주파수에서 갖는 값은 피치에 따라 어떻게 되는가?

$\operatorname{sinc}(p\cdot\tfrac{1}{2p})=\operatorname{sinc}(0.5)=\sin(\pi/2)/(\pi/2)=2/\pi$. cycles/pixel로 보면 모든 센서의 개구 MTF는 같다.

Q5. 1.0 µm 피치 센서에 0.7 cy/px 줄무늬가 렌즈를 통과해 들어왔다. 영상에 나타나는 줄무늬의 겉보기 주파수는?

가장 가까운 복제 중심 k/p = 1.0 cy/px에서 접혀 $|0.7-1.0|=0.3$ cy/px(300 lp/mm)가 된다. 샘플 값만으로는 진짜 0.3 cy/px 줄무늬와 구별할 수 없다.

Q6. 베이어 센서에서 회색 줄무늬를 찍었을 때 색 모아레가 G 채널 나이퀴스트보다 낮은 주파수에서 먼저 나타나는 이유는?

R과 B는 2×2 블록당 하나씩, 즉 2p 간격으로 샘플링된다. 0.25 cy/px 위의 성분은 R·B에서 서로 다른 위상으로 앨리어싱되어 디모자이크 후 위색을 만든다.

Q7. 분리 거리 d = p인 4점 OLPF의 가로 방향 MTF가 Ny/2에서 갖는 값은?

$|\cos(\pi\nu d)|$에 $\nu=1/(4p)$, $d=p$를 넣으면 $\cos(\pi/4)=0.707$. Ny에서는 0이다. 해상력에 대한 대가가 크기 때문에 렌즈가 이미 Ny 근처를 거의 다 거르는 소형 픽셀 모바일에서는 OLPF를 쓰지 않는다.

Q8. 슬랜티드 엣지 측정에서 엣지를 픽셀 격자와 완전히 평행(0°)하게 두면 생기는 문제는?

기울기가 있어야 행마다 엣지가 격자에 대해 다른 위치에 놓여 1/4 픽셀 빈을 고르게 채운다. 0°에서는 피치 간격 ESF뿐이라 나이퀴스트 이상을 잴 수 없고, 앨리어싱된 결과가 엣지의 서브픽셀 위치에 좌우된다.

Q9. 0.6 µm 픽셀(4-in-1 비닝 시 1.2 µm)에 F/1.9 렌즈를 쓴다. 녹색(550 nm) 기준 풀 해상도 모드의 Q = λN/p와 그 의미로 옳은 것은?

$Q=0.55\times1.9/0.6=1.74$. cy/px 기준 회절 차단이 1/Q = 0.57로 Ny(0.5)를 겨우 넘으므로 MTF_diff(Ny) ≈ 0.06. 비닝 출력(1.2 µm)에서는 Q ≈ 0.87로 픽셀 제한 쪽이다.

Q10. 휴대폰 JPEG 영상으로 잰 슬랜티드 엣지 MTF가 0.2 cy/px 근처에서 1.25였다. 가장 그럴듯한 해석은?

광학·픽셀 MTF는 모두 1 이하다. 1을 넘는 것은 디지털 처리(언샤프 마스크 등)의 이득이며, 엣지 오버슈트(헤일로)와 노이즈 증폭이 함께 생긴다.