침실 GAN의 잠재공간을
CAM으로 해석하기

한 보고서가 아니라, 다섯 라운드의 대화

이 페이지는 한 번에 만들어지지 않았다. 사용자의 질문이 매 단계 분석을 낳았고, 그 결과가 다음 질문을 낳는 식으로 5번의 라운드를 거쳤다. 아래는 *왜 어떤 분석이 등장했는지*의 시간순 흐름. 각 step은 해당 섹션으로 점프 가능.

사고 과정: 무엇을 알고 싶었는가

HiGAN bedroom256은 침실 이미지를 생성하는 StyleGAN 변형이다. 부수적으로 학습된 semantic boundary들은 잠재공간 안에 indoor_lighting, wood, view 같은 의미 방향이 존재함을 보여준다. v1 노트북은 거기서 멈췄다. v2는 한 단계 더 묻는다.

FIG 0. HiGAN bedroom256 생성기 8장 무작위 샘플 (256×256, RTX 3070, 1초 미만)

최적화 인버전이 사실은 동작하지 않고 있었다

v1 노트북의 최적화 기반 인버전은 매 step마다 easy_synthesize(latent_np, ...)를 호출했다. 이 함수는 내부적으로 get_value()로 결과를 detach + numpy uint8 변환하는데, 그 순간 잠재→이미지의 autograd 그래프가 끊긴다. 손실에 .requires_grad_()를 다시 붙여도 그건 optimizer가 추적하는 latent_code와 무관한 새 텐서다. 결과적으로 backward()가 produced하는 latent_code의 gradient는 0이 되고, "최적화"는 random 초기화 10번 중 운 좋은 하나를 고르는 셈이 되었다.

# v1 — easy_synthesize는 detach + numpy로 그래프를 끊는다
latent_code_np = latent_code.detach().cpu().numpy()
generated     = model.easy_synthesize(latent_code_np, latent_space_type='wp')
img_t = torch.tensor(generated['image'].transpose(0,3,1,2))/255.0
img_t.requires_grad_()   # 새 leaf — latent_code와 무관함
loss.backward()          # latent_code.grad == None

# v2 — synthesis()를 직접 호출, gradient flow 유지
class HiGANGenerator(nn.Module):
    def synthesize(self, wp):                # wp.requires_grad=True OK
        return self._net.synthesis(wp)     # torch tensor, autograd alive

wp = G.sample_wp(1).requires_grad_(True)
img = G.synthesize(wp)
loss = (img - target).pow(2).mean()
loss.backward()
assert wp.grad.norm() > 0          # 0.30 in our test

target (synthetic, GT exists)

v2 optim recon — 1000 step

.py 패키지로 다시 짜기

Colab 의존성을 제거하고, 모듈 단위로 책임을 분리했다. RTX 3070 8 GB에 맞춰 배치/메모리를 조정하고, fp16 autocast가 StyleGAN 합성 op에서 NaN을 만드는 사실을 발견해 fp32로 고정했다 (그래도 5.4 GB만 사용).

두 인버전 방식, 정확도 vs 속도

같은 4장의 침실 이미지(generator로 생성, GT wp 존재)에 대해 (a) 1000 step Adam 최적화와 (b) 학습된 인코더 1-pass를 비교했다. 정확도는 최적화가 압승, 속도는 인코더가 600배 우위. 실시간 편집이나 대량 처리에는 인코더가, 단발 고정확도 매핑에는 최적화가 적합.

FIG 4. 행 = 4개 테스트 이미지, 열 = target | optim 1000step | encoder 1-pass. 인코더는 공간 구조는 잘 잡지만 색·텍스처가 평균화됨 (under-fit 신호).

iter 3000 — 공간 구조만 잡힘

iter 20000 — 색·구조 모두 개선

각 패널: 좌 4장 = target / 우 4장 = encoder reconstruction

잠재 방향이 이미지의 어디에 작용하는가 — 첫 번째 답

각 boundary 방향 b에 대해 잠재코드를 ±δ만큼 흔들고, 결과 이미지 차이를 64개 샘플에 걸쳐 평균. 코드가 짧고 backward가 필요 없어서 가장 단순한 분석. 여기서 spatial 패턴이 분명히 드러나지만, 다음 섹션의 진짜 gradient 결과와 비교하면 차이가 큼.

# forward-only finite difference (no backward)
for i in range(N):
    wp = G.sample_wp(1)
    img_pos = G.synthesize(wp + δ * boundary)
    img_neg = G.synthesize(wp - δ * boundary)
    abs_diff += |img_pos - img_neg|              # 픽셀별 변화량
saliency = abs_diff / N                          # (H, W) 히트맵

indoor_lighting

상단 중앙 — 조명·천장

view

좌·우 상단 수직 띠 — 창문

wood

중앙 띠 — 침대 프레임·바닥

carpet

하단 — 바닥

glossy

중앙 — 침구·반사면

진짜 역전파를 흘려서 같은 질문을 다시 답하기

Boundary 방향 b를 따라 잠재공간에서 한 발 움직이는 양을 스칼라 α로 두고, 출력 이미지의 모든 픽셀에 대해 ∂I[c,h,w]/∂α를 직접 계산한다. 1입력(α) → 다출력(3·H·W) 구조이므로 forward-mode 자동미분(JVP)이 효율적이고, 이는 generator의 backward graph를 한 번 통과하는 연산이다. 분류기 score 자리에 "잠재 방향"이 들어간 Grad-CAM의 정신적 자매.

from torch.func import jvp

# α: scalar perturbation along boundary direction
def G_along(α):
    wp_p = wp + α.view(B, 1, 1) * b_layered     # (B, L, D)
    return G.synthesize(wp_p)                  # (B, 3, H, W)

# JVP: forward-mode autodiff. tangent direction = unit step in α.
# Result is the *exact* per-pixel sensitivity ∂I/∂α at α=0.
img, dimg_dα = jvp(G_along, (torch.zeros(B),), (torch.ones(B),))

saliency = dimg_dα.abs().mean(dim=1)         # (B, H, W) per-pixel

개별 샘플별 saliency — 진짜 헤드라인 결과

각 행 = 4개의 무작위 침실. 컬럼: 원본 | gradient saliency | overlay. 역전파 신호가 각 침실의 실제 lamp/창문/우드 프레임을 정확히 짚어낸다.

FIG 6.1 · indoor_lighting   침실마다 켜진 램프/창문/조명 영역에 정확히 hot spot. 같은 boundary가 각 scene에 맞춰 다른 위치를 가리킴.

FIG 6.2 · wood   침대 헤드보드, 침대 프레임, 우드 패널 윤곽선이 선명하게 잡힘.

FIG 6.3 · view   창문/문 형상 + 그 너머의 풍경 경계에 saliency 집중. layer 0–4(저주파) 조작 결과.

"이 attribute는 어느 layer가 만드는가"

indoor_lighting boundary는 layer 6–11에 영향을 준다 (HiGAN 메타데이터). 그렇다면 그 6개 layer 중 어느 것이 *어디*를 만드는가? JVP에 layer mask만 바꿔 한 layer에만 boundary 방향을 두고 6번 다시 돌렸다. 추가 학습 0.

FIG 7.1 · indoor_lighting   layer 6→11. 낮은 layer는 약하고, layer 10·11(가장 fine)이 lighting 효과의 대부분을 carry. StyleGAN 계층의 "fine = 색·텍스처" 가설과 정렬.

FIG 7.2 · wood   layer 9·10이 침대 프레임 윤곽·우드톤을 만들고, 11은 표면 grain. mid–fine 영역.

FIG 7.3 · view   coarse layer 0–4. 0은 거의 정보 없고, layer 1·2가 창문 형상의 핵심 윤곽선, 3·4가 벽·문 같은 큰 구조.

모든 attribute를 모든 layer에 적용해보면?

HiGAN 메타데이터는 각 attribute의 canonical layer 범위만 알려준다 (예: indoor_lighting → layers 6–11). 하지만 boundary 방향을 다른 layer에 강제로 적용하면 어떻게 될까? 8 attribute × 14 layer = 112 cell의 완전 매트릭스. 초록 테두리 = canonical layers, 빨강 = peak intensity layer.

FIG 8.1   각 cell = 해당 attribute boundary 방향을 layer i에만 적용했을 때의 saliency. 모두 같은 base latent 16개 평균.

8개 attribute는 정말 독립적인가?

HiGAN의 8 boundary가 의미적으로 깔끔하게 분리돼 있는지 정량 측정. 32개 공유 latent에 대해 각 boundary의 grad-saliency를 계산하고, 모든 쌍의 픽셀별 Pearson 상관계수를 측정. 높을수록 entangled.

FIG 8.1   |abs| saliency 픽셀별 Pearson. 진한 빨강 = 강한 entanglement. view 행/열만 옅음 → 다른 7개와 분리됨. 7×7 우측 블록은 모두 0.6+ 의 강한 상관 (표면 텍스처 류 attribute들이 같은 픽셀들에서 작동).

"램프만 켜고 침구는 그대로" — saliency를 마스크로 쓰기

grad-saliency map을 가우시안 블러 + threshold로 soft mask로 변환한 뒤, attribute 편집을 그 마스크 안에서만 적용: I_local = I_edited · m + I_orig · (1 − m). 글로벌 편집의 부작용(다른 영역 변색 등)을 즉시 제거. saliency가 단순 시각화가 아니라 *실용 마스크*로 동작함을 보임.

FIG 9.1   동일 침실에 indoor_lighting / wood / view boundary 적용. 컬럼: original / saliency / soft mask / global edit (전 픽셀) / local edit (saliency 영역만). indoor_lighting 행에서 글로벌 편집은 화면 전체가 따뜻해지지만, local edit은 lamp 영역만 바뀌고 침구는 보존.

인코더는 입력의 어디를 보고 wp를 결정하는가

Generator-side로 봤던 같은 도구를 인코더에 거꾸로 적용. s(x) = ⟨E(x)manipulate_layers, b̂⟩의 스칼라를 계산하고, reverse-mode autograd로 ∂s/∂x를 측정. "boundary 방향으로 인코더가 wp를 옮기게 만드는 입력 픽셀"의 위치.

indoor_lighting

view

학습 없이 새 의미 방향 찾기

HiGAN의 8 boundary 외에 W+ 공간에서 96개 임의 단위 방향을 뽑고 각각의 grad-saliency 계산. "top-5% 픽셀에 mass가 얼마나 집중되는가" 메트릭으로 정렬해서, spatially 의미 있는 방향만 추림. 학습 없이, 라벨 없이, attribute 분류기 없이.

FIG 11.1   96개 후보 중 가장 spatial 집중 8개. 컬럼: heatmap / overlay. 거의 전부 layer 1–4 (coarse 구조)에서 추출되며, 결과는 창문/문 윤곽, 벽 모서리, 침대 라인 같은 구조적 위치를 자동으로 짚음.

두 attribute를 동시에 켜면 saliency는 더해질까, 간섭할까?

α·b₁ + β·b₂ 로 동시 편집한 결과의 saliency를 (1) 직접 JVP 계산한 값과 (2) 개별 saliency의 단순 합과 비교. 픽셀별 Pearson 상관계수로 정량 측정. 0.95+면 "선형 합성", 그 이하면 "비선형 간섭".

FIG 12.1   5개 attribute 쌍에 대해, 각 행: sal(a) | sal(b) | sal(a+b) actual | sal(a)+sal(b) expected | |actual−expected|.

attribute별 saliency가 침실에 따라 얼마나 흔들리는가

같은 base latent 32개 위에서 각 attribute의 saliency map을 따로 계산하고, 32×32 sample-pair 상관계수의 평균(consistency)과 픽셀별 std/mean(CV)를 측정. consistency 높음 = "이 attribute의 spatial 패턴이 침실 종류와 무관하게 안정적".

FIG 13.1   위 행: 각 attribute의 32-sample 평균 saliency. 아래 행: 픽셀별 std (변동성). view 열의 std가 가장 다이내믹하고 거의 다른 패턴.

진짜 Grad-CAM에 가장 가까운 형태 — 중간 conv 활성화의 미분

Grad-CAM은 분류기의 conv feature map에 대한 gradient를 본다. 우리 generator는 분류기는 아니지만, 중간 conv block의 활성화에 대한 ∂(activation)/∂α를 계산할 수 있다 — 같은 mechanism. StyleGAN bedroom의 7개 block (4×4 → 8 → 16 → 32 → 64 → 128 → 256)에서 attribute가 *언제* spatial로 등장하는지 추적.

FIG 14.1   각 행 = attribute, 각 열 = synthesis block (4 → 256 px). 모든 셀은 같은 표시 크기로 업샘플.

학습 없이, 라벨 없이 GAN이 만들 수 있는 attribute family를 자동 발견

W+ 공간에서 임의 단위 방향 256개를 샘플링하고, 각각의 grad-saliency map을 계산. PCA(32d) + K-means(k=8) 로 saliency 패턴을 클러스터링. 각 cluster centroid = "GAN이 비슷하게 편집하는 픽셀 영역의 family". 외부 attribute 라벨도, 분류기도 사용하지 않음.

FIG 15.1   256개 random direction → median strength 위 128개 → PCA → K-means(k=8). 각 행 = 클러스터: centroid + 가장 가까운 4개 예시. 좌측 헤더에 cluster 멤버 수와 빈출 layer.

발견된 cluster에 의미를 입히기

섹션 15는 8개 cluster를 자동 발견했지만 *의미는 모름*. 각 cluster의 modal layer에 대해 fresh random 방향 8개를 샘플링하고 +δ 편집 결과를 4개의 base 침실에 적용해 평균. 그 평균 perturbed 이미지를 CLIP-score 한 뒤 base 평균을 contrastive로 빼서 "이 cluster가 더 강하게 만드는 개념"의 텍스트 라벨을 자동 부여. 인간 라벨 0.

FIG 16.1   컬럼: centroid saliency / base bedroom / 평균 perturbed (+δ on modal layer) / normalised diff / CLIP top-k 라벨 (Δ score).

학습 진행에 따라 saliency 품질이 어떻게 바뀌는가

같은 침실 사진을 5개 ckpt(1k / 5k / 10k / 20k / 40k)로 inversion하고, 각 wp 위에서 indoor_lighting saliency를 계산한 뒤 *true wp*로 만든 GT saliency와의 픽셀별 상관계수를 측정.

FIG 18.1   위: target / GT (true wp) saliency. 아래 5행: iter 1k–40k의 encoder recon, saliency, overlay.

픽셀별 비선형성 — 어디서 boundary 효과가 휘는가

1차 saliency (∂I/∂α)가 boundary 방향의 *순간 효과*라면, 2차 saliency (∂²I/∂α²)는 그 효과가 α가 변할 때 *얼마나 휘는지*. 둘 다 forward-mode JVP를 합성해 한 패스로 계산. 비율 ∂²/∂I = 비선형성 지수 — 작으면 선형 영역, 크면 saturation/꺾임.

FIG 19.1   행 = attribute, 컬럼 = 1차 saliency / 2차 saliency / 비선형성 비율.

진짜 침실 사진에 전체 파이프라인 적용

지금까지는 generator의 자기 출력(synthetic)에서만 검증. 이제 LSUN bedroom 데이터셋에서 받은 실제 사진 4장에 대해 (a) optim 800-step inversion, (b) encoder inversion, (c) grad-saliency, (d) 편집 ±3 sweep을 한 번에 실행. Out-of-distribution 일반화 검증.

FIG 17.1   4 진짜 침실에 대한 전체 흐름. 각 행: real photo / optim recon (800 step) / encoder recon / sal(indoor_lighting) / sal(wood) / sal(view) / edit −3 / edit +3 (indoor_lighting).

한 침실에서 본 v2의 전체 흐름

한 장의 사진을 잡고 파이프라인 4단계를 좌→우로 보여준다. target · encoder reconstruction · 그 inverted wp 위에서의 grad-saliency · ±3 편집. ”내 침실의 lamp는 어디인가”까지 한 줄로 답하는 데모.

FIG 8.1   같은 한 장의 침실 (img_2)에 indoor_lighting / wood / view 세 boundary 적용. saliency 컬럼이 attribute별로 다른 spatial focus를 보여주고, 마지막 두 컬럼은 −3 / +3 편집 결과.

FIG 8.2   다른 침실(img_0)에 같은 분석. saliency가 scene-specific 하게 다른 위치를 짚음.

속성 슬라이더가 실제로 어떻게 보이는가

각 boundary를 −3 → +3 → −3 으로 21프레임 ping-pong morph. 정적 5컷 그리드보다 훨씬 매끄럽게 attribute의 작용이 보인다. WebP 압축으로 각 ~400 KB.

FIG 9.1 · indoor_lighting   두 침실 동시에 dim → bright → dim. 천장 조명의 ON/OFF처럼 보임.

FIG 9.2 · wood   침구·벽 색감이 우드톤으로 점진 이동. 침대 프레임 윤곽이 강해짐.

FIG 9.3 · view   창문 형태/밝기·문 위치가 바뀜. layer 0–4 (coarse) 조작이라 전체 layout에도 영향.

Sweep할 때 saliency 자체는 어떻게 변하는가

섹션 20 morph는 이미지가 어떻게 바뀌는지만 보여줌. 여기서는 sweep 각 프레임마다 *그 지점에서의 1차 saliency*를 함께 계산. 21프레임 ping-pong으로 image | saliency | overlay 3-strip animated WebP. 선형 attribute는 saliency가 거의 정지, 비선형 attribute는 흔들림 — 섹션 19와 직결.

FIG 21.1 · indoor_lighting (선형, 비율 0.5) — saliency가 sweep 동안 거의 같은 위치에 머무름.

FIG 21.2 · wood (선형, 비율 0.6) — 동일.

FIG 21.3 · view (비선형, 비율 23) — saliency가 sweep 동안 *모양이 바뀐다*. 창문이 생겼다 사라지는 위상 변화에 saliency가 따라 이동.

실패와 발견의 시간순

프로젝트가 깨끗하게 보이는 결과만 남기면 정직하지 않다. v1 분석부터 v2 grad-saliency까지 실제로 막혔던 7개의 벽을 시간순으로 적는다. 빨간 점은 벽을 만난 순간, 노란 점은 우회로, 초록은 통과, 보라는 방향 전환.

정직한 한계

v2는 컨셉 검증과 파이프라인 견고화에 집중했다. 다음 세 가지가 명시적인 한계.

v1 → v2 차이 요약