크롤링 Selenium Headless상태 xPath 찾을 수 없을 때

 

Headless 상태는 브라우저를 숨긴 상태다.

이 상태에서 xPath를 찾을 수 없던 이유는 브라우저 해상도 때문이다.

접속하고자 하는 사이트는 해상도에 따라 반응형으로 UI 구조가 바뀐다.

디버깅 할 때는 분명 Headless를 해제하고 눈으로 직접 확인했기 때문에 사이트 해상도가 높은편.

실제 사용할 때는 봇으로 사용하기 때문에 해상도가 낮다.

그렇기 때문에 옵션에서

chrome_options.add_argument('--window-size=1920,1080')

위와 같이 Headless 상태여도, 일반적으로 보여지는 사이트 크기로 맞춰두는 게 내가 디버깅할 때 찾고자 한 xPath를 올바르게 찾아가게 도와준다.