Python + Seleniumwire를 이용한 에러 크롤링

본 글은 QA 엔지니어가 크레딧잡 사이트의 백엔드 서비스 리뉴얼 프로젝트를 진행하며 겪었던 에러 크롤링 스크립트 개발 경험을 공유합니다. 기존 기능에 대한 문서나 테스트 산출물이 부족한 상황에서 사이트 전수 조사를 효율적으로 수행하고 지속적으로 활용 가능한 도구를 만들기 위해 크롤링을 고려하게 되었습니다.

목표는 대표 주소를 입력하면 하위 페이지 및 연결된 페이지를 탐색하며 발생하는 스크립트, 네트워크 에러를 자동 검출하는 것입니다. Python의 requests 라이브러리는 서버 응답 코드만 받아오는 한계가 있지만, Selenium 라이브러리는 실제 브라우저를 통해 렌더링된 모든 소스 코드를 가져올 수 있어 에러 검출에 더 적합함을 설명합니다.