스파 패션 브랜드나 쇼핑몰이란 단어를 들었을 때 가장 먼저 떠오르는 브랜드는 무엇인가요?H&M, 스파오, 자라, 유니클로, 에잇세컨즈? 그러나 최근 몇 년 동안 빠른 확장과 유행으로 확 뜬 쇼핑몰이 있죠. 바로 중국 쇼핑 플랫폼 쉬인(shein)입니다. 쉬인의 성공은 또한 온라인 쇼핑 시장이 여전히 큰 잠재력을 가지고 있음을 나타냅니다. 이 게시물에서는 Octoparse를 사용하여 쉬인 데이터를 스크래핑하는 쉬운 방법에 대해 공유합니다.

쉬인 스크래퍼로 수집할 수 있는 데이터

쉬인을 검색하면 가격, 사이즈, 할인 등 각 제품에 대해 쉽게 알 수 있습니다. 이 모든 데이터는 웹 스크래핑에 사용할 수 있습니다. 쉬인에서 추출할 수 있는 일반적인 데이터는 다음과 같습니다.

• 상품 정보 : 상품명, 설명, 가격, 이미지, 카테고리
• 재고 및 옵션 : 재고 여부, SKU 번호, 사이즈, 색상 등
• 리뷰 및 등급 : 제품 리뷰, 사용자 이름, 이미지, 등급, 등급 번호 등
• 매출액 및 가격: 현재 가격, 원래 가격, 할인, 총매출액, 프로모션 등
• 배송 정보: 배송 옵션, 비용, 배송 시간, 언어 선호 및 통화 옵션

쉬인 스크래핑이 가치 있는 이유

쉬인은 압도적인 글로벌 트래픽과 풍부한 제품 목록으로 인해 고객 행동, 제품 성능, 시장 트렌드 등을 반영할 수 있는 방대한 데이터를 생성하기에 패션 트렌드를 반영하는 좋은 데이터 소스입니다. 쉬인 스크래핑으로 페이지의 정보를 구조화된 형태로 변환할 수 있으며, 나의 관심사와 목표에 따라 쉬인 데이터를 활용할 수 있습니다.

• 시장조사

시장 조사는 대부분의 기업의 프로젝트 출발점입니다. 프로젝트와 관련된 충분한 데이터가 있을 때 보다 정확한 보고서를 작성하고 보다 효과적인 비즈니스 전략을 만들 수 있습니다. 쉬인 데이터를 추출하면 새로운 패션 트렌드와 스타일을 파악하여 새로운 비즈니스 기회를 잡는 데 도움이 될 것입니다.

• 가격 모니터링

제품 가격은 구매 결정에 필수적인 역할을 합니다. 합리적인 제품 가격을 책정하려면 데이터 분석이 필요합니다. 쉬인에서 비슷한 스펙 제품의 가격을 추적하고 다른 온라인 스토어와 비교하면 가격 모델 및 시간에 따른 가격 조정 방안을 만드는 데 도움이 될 수 있습니다. 

• 제품 인사이트

쉬인 스크래핑으로 제품에 대한 고객의 리뷰 피드백을 분석하는 데도 도움이 됩니다. 제품 평점과 리뷰를 수집하여 고객 만족도를 측정하고 고객의 잠재 요구와 관심 트렌드를 파악할 수 있습니다. 한편, 웹 스크래핑으로 쉬인에서 제품 성능, 신규 도착 및 베스트셀러를 추적하는 데 사용할 수 있으며, 이를 통해 쉬인의 최신 컬렉션과 인기 품목을 파악한 후 다양한 고객 그룹에서 가장 인기 있는 제품이 무엇인지 파악할 수 있습니다.

• 패션 트렌드 예측

패션은 시대에 따라 끊임없이 변화하는 산업입니다. 다음 시즌 패션 추세를 예측하는 것은 쉬운 일이 아닙니다. 여기에는 미래에 유행할 트렌드, 스타일, 색상, 소재 등을 예측하는 것이 포함됩니다. 패션 디자이너와 트렌드 예측 업계의 분들이라면 쉬인 스크래퍼를 사용하면 쉬인에서 어떤 스타일, 색상, 패턴 등이 유행하고 있는지 실시간으로 분석하고 제품 개발, 마케팅 전략 및 재고 관리와 관련된 결정을 남들보다 빠르고 효과적으로 할 수 있습니다.

Octoparse를 이용한 쉬인 스크래핑 방법

Octoparse는 바로 쓸 수 있는 템플릿 외에도 스크래퍼를 스스로 커스터마이징 할 수 있는 또 다른 간단한 방법을 제공합니다. Octoparse를 다운로드하여 디바이스에 설치하고 새 계정에 가입하거나 Google 또는 Microsoft 계정으로 로그인한 다음 아래 안내에 따라 Shein 스크래퍼를 만들 수 있습니다.

• 1단계: 쉬인 스크래핑 작업 생성하기

데이터를 추출할 페이지 URL을 복사하여 Octoparse에 검색창에 붙여 넣습니다. 그런 다음 시작 버튼을 눌러 새 작업을 만듭니다.

• 2단계: 쉬인 페이지에서 데이터 자동 인식하기

Octoparse의 내장 브라우저가 페이지 로드를 완료할 때까지 기다렸다가 팁 패널에서 “웹 페이지 데이터 자동 인식”을 클릭합니다. 자동 인식 기능은 페이지 구조를 분석하고 페이지에서 추출 가능한 요소를 인식할 수 있는 AI 강화 기능입니다.

다만 쉬인처럼 팝업이나 쿠키창이 많은 경우, 먼저 브라우저 모드를 클릭하고 평소 웹 사이트에서 창을 닫는것처럼 클릭하여 팝업을 제거한 뒤 다시 브라우저 모드를 끄고 “웹 페이지 데이터 자동 인식”을 클릭합니다. 

자동 인식 프로세스가 완료되면 Octoparse는 페이지에서 탐지된 모든 데이터를 하이라이트 표시합니다. 그런 다음 하단의 데이터 미리보기 패널에 있는 모든 데이터 필드에서 AI가 “추측”을 잘했는지 확인할 수 있습니다.

• 3단계: 워크플로우 생성 및 수정하기

원하는 데이터를 모두 선택한 후 “워크플로우 생성“을 누릅니다. 그 후 Octoparse는 자동으로 워크플로우를 생성하여 스크래퍼의 작동 방식을 보여줍니다. 오른쪽에서 워크플로우를 미리 볼 수 있습니다. 스크래퍼의 모든 작동 과정이 포함되어 있습니다. 각 과정을 클릭하면 스크래퍼가 예상대로 실행되는지 쉽게 미리 볼 수 있습니다.

• 4단계: 작업 실행 및 데이터 내보내기

모든 설정을 다시 점검한 후 “실행” 버튼을 클릭하여 쉬인 스크래퍼를 실행합니다. 처음 디버깅 단계에서는 빠른 실행과 디버깅을 위해 로컬 디바이스에서 실행을 사용하는 것이 적합합니다. 잘 만들어진 스크래퍼로 최신 데이터를 지속적으로 추출하거나 스크쥴링이 필요하면 Octoparse 클라우드 서버에서 작업을 실행하여 업무 자동화를 실현할 수 있습니다. 그런 다음 스크래핑 프로세스가 완료되면 데이터를 Excel 또는 CSV 파일 또는 Google Sheets와 같은 데이터베이스로 내보냅니다.

마무리

쉬인의 스크래핑 데이터는 시장 조사 및 경쟁 분석부터 트렌드 예측 및 소비자 행동 연구에 이르기까지 다양한 분야에 걸쳐 값진 인사이트와 기회를 제공할 수 있습니다. 웹 스크래핑으로 쉬인 제품에 대한 풍부한 정보에 액세스할 수 있으며 패션 산업에서 과학적인 데이터 기반의 의사 결정과 전략 수립을 위한 기반을 마련할 수 있습니다.