송호림 · FullStack Developer

#팀 프로젝트 #Python #selenium #RestAPI #Linux #Mysql

네이버 최저가 크롤링

태그

#팀 프로젝트 #Python #selenium #RestAPI #Linux #Mysql

팀원 구성

기획자(이*현), 디자이너(임*지), 퍼블리셔(박*호), 개발자(호야)

목표

- 설정한 카테고리별 1위 ~ 100위 상품 정보 크롤링

- 스크롤을 해야 전체 리스트를 가져올 수 있기 때문에 일반 curl로는 제한

작업

- 판매순위 100위 안에 드는 최저가 상품의 정보를 가져와 임시 DB에 저장

- 매일 크론 실행하여 임시 DB에 저장되어있는 데이터 가공하여 메인 DB에 저장

- 메인 DB로 바로 저장 할 경우 저장 오류가 생길 수 있기 때문에 임시 DB에 저장후 해당 데이터를 붙여넣는 형식으로 구현

문제해결

- selenium 크롬 브라우저로 컨트롤 하는 작업으로 네이버 서버에서 로봇으로 감지되어 막히는 경우가 종종 있어, 임의의 시간으로 sleep을 걸어주어 로봇 감지를 피해 크롤 가능

- 이모지 및 다른 유니코드의 문자가 들어왔을경우 DB 저장에 문제가 생겨 오류 출력하는 현상으로 인코딩하여 이모지는 변형하여 크롤링하도록 개발

#팀 프로젝트 #Python #selenium #RestAPI #Linux #Mysql

리뷰 크롤링 & 관리 프로세스

태그

#팀 프로젝트 #Python #selenium #RestAPI #Linux #Mysql

팀원 구성

기획자(김*미), 디자이너(안*영), 퍼블리셔(홍*미), 개발자(호야)

목표

- 네이버, 구글, 카카오 리뷰 크롤링

- 크롤링 된 리뷰 관리 프로세스

작업

- 매일 크론 실행하여 자사 상품리뷰 크롤링하여 DB에 저장

- 자연어 처리하여 중요단어 구분

- 자동 순위지정, 수동 순위변경 프로세스 개발

- 각 플랫폼별 순위 시각화 작업

문제해결

- 자연어 처리 시 수동으로 설정해야 하는 부분은 DB로하는 경우 불필요한 서버비용이 들기 때문에 json파일로 설정

#팀 프로젝트 #Python #selenium #RestAPI #Linux #Mysql

상품 KC 인증 API 구조 개발

태그

#팀 프로젝트 #Python #selenium #RestAPI #Linux #Mysql

팀원 구성

기획자(천*미), 개발자(호야)

목표

기존에는 다른 인증 없이 수동으로 KC 인증 번호를 받아 저장하는 시스템으로, 사용 불가한 KC 인증 번호도 저장 되어 악용되는 사례가 있어 실제 인증 된 KC 인증 번호로 저장할 수 있도록 개발

작업

인증 번호 관리 페이지 개선 (KC 인증 미완료 제품 관리)

제품 추가 시 KC 인증 입력 시 필수로 인증하는 시스템 구현

KC 인증이 미완료 된 제품의 제조사에 알림톡 및 이메일 전송

#팀 프로젝트 #Python #selenium #RestAPI #Linux #Mysql

페이코 결제 API 연동

태그

#팀 프로젝트 #Python #selenium #RestAPI #Linux #Mysql

팀원 구성

기획자(서*지), 디자이너(안*영), 퍼블리셔(강*선), 개발자(호야)

목표

바로결제, 추후결제, 관리자 결제, 결제취소, 부분결제 취소, 회계툴 연동

복합결제 기능 추가

작업

사용자 간편결제(페이코) 추가 작업

매장 결제시 관리자 페이지 페이코 수동결제, 결제취소 작업

회계툴 연동

결제별 시각화 최신화

문제해결

ios앱 결제시 응답 페이지로 넘어오는 과정에서 앱 path 이슈로 페이코 요청값으로 분기처리하여 작업하여 해결