크롤링으로 이미지 무한으로 가져오기

컴퓨터 비전을 통해 학습할 데이터셋을 모을때 간편하게 모을 수 있는 방법으로 사용하였다.

그럼 사용법에 대해 알아보겠다.

 

1. https://github.com/YoongiKim/AutoCrawler 해당 링크의 코드를 다운로드한다.
2. 다운로드 후, 압축을 푼다.
3. keywords.txt 파일에 크롤링할 원하는 검색어를 한 줄에 한개씩 입력한다.
4. 해당 폴더에서 cmd 창을 띄운다.
5. python main.py 를 입력한다.
6. 크롤링 완료 후, download 파일을 확인한다.

위와 같이 하면 자동으로 크롤링 되는 모습을 볼 수 있다!

 

 

만약 5번을 실행하였는데 아래와 같은 오류가 뜨는 경우가 있다.

Error occurred while initializing chromedriver - Chromedriver file should be placed at ./chromedriver/chromedriver_win.exe

이 경우 chromedriver의 버전이 맞지 않은 경우에 발생하므로, [참고자료] 2번째 것을 참고하여 알맞은 드라이버를 다운받아 변경해주어야한다.

 

 

 

 

[참고자료]

https://keep-steady.tistory.com/29

2) 이미지 분류 따라해보기 : 네이버 데이터 크롤링! 무한개까지

https://blog.naver.com/kiddwannabe/221539689821

selenium) 설치하기! chromedriver 버전 오류 해결하기