[공부 - PG] Tiktok 사이트 크롤링 테스트

Tiktok에서 특정 유저의 영상을 한번에 다운 받는 스크립트 짤려고 보고있음..

이번에도 Selenium으로 대충 만들고 있는데 Selenium 으로는 첨부한 사진처럼

락을 걸어놔서 해당 퍼즐을 안 풀면 한번에 표지되는 영상 30개 이상은 크롤링이 불가능하게 해뒀네요..

해결책으로는 Selenium 이외의 녀석을 쓰면 되는데

그동안 말만 들었던 BeautifulSoup를 써볼까 했는데

이건 Html 파싱만 하는 쪽이라 반응형 웹은 불가능하다는걸 이제외서 알게 됨

뭐.. 이런거 풀때 undetected_chromedriver가 최고임..

이걸로는 문제 없이 크롤링 되는거까지 확인했음..

그런데 백그라운드에서만 돌아가면 최곤데.. 그게 안되서..

아무튼 좀 더 Selenium으로 해결할 수 있는지 조사 해봐야겠네요..