파이썬을 사용하여 Ajax 페이지 스크랩
나는 이미 아약스를 긁어내는 것에 대한 이 질문을 보았지만, 파이썬은 거기에 언급되지 않았습니다.저는 스크레이피를 사용하는 것을 고려했습니다. 저는 그들이 그 주제에 대한 문서를 가지고 있다고 생각합니다. 하지만 보시다시피 웹사이트가 다운되었습니다.그래서 어떻게 해야 할지 모르겠어요.다음 작업을 수행합니다.
저는 오직 하나의 URL만 가지고 있습니다, example.com 당신이 제출을 클릭하면, 그들은 내용을 표시하기 위해 에이잭스를 사용하기 때문에 URL은 변경되지 않습니다.각 페이지의 내용을 스크랩하고 싶은데 어떻게 해야 하나요?
숫자만 긁어내고 싶은데, 스크레이피 말고 할 수 있는 게 있나요?만약 그렇지 않다면, 그들의 웹사이트가 다운되어 문서에 접근할 수 없기 때문에 어떻게 해야 하는지에 대한 토막글을 주시겠습니까?
우선, 스크레이피 문서는 https://scrapy.readthedocs.org/en/latest/ 에서 이용할 수 있습니다.
웹 스크래핑 중에 아약스를 다루는 것에 대해 말하는 것입니다.기본적으로 아이디어는 매우 간단합니다.
- 브라우저 개발자 도구 열기, 네트워크 탭
- 대상 사이트로 이동
- 제출 단추를 클릭하고 서버로 전송되는 요청 확인
- 이것을 모방합니다.
XHR당신의 거미 안에 있는 요청.
참고:
도움이 되길 바랍니다.
저는 그 답이 매우 유용하다고 생각했지만, 좀 더 단순하게 하고 싶습니다.
response = requests.post(request_url, data=payload, headers=request_headers)
request.post 은 세 가지 매개 변수인 url, 데이터 및 헤더를 사용합니다.이 세 가지 특성에 대한 값은 XHR 요청에서 확인할 수 있습니다.
전체 요청 헤더와 폼 데이터를 위 변수에 로드할 수 있도록 복사하면 바로 사용할 수 있습니다.
언급URL : https://stackoverflow.com/questions/16390257/scraping-ajax-pages-using-python
'programing' 카테고리의 다른 글
| PowerShell의 PowerShell 파일 폴더 경로 (0) | 2023.08.22 |
|---|---|
| iOS 기기만을 대상으로 하는 CSS 미디어 쿼리 (0) | 2023.08.22 |
| "error: cannot locate the Oracle software installation" cx_Oracle을 설치하려고 할 때 (0) | 2023.08.17 |
| 선택적 매개 변수가 있는 MariaDB 저장 프로시저 (0) | 2023.08.17 |
| dict to txt 파일을 쓰고 다시 읽는 중? (0) | 2023.08.17 |