„Semalt Expert“ aiškina, kaip „AJAX“ svetainę nušveisti naudojant „Python“

Žiniatinklio įbrėžimas yra metodas, kai programinė įranga naudojama duomenims iš tinklalapio išgauti. Yra daugybė įrankių, kuriuos galima naudoti žiniatinkliui grandyti su python'u, kai kurie iš jų yra; Dangus, laužas, prašymai ir graži sriuba. Tačiau daugumą šių įrankių riboja tai, kad jie nuskaito tik statinį HTML, gaunamą iš serverio, o ne dinaminę „JavaScript“ pateiktą dalį.

Tačiau yra keletas būdų, kuriais galima išspręsti šią problemą:

1. Automatizuotos naršyklės

Galite naudoti automatizuotas naršykles, tokias kaip „Selenium“ ar „Splash“, kurios yra pilnos naršyklės, veikiančios be galvos. Tačiau juos nustatyti gali būti gana sudėtinga, todėl mes daugiausia dėmesio skirsime antrajam variantui.

2. Nutraukite AJAX skambučius

Tai reiškia bandymą perimti AJAX skambučius iš puslapio ir bandymą juos pakartoti ar atkurti.

Šiame straipsnyje bus atkreiptas dėmesys į tai, kaip sugauti AJAX skambučius ir juos pakartoti, naudojantis užklausų biblioteka ir „Google Chrome“ naršykle. Nors tokios struktūros kaip laužas gali suteikti jums veiksmingesnį sprendimą, kai reikia nuardyti, jis nebūtinas visais atvejais. AJAX skambučiai dažniausiai atliekami naudojant API, kuri grąžins JSON objektą, kurį užklausų biblioteka gali lengvai valdyti.

Pirmas dalykas, kurį turite žinoti, yra tai, kad bandyti pakartoti AJAX skambutį yra tarsi naudoti nedokumentuotą API. Todėl jūs turite peržiūrėti visus skambučius, kuriuos skambina puslapiai. Galite nueiti į svetainę, kurį laiką su ja žaisti ir pamatyti, kaip pateikiama tam tikra informacija. Baigę žaisti, grįžkite ir pradėkite kasinėti.

Prieš įsigilindami į informaciją, pirmiausia leiskime suprasti, kaip veikia puslapis. Jei lankotės parduotuvių puslapyje pagal valstiją, pasirinkite bet kurią valstiją, ir puslapis pateikia informaciją apie parduotuvę. Kiekvieną kartą pasirinkus valstiją, svetainė pateikia naujas parduotuves, kurios pakeis senąsias. Tai pasiekiama naudojant AJAX skambutį į serverį, kuriame prašoma informacijos. Dabar ketiname sugauti šį skambutį ir pakartoti.

Norėdami tai padaryti, jums tereikia atidaryti „Chrome“ naršyklę „DevTools“ ir patekti į XHR poskyrį. XHR yra sąsaja, vykdanti HTTP ir HTTPS užklausas. Taigi čia bus rodomos AJAX užklausos. Dukart spustelėję AJAX skambutį, parduotuvėse rasite daug informacijos. Taip pat galite peržiūrėti užklausas.

Atkreipkite dėmesį, kad į serverį siunčiama daug duomenų. Tačiau nesijaudinkite, nes ne visi to reikalauja. Norėdami pamatyti, kokių duomenų jums reikia, galite atidaryti konsolę ir atlikti įvairius tinklalapio užklausus. Dabar, kai žinote, kaip veikia puslapis, ir iššifravote AJAX skambutį, galite parašyti grandiklį.

Galbūt jūs klausiate: 'Kodėl gi ne naudoti automatinę naršyklę?' Sprendimas yra paprastas; visada stenkitės pakartoti AJAX skambučius prieš pradėdami kažką daug sunkesnio ir sudėtingesnio, pvz., automatinę naršyklę. Jis yra paprastesnis ir lengvesnis.

png

mass gmail