русский
Germany.ruForen → Архив Досок→ Programmierung

Web scrapping python without browser installed (или Murr-2)

12.05.19 07:39
Re: Web scrapping python without browser installed (или Murr-2)
 
MrSanders старожил
in Antwort moose 11.05.19 22:30
речь идет при скрэппинге ВСЕГДА только об одном сайте (начальном)

Слушайте, а вам так необходимо ВСЕГДА нести с апломбом какую-то чушь? Продемонстрировать что вы, якобы, что-то понимаете лучше, а остальные даже не знают О ЧЁМ ОНИ ГОВОРЯТ?

Ну с какого бодуна-то речь при скрапинге идёт "всегда только об одном сайте (начальном)"? Из какого пальца вы это высосали? А если я с сайтов двух магазинов цены дёргаю я что, не скрапингом занимаюсь? Да, в рускоязычном инете более распространено именно "скрапинг" а не "скрэп(п)инг".

вы предлагаете "вручную" интерпретировать жаваскрипты сайта и имплементировать их выполнение.

что вы имели ввиду, говоря "не запускать скрипт"? жаваскрипт из пайтона?

Да, не искать имитатор браузера для питона, а посмотреть самому откуда сктипт на страничке данные берёт, и нельзя ли их вытащить напрямую, повоторив GET-запросы скрипта. Может оказатся что разобраться в самом скрипте невозможно (после обфускации имён разбираться в скриптах не с руки), можно попробовать в той же сетевой консоли хрома или мозиллы посмотреть при каких действиях пользователя какие запросы уходят, и просто их повторять (если от этого какой-нибудь генераций ключейдля аутентификации не защитились).

Проблема в том, что вам нужен не просто интерпретатор яваскрипта, а именно имитатор браузера. Потому что скрипту дом-дерево странички нужна будет. А это геморрой ещё тот.

 

Sprung zu