Постоји неколико Питхон библиотека и оквира за издвајање података са веба. Свако почиње са одређеним алатом док не схвате да можда није најбољи за њихов следећи пројекат. Иако је мало вероватно да ћете користити све Питхон алате у једном пројекту, требало би да знате које од њих треба да имате при руци у оквиру алата за веб скрапинг.
Ево најбољих Питхон библиотека, оквира и других алата који ће вам помоћи да без напора извучете податке са веба.
1. Беаутифул Соуп
Почевши од листе са најбољом библиотеком за стругање веба за почетнике: Прелепа супа. То је у суштини алатка која издваја податке из рашчлањених ХТМЛ и КСМЛ датотека тако што трансформише документ у Питхон објекат.
"Лепота" прелепе супе лежи у њеној једноставности. Лако је поставити и можете започните са својим првим пројектом гребања веба року од неколико минута. Беаутифул Соуп користи хијерархијски приступ издвајању података из ХТМЛ документа. Можете издвојити елементе користећи ознаке, класе, ИД-ове, имена и друге ХТМЛ атрибуте.
Очекивати више од Лепе супе би било предалеко. Не постоји уграђена подршка за међуверзије и друге напредне функционалности као што су ротација проксија или мулти-тхреадинг. Уз прелепу супу, потребне су вам библиотеке за слање ХТТП захтева, рашчлањивање преузетог документа и експортовање скупљених информација у излазну датотеку.
2. захтева
рекуестс је несумњиво најкоришћенија Питхон библиотека за руковање ХТТП захтевима. Алат одговара свом слогану: ХТТП фор Хуманс™. Подржава више типова ХТТП захтева, у распону од ГЕТ и ПОСТ до ПАТЦХ и ДЕЛЕТЕ. Не само ово, можете контролисати скоро сваки аспект захтева, укључујући заглавља и одговоре.
Ако то звучи лако, будите сигурни јер захтеви такође задовољавају напредне кориснике са својим мноштвом функција. Можете да се играте са захтевом и прилагодите његова заглавља, отпремите датотеку на сервер помоћу ПОСТ-а и рукујете временским ограничењима, преусмеравањем и сесијама, између осталог.
Захтеви се обично повезују са Беаутифул Соуп када је реч о веб скрапингу пошто други Питхон оквири имају уграђену подршку за руковање ХТТП захтевима. Да бисте добили ХТМЛ за веб страницу, користите захтеве да пошаљете ГЕТ захтев серверу, а затим издвојите текстуалне податке из одговора и проследите их у Беаутифул Соуп.
3. Сцрапи
Као што име сугерише, Сцрапи је Питхон оквир за развој великих веб стругача. То је швајцарски нож за извлачење података са веба. Сцрапи управља свиме, од слања захтева и имплементације проксија до екстракције и извоза података.
За разлику од лепе супе, права моћ Сцрапи-а је његов софистицирани механизам. Али не дозволите да вас та сложеност застраши. Сцрапи је најефикаснији оквир за гребање веба на овој листи, у смислу брзине, ефикасности и карактеристика. Долази са селекторима који вам омогућавају да изаберете податке из ХТМЛ документа користећи КСПатх или ЦСС елементе.
Додатна предност је брзина којом Сцрапи шаље захтеве и издваја податке. Шаље и обрађује захтеве асинхроно, и то је оно што га издваја од других алата за гребање веба.
Осим основних функција, добијате и подршку за међувере, што је оквир закачива који уноси додатну функционалност подразумеваном Сцрапи механизму. Не можете да извучете веб-сајтове вођене ЈаваСцрипт-ом помоћу Сцрапи-а из кутије, али можете да користите међуверзије као што је сцрапи-селениум, сцрапи-спласх и сцрапи-сцрапингбее да имплементирате ту функционалност у ваш пројекат.
Коначно, када завршите са издвајањем података, можете их извести у различитим форматима датотека; ЦСВ, ЈСОН и КСМЛ, да споменемо само неке.
Сцрапи је један од многих разлога зашто је Питхон најбољи програмски језик за свакога ко се бави веб скрапингом. Постављање вашег првог Сцрапи пројекта може потрајати, посебно ако немате искуства са Питхон класама и оквирима. Сцрапи-јев ток посла је подељен у више датотека и за почетнике то може изгледати као нежељена сложеност.
4. Селен
Ако желите да сцрапете динамички, ЈаваСцрипт рендеровани садржај, онда је Селен оно што вам треба. Као оквир за веб тестирање на више платформи, Селениум вам помаже да прикажете ХТМЛ, ЦСС и ЈаваСцрипт и извучете оно што је потребно. Такође можете да опонашате стварне интеракције корисника тако што ћете чврсто кодирати радње тастатуре и миша, што потпуно мења игру.
Селен покреће инстанцу претраживача користећи веб драјвер и учитава страницу. Неки популарни претраживачи које подржава Селениум су Гоогле Цхроме, Мозилла Фирефок, Опера, Мицрософт Едге, Аппле Сафари и Интернет Екплорер. Користи ЦСС и КСПатх локаторе, сличне Сцрапи селекторима, за проналажење и издвајање садржаја из ХТМЛ елемената на страници.
Ако немате искуства са Питхон-ом, али знате друге програмске језике, можете користити Селениум са Ц#, ЈаваСцрипт, ПХП, Перл, Руби и Јава.
Једино ограничење је пошто Селениум покреће веб претраживач у позадини, ресурси потребни за извршавање сцрапер-а значајно се повећавају, у поређењу са Шкрапи или Лепом супом. Али с обзиром на додатне карактеристике које селен доноси на сто, то је потпуно оправдано.
5. урллиб
Питхон урллиб библиотека је једноставан, али суштински алат који треба да имате у свом арсеналу за веб скрапинг. Омогућава вам руковање и обраду УРЛ-ова у вашим Питхон скриптама.
Прикладна практична примена урллиб-а је модификација УРЛ-а. Узмите у обзир да правите веб локацију са више страница и да морате да измените део УРЛ-а да бисте дошли до следеће странице.
урллиб вам може помоћи да рашчланите УРЛ и поделите га на више делова које можете да измените и поништите да бисте креирали нови УРЛ. Иако коришћење библиотеке за рашчлањивање стрингова може изгледати као претерано, урллиб је спас за људе који кодирају веб стругаче за забаву и не желе да улазе у ситне структуре података.
Такође, ако желите да испитате роботс.ткт веб локације, која је текстуална датотека која садржи правила приступа за Гоогле пописивач и друге стругаче, урллиб вам такође може помоћи у томе. Препоручује се да пратите роботс.ткт веб-сајта и да скрежете само оне странице које су дозвољене.
6. ЈСОН, ЦСВ и КСМЛ библиотеке
Пошто Беаутифул Соуп или Селениум немају уграђене функције за извоз података, требаће вам Питхон библиотека за извезите податке у ЈСОН, ЦСВ или КСМЛ датотеку. Срећом, постоји мноштво библиотека које можете да урадите да бисте то постигли, а препоручују се оне најосновније, а то су јсон, цсв и кмл за ЈСОН, ЦСВ и КСМЛ датотеке, респективно.
Такве библиотеке вам омогућавају да креирате датотеку, додате податке у њу, а затим, коначно, извезете датотеку у локално складиште или удаљени сервер.
7. МецханицалСоуп
МецханицалСоуп? Да ли је ово јефтина превара Лепе супе? Не. Инспирисано Механизовати а на основу Питхон захтева и Лепе супе, МецханицалСоуп вам помаже да аутоматизујете људско понашање и извучете податке са веб странице. Можете га сматрати на пола пута између прелепе супе и селена. Једина цака? Не обрађује ЈаваСцрипт.
Иако су имена слична, синтакса и ток рада МецханицалСоуп-а су изузетно различити. Ви креирате сесију прегледача користећи МецханицалСоуп и када се страница преузме, користите методе Беаутифул Соуп као што је нађи() и пронађи_све() за издвајање података из ХТМЛ документа.
Још једна импресивна карактеристика МецханицалСоуп-а је да вам омогућава да попуњавате обрасце помоћу скрипте. Ово је посебно корисно када треба да унесете нешто у поље (трака за претрагу, на пример) да бисте дошли до странице коју желите да скрежете. Руковање захтевима МецханицалСоуп-а је величанствено јер може аутоматски да обрађује преусмеравања и прати везе на страници, штедећи вам труд да ручно кодирате одељак да бисте то урадили.
Пошто је заснована на Прелепој супи, постоји значајно преклапање у недостацима обе ове библиотеке. На пример, нема уграђеног метода за руковање излазом података, ротацијом проксија и ЈаваСцрипт приказивањем. Једини проблем са лепом супом који је МецханицалСоуп решио је подршка за руковање захтевима, што је решено кодирањем омота за библиотеку Питхон захтева.
Веб Сцрапинг у Питхон-у је олакшано
Питхон је моћан програмски језик за стругање веба, без сумње, али коришћени алати су само део проблема. Најистакнутији проблем са којим се људи суочавају када кодирају стругач је учење хијерархије ХТМЛ документа.
Разумевање структуре веб странице и знање како да брзо лоцирате елемент је неопходно ако желите да развијете напредне веб скрапере.
