Рад са науком о подацима у облаку помоћу СцраперВики-а

Реклама

Ако имате менталне коцкице, њух за програмирање и приповиједање и пажњу за дизајн, можете учинити и горе од упада у науку о подацима. То је нова велика ствар у технологији; врло тренди и високо плаћени, јер ће научнике података тражити неке од највећих компанија на свету.

СцраперВики је компанија која је дуго била повезана са пољем науке о подацима. Последњих неколико година, овај стартап са седиштем у Ливерпулу понудио је платформу кодерима да пишу алате који добијају податке, чисте и анализирају у облаку.

Са недавним освежавањем и све већом потражњом научника за податке у предузећу, вреди погледати СцраперВики.

Потпуно откривање: Био сам стажиста у СцраперВикију прошлог лета.

Шта ради СцраперВики?

СцраперВики се пласира као место за добијање, чишћење и анализу података, и испоручује их по свим тачкама. У свом најједноставнијем облику омогућава вам - кориснику - место где можете да пишете код који преузима податке из извора, алате за конверзију То је у формат који је лако анализирати, а складиштење да бисте га задржали за каснију визуализацију - што такође можете да користите са СцраперВики.

Такође долази са бројним унапред изграђеним алатима за аутоматизацију понављајућих задатака, укључујући добијање података из ПДФ-а, које је ноторно тешко декодирати. Ово је поред тога Твиттер претрага 5 згодних трикова за претраживање на Твиттеру како бисте пратили шта људи говоре о вамаАко поседујете веб локацију или само покушавате да зарадите новац на мрежи као фрееланцер, увек је добро знати шта људи причају о вама преко Интернета. Људи можда цитирају ... Опширније и комуналне услуге. За њихово кориштење не треба вам никакво искуство у развоју софтвера.

Трошак

Као што је раније поменуто, СцраперВики прихвата фреемиум модел цена и нуди услугу која има више нивоа. Они који тек започињу науком о подацима или са ограниченим потребама могу да користе бесплатну услугу. Ово вам даје три скупа података - где чувате своје податке и код.

Они који планирају да пишу више стругача или желе да врше анализу података, могу да издвоје нешто новца за премиум рачун. Они почињу од 9 УСД месечно и нуде 10 скупова података. Ако вам то још увек није довољно, увек можете надоградити на њихов највиши ниво који долази са 100 скупова података и кошта 29 УСД месечно.

Кодирање

Програмери су често прилично одређени када је реч о начину кодирања. Неки више воле језике скрипта него компајлиране језике. Неки више воле искуство успоређеног уређивања текста него искуство интегрисаног развојног окружења (ИДЕ). СцраперВики то препознаје и даје кориснику огроман избор када је у питању начин писања вашег кода.

Ако сте тако склони, свој код можете да напишете у прегледач. Као што очекујете од било ког професионалног нивоа, веб базиран Топ 3 ИДЕ-а заснована на прегледачу за кодирање у облаку Опширније Развојним алатом, ово долази са функцијама за које би сваки програмер сматрао да су неопходне, попут истицања синтаксе.

У понуди је више језика. Ови укључују Питхон 5 најбољих веб локација за учење Питхон програмирањаЖелите да научите Питхон програмирање? Ево најбољих начина за учење Питхон-а на мрежи, од којих су многи потпуно бесплатни. Опширније , популарни скриптни језик који користе Гоогле и НАСА; Руби 3 интерактивна, забавна, слободна начина за почетак учења језика програмирања РубиРуби је експресиван, скриптни језик на високом нивоу. На Интернету се користи углавном као део оквира за развој веб страница Руби он Раилс, али и самостално. Ако вас занима шта Руби (не ... Опширније , који покреће бројне популарне веб странице попут Ливинг Социал; и популарни језик статистичке анализе, Р.

Поред тога, код можете да пишете и из командне линије користећи ССХ, Гит и било који текст уређивач који волите да користите. Да, добро сте прочитали. ССХ Шта је ССХ и како се разликује од ФТП [објашњена технологија] Опширније . Свака кутија коју користите је сопствени Линук налог и са њом можете да се повежете као што би био ВПС или било који други рачун шкољке. Доступно је више уређивача текста, укључујући Вим Топ 7 разлога за пружање шансе Вим Едитору текстаГодинама покушавам један уређивач текста за другим. Реци ми, пробао сам. Сваки од ових уређивача користио сам више од два месеца као свој главни свакодневни уредник. Некако, ја ... Опширније који се могу проширити додацима и уређивањем конфигурације. Они који су застрашени Вимом могу користити Нано, који је лаган уређивач текста командне линије.

Инсталиране библиотеке требале би бити довољне за писање алата за преузимање података и њихову обраду. Ако вам треба нешто мало опскурније, увек можете да створите виртуаленв из командне линије. Као што видите, програмерима се пружа огромна флексибилност.

Визуализација података

Дакле, ви имате своје податке. Нормализовали сте га. Очистили сте Анализирали сте то Сада је време да се мало визуализујете и покажете свету шта сте научили.

СцраперВики омогућава програмерима да приказују своје податке користећи веб странице направљене од свима познатих трифекта ХТМЛ, ЦСС и ЈаваСцрипт. Поред тога, боотстрап компоненте се подржавају ван оквира.

Доступне су бројне унапред направљене визуализације, укључујући и оне које графички приказују ваше податке и проналазе трендове у вашим налазима. Да бисте их користили, морате осигурати да се ваши подаци чувају као СКЛите датотека са називом датотеке „сцрапервики.склите“. Тада једноставно додате визуализацију која вас занима. Једноставно, зар не?

Закључак

СцраперВики нуди пуно програмерима који желе да ураде неке анализе података, а да им развојно окружење не буде на путу, а притом имају флексибилност да удовоље и најзахтевнијим корисницима. Али шта мислите? Јавите ми у коментарима испод.
Фото кредит: Роцкет Сциенце (Дан Браун)