Правете наука за данни в облака с ScraperWiki

реклама

Ако имате ментални късове, усет за програмиране и разказване на истории и око за дизайн, можете да направите по-лошо, отколкото да влезете в науката за данни. Това е новото голямо нещо в технологиите; силно модерен и високо платен, като данните от учените се търсят от някои от най-големите компании в света.

ScraperWiki е компания, която отдавна е свързана с областта на научните данни. През последните няколко години този стартиращ базиран в Ливърпул предлага платформа за кодери да пишат инструменти, които получават данни, да ги почистват и анализират в облака.

С неотдавнашно обновяване и непрекъснато нарастващото търсене на учени за данни в предприятието си струва да разгледате добре ScraperWiki.

Пълно разкритие: бях стажант в ScraperWiki миналото лято.

Какво прави ScraperWiki?

ScraperWiki се предлага на пазара като място за получаване, почистване и анализ на данни и предоставя всички тези показатели. В най-простата си форма той ви позволява - потребителят - място, където можете да напишете код, който извлича данни от източник, инструменти за конвертиране той е във формат, който е лесен за анализиране, и съхранение, за да го запазите за по-късна визуализация - което също можете да боравите с ScraperWiki.

Той също така идва с редица предварително изградени инструменти, които автоматизират повтарящите се задачи, включително получаване на данни от PDF файлове, които са известни трудно за декодиране. Това е в допълнение към Търсене в Twitter 5 страхотни трика за търсене в Twitter за наблюдение на това, което хората казват за васАко притежавате уебсайт или просто се опитвате да печелите пари онлайн като фрийлансър, винаги е добре да знаете какво говорят хората за вас по интернет. Хората може да цитират ... Прочетете още и почистване на комунални услуги. Не се нуждаете от опит в разработването на софтуер, за да ги използвате.

цена

Както беше споменато по-рано, ScraperWiki обхваща модела за ценообразуване на freemium и предлага услуга, която има няколко нива. Тези, които току-що започват работа с науката за данни или с ограничени нужди, могат да се възползват от безплатната услуга. Това ви дава три набора от данни - където съхранявате своите данни и код.

Онези, които планират да пишат множество скрепери или искат да правят планини за анализ на данни, могат да изкарат малко пари за премиум сметка. Те започват от $ 9 на месец и предлагат 10 набора от данни. Ако това все още не е достатъчно, винаги можете да надстроите до най-високото им ниво, което се предлага със 100 набора от данни и струва $ 29 на месец.

кодиране на стоките

Програмистите често са доста конкретни, що се отнася до начина, по който кодират. Някои предпочитат скриптови езици пред компилирани езици. Някои предпочитат преживяването на парите обратно на текстов редактор пред това на интегрирана среда за разработка (IDE). ScraperWiki признава това и дава на потребителя огромен избор, когато става въпрос за това как пишете кода си.

Ако сте толкова склонни, можете да напишете кода си в браузъра. Както бихте очаквали от всеки професионален клас, уеб-базирани Най-добрите 3 базирани на браузъра IDE, които трябва да кодират в облака Прочетете още инструмент за разработка, това идва с функции, които всеки програмист би сметнал за съществени, като подчертаване на синтаксиса.

Предлагат се няколко езика. Те включват Питон 5-те най-добри уебсайта за научаване на програмиране на PythonИскате ли да научите програмиране на Python? Ето най-добрите начини да научите Python онлайн, много от които са напълно безплатни. Прочетете още , популярен скриптов език, използван от харесванията на Google и НАСА; рубин 3 интерактивни, забавни и безплатни начина да започнете да изучавате езика за програмиране RubyРуби е експресивен, скриптов език на високо ниво. Използва се в мрежата главно като част от рамката за уеб разработка на Ruby on Rails, но също така и самостоятелно. Ако се интересувате какво е Руби (не ... Прочетете още , която разполага с множество популярни уебсайтове като Living Social; и популярния език за статистически анализ, Р.

Освен това можете да пишете код от командния ред, като използвате SSH, Git и какъвто и да е текстов редактор, който обичате да използвате. Да, прочетохте това право. SSH Какво SSH е и как се различава от FTP [обяснена технология] Прочетете още . Всяко поле, което използвате, е свой собствен Linux акаунт и можете да се свържете с него, както бихте искали VPS или друг акаунт. На разположение са редица текстови редактори, включително Vim Най-важните 7 причини да дадете шанс на редактора на текстови текстове на VimОт години опитвам един текстов редактор след друг. Наричате го, опитах го. Използвах всеки един от тези редактори повече от два месеца като мой основен ежедневен редактор. Някак си ... Прочетете още които могат да бъдат разширени с плъгини и чрез редактиране на конфигурацията. Заплашените от Vim могат да използват Nano, който е лек редактор на текстови команди.

Инсталираните библиотеки трябва да са достатъчни за писане на инструменти за извличане на данни и за тяхното обработване. Ако имате нужда от нещо малко по-неясно, винаги можете да създадете virtualenv от командния ред. Както можете да видите, има огромна гъвкавост, предоставена на разработчиците.

Визуализация на данни

Така че, вие имате своите данни. Вие сте го нормализирали. Ти го почисти. Вие сте го анализирали Сега е време да направите някаква визуализация и да покажете на света какво сте научили.

ScraperWiki позволява на разработчиците да показват своите данни, използвайки уеб страници, изградени от все познатите трифекти на HTML, CSS и JavaScript. Освен това компонентите на Bootstrap се поддържат извън кутията.

Налични са редица предварително направени визуализации, включително такива, които очертават вашите данни на карта и намират тенденции в рамките на вашите открития. За да ги използвате, трябва да гарантирате, че вашите данни се съхраняват като SQLite файл с името на файла „scraperwiki.sqlite“. След това просто добавяте визуализацията, която ви интересува. Просто, нали?

заключение

ScraperWiki предлага много за разработчиците, които искат да направят някакъв анализ на данни, без средата им за развитие да им се препречи, като същевременно имат гъвкавостта да угодят и на най-взискателните потребители. Но какво мислите? Уведомете ме в коментарите по-долу.
Кредит за снимка: Ракетна наука (Дан Браун)