5 най-нови инструмента за наука за данни, които трябва да използвате с Python

Python си спечели репутация със своята гъвкавост и много инструменти, което го прави предпочитан език за наука за данни. Много библиотеки насърчават иновациите в тази област. За да подобрите уменията си и да изследвате нови възможности, важно е да сте в крак с нововъзникващите инструменти.

1. ConnectorX: Опростяване на зареждането на данни

Докато повечето данни се намират в бази данни, изчисленията обикновено се извършват извън тях. И все пак прехвърлянето на данни към и от бази данни за действителна работа може да доведе до забавяне.

ConnectorX зарежда данни от бази данни в много често срещани инструменти за борба с данни в Python и поддържа нещата бързи, като минимизира количеството работа, която трябва да се свърши.

ConnectorX използва библиотека с език за програмиране Rust в основата си. Това позволява оптимизации като възможност за зареждане от източник на данни успоредно с разделянето.

Данни в базата данни PostgreSQL, например, можете да го заредите по този начин, като посочите разделителна колона.

IConnectorX също поддържа четене на данни от различни бази данни, включително MySQL/MariaDB, SQLite, Amazon Redshift, Microsoft SQL Server, Azure SQL и Oracle.

Можете да трансформирате резултатите в Pandas или PyArrow DataFrames или да ги пренасочите към Modin, Dask или Polars с помощта на PyArrow.

2. DuckDB: Овластяване на работните натоварвания на аналитични заявки

DuckDB използва колонно хранилище за данни и оптимизира за дълготрайни натоварвания на аналитични заявки. Той предлага всички функции, които бихте очаквали от конвенционална база данни, включително ACID транзакции.

Освен това можете да го настроите в среда на Python с една единствена команда pip install, елиминирайки необходимостта от отделна конфигурация на софтуерен пакет.

DuckDB поглъща данни във формат CSV, JSON или Parquet. DuckDB подобрява ефективността, като разделя получените бази данни на отделни физически файлове според ключове като година и месец.

Когато използвате DuckDB за заявки, той се държи като обикновена релационна база данни, поддържана от SQL, но с допълнителни функции, като вземане на произволни проби от данни и създаване на прозоречни функции.

Освен това DuckDB предоставя полезни разширения като търсене в пълен текст, импорт/експорт на Excel, директни връзки към SQLite и PostgreSQL, експортиращи файлове във формат Parquet и поддържащи различни общи формати за геопространствени данни и видове.

3. Optimus: Рационализиране на манипулирането на данни

Почистването и подготовката на данни за проекти, ориентирани към DataFrame, може да бъде една от по-малко завидните задачи. Оптимус е набор от инструменти "всичко в едно", предназначен да зарежда, изследва, почиства и записва обратно данни в различни източници на данни.

Optimus може да използва Pandas, Dask, CUDF (и Dask + CUDF), Vaex или Spark като основна машина за данни. Можете да зареждате от и да запазвате обратно в Arrow, Parquet, Excel, различни често срещани източници на бази данни или плоски файлови формати като CSV и JSON.

API за манипулиране на данни в Optimus е като Pandas, но предлага повече .rows() и .cols() аксесоари. Тези аксесоари правят различни задачи много по-лесни за изпълнение.

Например, можете да сортирате DataFrame, да го филтрирате въз основа на стойности на колони, да промените данни, като използвате конкретни критерии, или да стесните операции въз основа на определени условия. Освен това Optimus включва процесори, предназначени да обработват общи типове данни от реалния свят, като имейл адреси и URL адреси.

Важно е да знаете, че Optimus в момента е в процес на активна разработка и последното му официално издание беше през 2020 г. В резултат на това може да е по-малко актуален в сравнение с други компоненти във вашия стек.

4. Polars: Ускоряване на DataFrames

Ако установите, че работите с DataFrames и сте разочаровани от ограниченията на производителността на Pandas, поляри е отлично решение. Тази библиотека DataFrame за Python предлага удобен синтаксис като Pandas.

За разлика от Pandas, Polars използва библиотека, написана на Rust, която увеличава максимално възможностите на вашия хардуер от кутията. Не е необходимо да използвате специален синтаксис, за да се насладите на функции за подобряване на производителността като паралелна обработка или SIMD.

Дори прости операции като четене от CSV файл са по-бързи. Освен това Polars предлага както нетърпелив, така и мързелив режим на изпълнение, позволявайки незабавно изпълнение на заявка или отложено, докато е необходимо.

Той също така предоставя API за стрийминг за поетапна обработка на заявки, въпреки че тази функция може все още да не е налична за всички функции. Разработчиците на Rust също могат да създават свои собствени разширения Polars с помощта на pyo3.

5. Snakemake: Автоматизиране на работните потоци за наука за данни

Създаването на работни потоци за наука за данни поставя предизвикателства, а осигуряването на последователност и предвидимост може да бъде още по-трудно. Snakemake се справя с това чрез автоматизиране на настройките за анализ на данни в Python, осигурявайки последователни резултати за всички.

Много съществуващи проекти за наука за данни разчитат на Snakemake. Тъй като вашият работен процес за наука за данни става все по-сложен, автоматизирането му със Snakemake става полезно.

Работните потоци на Snakemake наподобяват работните потоци на GNU make. В Snakemake дефинирате желаните резултати с помощта на правила, които определят вход, изход и необходимите команди. Можете да направите правилата на работния поток многонишкови, за да спечелите ползите от паралелната обработка.

Освен това данните за конфигурацията могат да произхождат от JSON/YAML файлове. Работните потоци също така ви позволяват да дефинирате функции за трансформиране на данни, използвани в правила, и регистриране на действия, предприети на всяка стъпка.

Snakemake проектира работни места, за да бъдат преносими и внедряеми в среди, управлявани от Kubernetes, или специфични облачни платформи като Google Cloud Life Sciences или Tibanna на AWS.

Можете да замразите работни потоци, за да използвате точен набор от пакети, а изпълнените работни потоци могат да съхраняват генерирани единични тестове с тях. За дългосрочно архивиране можете да съхранявате работни потоци като tarballs.

Възприемайки тези най-нови инструменти за наука за данни, вие можете да повишите продуктивността си, да разширите възможностите си и да се впуснете във вълнуващи пътешествия, управлявани от данни. Все пак не забравяйте, че ландшафтът на науката за данни се развива. За да останете на преден план, продължавайте да изследвате, експериментирате и се адаптирате към новите инструменти и техники, които се появяват в това променящо се поле.