Наука о данных

Всё что касается науки о данных: алгоритмы и структуры данных, Искусственный Интеллект, анализ данных и многое другое!

8 экспертных советов по использованию Apache Spark

8 экспертных советов по использованию Apache Spark

Хотите в совершенстве освоить Apache Spark? Воспользуйтесь советами эксперта, 1,5 года проработавшего с клиентами Databricks. Узнайте, как работает Spark, что общего между этим фреймворком и продовольственным магазином и как добиться в работе с ним оптимальных результатов.
12 стратегий настройки готовых к производству RAG-приложений

12 стратегий настройки готовых к производству RAG-приложений

По мере увеличения прототипов RAG-конвейеров становится насущным обсуждение стратегий оптимизации их производительности. Посмотрим, как можно повысить результативность работы RAG-конвейера с помощью гиперпараметров и различных стратегий настройки.
Основы качественного анализа данных

Основы качественного анализа данных

Успешный анализ данных - это комбинация технического мастерства, стратегического подхода и применимости на практике. Важно не только провести умелое исследование, но и донести его смысл до заинтересованных сторон. Сегодня разберем стратегии качественного анализа данных.
Проект инженерии данных с DAG Airflow «от и до». Часть 2

Проект инженерии данных с DAG Airflow «от и до». Часть 2

Проверим корректность данных, отправим письмо и сообщение в Slack с информацией об адресе почты и пароле. Объединим все части проекта, создадим и запустим DAG Airflow со всеми задачами.
Инженерия данных: руководство для начинающих, вдохновленное Формулой-1

Инженерия данных: руководство для начинающих, вдохновленное Формулой-1

Сложные понятия и процессы лучше всего объяснять на конкретных кейсах. Сегодня покажем, как работать с данными, на примере компании, участвующей в гоночном чемпионате Формула-1.
Проект инженерии данных «от и до» с Apache Airflow, Postgres и GCP

Проект инженерии данных «от и до» с Apache Airflow, Postgres и GCP

Подробно расскажем о контейнерах Docker, оркестрации ETL-конвейеров, работе с облачными технологиями, настройке рабочей среды для ETL-проектов с Apache Airflow. А в конце поделимся нужными командами.
Как создать первый проект по инженерии данных: инкрементный подход. Часть 2

Как создать первый проект по инженерии данных: инкрементный подход. Часть 2

Инкрементный подход похож на спринт: он позволяет оперативнее реагировать на любые изменения и быстрее достигать цели. Небольшие, но постепенные шаги (спринты) обеспечат вам заряд адреналина всякий раз, когда вы будете вычеркивать из списка очередную выполненную задачу.
Как создать первый проект по инженерии данных: инкрементный подход. Часть 1

Как создать первый проект по инженерии данных: инкрементный подход. Часть 1

Инкрементный подход фокусируется на последовательном приращении функциональности продукта. При разработке проекта по инженерии данных такой подход гарантирует успех. Он повышает управляемость проектом, позволяет изучать различные концепции по мере продвижения и ускоряет выпуск более качественных продуктов.
Этические проблемы в науке о данных

Этические проблемы в науке о данных 

Затронем вопросы этики в науке о данных. Выявим имеющиеся проблемы и предложим пути решения.
Pandas 2.0.0  -  геймчейнджер в работе дата-сайентистов?

Pandas 2.0.0  —  геймчейнджер в работе дата-сайентистов?

Действительно ли новый релиз pandas 2.0.0. направлен на повышение производительности, гибкости и совместимости операций с данными? Ответить на этот вопрос поможет данный обзор, в котором представлены 5 функциональных возможностей pandas 2.0.
Инженерия геопространственных данных: пространственное индексирование

Инженерия геопространственных данных: пространственное индексирование

Слышали ли вы о пространственном индексировании? Эта технология обладает мощным потенциалом: она способна оптимизировать производительность запросов, сэкономить время обработки данных и упростить задачи машинного обучения.
Jackknife+: «швейцарский нож» в конформном прогнозировании для регрессии

Jackknife+: «швейцарский нож» в конформном прогнозировании для регрессии

Рассмотрим преимущества Jackknife+ - эффективного метода конформного прогнозирования, который представляет собой усовершенствованную версию jackknife.
4 аспекта, упущенных в большинстве программ по науке о данных.

4 аспекта, упущенных в большинстве программ по науке о данных.

Большинство программ, тренингов и курсов по науке о данных не готовят студентов к реальной практике. Мы поможем вам восполнить этот пробел, который в Массачусетском технологическом институте называют "пропущенным семестром образования в области компьютерных наук".
Как организовать свою систему обработки данных: кейс mondayDB

Как организовать свою систему обработки данных: кейс mondayDB

Приглашаем в увлекательное путешествие в мир mondayDB - нового механизма обработки данных. Разработчики этой системы рассказывают о ее основных концепциях: столбцовом хранении данных, лямбда-архитектуре и отделении хранения от вычислений.
5 неочевидных истин науки о данных

5 неочевидных истин науки о данных

Хотите открыть для себя красоту машинного кода, скрывающуюся за нулями и единицами? Для начала узнайте 5 неочевидных истин науки о данных. Они помогут вам ступить на путь постижения этой увлекательной дисциплины со свежим взглядом.
Состояние инфраструктуры данных на 2023 год  -  ключевые тренды ландшафта MAD от Мэтта Терка

Состояние инфраструктуры данных на 2023 год  —  ключевые тренды ландшафта MAD от Мэтта Терка

Как выглядит ландшафт инструментов по работе с данными глазами инсайдера, который активно общается с конечными пользователями? Рассмотрим, какова ситуаций в целом и какие в ней наблюдаются тенденции.
Продвинутые темы SQL для дата-инженеров

Продвинутые темы SQL для дата-инженеров

Рассмотрим важные техники SQL, иллюстрируя их примерами применения набора данных: объединение таблиц, подзапросы и оконные функции, фильтрацию и агрегирование. Освоив их, вы будете лучше справляться с анализом и визуализацией данных и сможете повысить качество принимаемых в организациях решений.
Раскрываем возможности контейнеризации. Зачем дата-сайентистам Docker и Kubernetes?

Раскрываем возможности контейнеризации. Зачем дата-сайентистам Docker и Kubernetes?

Разберем отличия и преимущества Docker и Kubernetes, применяемые инструменты и терминологию. Какова роль контейнеризации и оркестрации в эффективной работе дата-сайентиста?
4 альтернативы Pandas: ускоренное выполнение анализа данных

4 альтернативы Pandas: ускоренное выполнение анализа данных

Бенчмарк производительности популярных инструментов анализа данных заставит вас иногда отказываться от Pandas. Каждый из этих инструментов  -  Polars, DuckDB, Vaex и Modin - при анализе данных на кластере машин работает гораздо быстрее, чем Pandas.
Как писать идеальные конспекты по науке о данных

Как писать идеальные конспекты по науке о данных

Предлагаем несколько практических советов по написанию конспектов при изучении науки о данных. Следуя им, вы сможете эффективно понимать и усваивать сложнейшие концепции, которые пригодятся в дальнейшей работе.
Что такое большие данные: комплексный обзор

Что такое большие данные: комплексный обзор

Большие данные появились в конце 2000-х годов и стали настоящим технологическим прорывом. Предлагаем поразмышлять над тем, в чем суть этого феномена, как он позволяет оптимизировать бизнес-процессы и как им можно управлять.
11 шагов на пути к работе дата-сайентиста

11 шагов на пути к работе дата-сайентиста

Получить работу в области науки о данных, МО и ИИ сложно. Эти 11 шагов помогут стратегически подойти к решению этой проблемы (спойлер: Kaggle не относится к их числу).
Как дата-аналитику стать дата-сайентистом в 2023 году

Как дата-аналитику стать дата-сайентистом в 2023 году

Какие навыки и ресурсы нужны дата-аналитику, чтобы получить должность дата-сайентиста? Как сократить и облегчить этот карьерный переход? Воспользуйтесь практическими советами старшего дата-сайентиста, который ранее работал дата-аналитиком.
Что говорить на поведенческом интервью по науке о данных

Что говорить на поведенческом интервью по науке о данных

Произвести приятное впечатление на потенциального работодателя во время собеседования непросто. Тем не менее с этой задачей можно легко справиться, если следовать этим 3 простым лайфхакам.
Пошаговое руководство по NLP: конструирование признаков текстовых данных

Пошаговое руководство по NLP: конструирование признаков текстовых данных

Конструирование признаков текстовых данных - важнейший этап МО, который может повлиять на производительность, сложность и способность модели обобщать новые данные. Предлагаем пошаговое руководство по извлечению более 10 признаков текстовых данных в Python.
4 расширения VS Code, которые пригодятся дата-инженеру

4 расширения VS Code, которые пригодятся дата-инженеру

Если вы пользуетесь VS Code, то наверняка успели убедиться в его практичности. Однако работу с этим редактором можно сделать еще удобнее. Предлагаем расширения VS Code, которые сэкономят много времени и сил.
Как собрать данные для DS-проекта с помощью Python: 3 шага

Как собрать данные для DS-проекта с помощью Python: 3 шага

Начните свой проект по науке о данных с создания Python-скрипта, используя библиотеку Selenium для извлечения данных. Предлагаем узнать, как это выполнить в 3 шага.
Почему точные модели не всегда полезны

Почему точные модели не всегда полезны

Утверждение, которое кажется парадоксальным: точность модели - не главный признак ее эффективности! Важно также разработать продукт, оправданный с денежной точки зрения. Сегодня поговорим о том, как функции экономической полезности помогают связать МО-модели с нуждами клиентов.
Разведочный анализ данных в одной строке кода

Разведочный анализ данных в одной строке кода

В программировании важно уметь пользоваться инструментами, которые обеспечивают удобное выполнение сложных функций. Сегодня познакомимся с разведочным анализом данных и полезной библиотекой sweetviz.
Как работает обратное распространение в нейронных сетях

Как работает обратное распространение в нейронных сетях

Обратное распространение используется для эффективного обучения нейронных сетей посредством цепного правила. Рассмотрим особенности этого процесса.
Типы операций обновления в MongoDB с использованием Spring Boot

Типы операций обновления в MongoDB с использованием Spring Boot

Разбираемся, как обновлять данные в MongoDB, в чем заключаются преимущества и недостатки существующих способов и как выглядят результаты их применения.
Как получить данные в нужном формате с помощью Pandas

Как получить данные в нужном формате с помощью Pandas

Дата-сайентистам приходится работать с данными разных форматов. Разбираемся, в чем заключается разница между длинным и широким форматами данных, а также в том, как перейти от одного формата к другому в Pandas.
5 рекомендаций по оптимизации запросов SQL

5 рекомендаций по оптимизации запросов SQL

Никогда не поздно проанализировать свой стиль программирования запросов SQL, выявить недостатки и исправить. Рассмотрим 5 способ улучшить запросы и повысить свою продуктивность.
Как освоить машинное обучение

Как освоить машинное обучение

Чтобы самостоятельно освоить машинное обучение, не обязательно записываться на дорогостоящие курсы. Можно обойтись бесплатными роликами на YouTube, онлайн-руководствами и советами практикующих специалистов МО.
В чем преимущество контрактов о передаче данных

В чем преимущество контрактов о передаче данных

Контракты о передаче данных - это возможность избавить дата-саентистов от неприятностей в работе с данными сомнительного качества. Предлагаем познакомиться с конструктивным подходом к таким соглашениям.
Введение в алгоритмы машинного обучения: линейная регрессия

Введение в алгоритмы машинного обучения: линейная регрессия

Линейная регрессия - отправной пункт в освоении науки о данных, с которого новички приступают к овладению моделированием данных. Каждому начинающему исследователю данных будет полезно ознакомиться с алгоритмом линейной регрессии, его реализацией на Python и способами применения.
Чем отличаются модели МО в науке и производстве

Чем отличаются модели МО в науке и производстве

Почему модели МО, которые хорошо выглядят "на бумаге", не гарантируют хорошей работы в производстве? Вот что думает специалист в области МО.
6 алгоритмов машинного обучения, которые должен знать каждый исследователь данных

6 алгоритмов машинного обучения, которые должен знать каждый исследователь данных

Машинное обучение - одна из тех областей, которые должен знать каждый, кто изучает науку о данных. Предлагаем описание 6 ключевых алгоритмов контролируемого МО, изложенное простым, доступным языком.
Как использовать MSE в науке о данных

Как использовать MSE в науке о данных

Среднеквадратичная ошибка (MSE) - одна из полезных метрик, помогающих определить эффективность модели. Рассказываем, как использовать MSE для оценки и оптимизации производительности в науке о данных.
Как за месяц создать систему учета посещаемости на базе распознавания лиц

Как за месяц создать систему учета посещаемости на базе распознавания лиц

Нестандартные решения - верные помощники в разработке инноваций. Представляем инновационный проект управления посещаемостью, созданный двумя инженерами-программистами менее чем за месяц.
Как подключиться к MongoDB с помощью Node.js

Как подключиться к MongoDB с помощью Node.js

Базы данных - полезный инструмент для проекта, и для работы с ними можно воспользоваться MongoDB. Разбираемся, как подключиться к MongoDB при помощи Mongoose.
GraphSAGE: как масштабировать графовые нейронные сети до миллиардов соединений

GraphSAGE: как масштабировать графовые нейронные сети до миллиардов соединений

GraphSAGE - это алгоритм обучения с индуктивным представлением, который применяется для работы с графами. Посмотрим, как он работает, и сравним его с аналогичными инструментами, чтобы выявить преимущества и недостатки.
Метод SHAP для категориальных признаков

Метод SHAP для категориальных признаков

Поговорить о том, как складывать SHAP-значения категориальных признаков, преобразованных путем прямой кодировки, с помощью кода Python.
Обнаружение фейковых новостей с помощью машинного обучения

Обнаружение фейковых новостей с помощью машинного обучения

Что общего у фейковых новостей? Как создать чат-бота, который отличает такие новости от реальных? Почему BERT не является универсальным решением в машинном обучении? Узнайте ответы на эти и сопутствующие вопросы прямо сейчас.
BigQuery теперь поддерживает Query Queues

BigQuery теперь поддерживает Query Queues

Новая функция Google BigQuery под названием Query Queues позволяет автоматически определять количество запросов, выполняемых одновременно. Дополнительные запросы, превышающие заданный уровень параллелизма, ставятся в очередь до тех пор, пока не освободятся ресурсы обработки.
Как легко развертывать модели МО в 2022 году с помощью Streamlit, BentoML и DagsHub

Как легко развертывать модели МО в 2022 году с помощью Streamlit, BentoML и DagsHub

Хотите поделиться проектом, но не знаете, как это лучше сделать? Рассмотрим простой способ представления моделей МО с использованием Streamlit, BentoML и DagsHub.
Как быстро и легко создавать прототипы датасайенс-проектов

Как быстро и легко создавать прототипы датасайенс-проектов

Преобразовать Jupyter Notebook в интерактивный дашборд - задача из простых. Для этого даже не нужно знать HTML, CSS и JavaScript. Разбираемся, как создать приложение для совместного использования прямо в среде ноутбука с помощью Mercury.
Автоматическое МО (AutoML) с использованием PyCaret: основные принципы

Автоматическое МО (AutoML) с использованием PyCaret: основные принципы

Специалисты по обработке данных тратят около 80% времени на то, чтобы выбрать оптимальную модель, отрегулировать ее параметры и подождать, пока она осуществит необходимые расчеты. На выручку приходит автоматическое МО, в разы ускоряющее подбор адекватной модели.
4 пакета Python для причинно-следственного анализа данных

4 пакета Python для причинно-следственного анализа данных

Эти 4 пакета Python - Causalinference, Causallib, Causalimpact и DoWhy - помогут овладеть навыками причинно-следственного анализа. Изучив эту область экспериментальной статистики, вы сможете устанавливать и обосновывать причинно-следственные связи при исследовании самых различных данных.

#04TheNotSoToughML | “Давай, минимизируй ошибки” — Но достаточно ли этого?

Пришло время развеять миф о том, что машинное обучение - это сложно. Интуитивное МО позволяет пользоваться легкодоступными инструментами, не требующими специальных знаний.
Моделирование данных в мире современного стека данных 2.0

Моделирование данных в мире современного стека данных 2.0

Сравнивать моделирование данных со стеком данных - все равно что уподоблять автомобили интеллектуальным навигационным системам. Предлагаем на практических примерах убедиться в том, что технологии современного стека данных позволяют аналитикам успешно вести исследования без моделирования.
Собеседование в области науки о данных: 7 распространенных ошибок

Собеседование в области науки о данных: 7 распространенных ошибок

Вас преследует неудачи на собеседованиях в области науки о данных и машинного обучения? Рассматриваем распространенные проблемы и размышляем о том, как их избежать.
Ludwig на PyTorch

Ludwig на PyTorch

Простота, модульность и расширяемость - отличительные признаки декларативного фреймворка глубокого обучения Ludwig. Его разработчики представляют новую, переработанную с нуля версию - Ludwig v0.5. И главная его особенность в том, что весь бэкенд переносится на PyTorch.
8 структур данных, которые должен знать каждый дата-сайентист

8 структур данных, которые должен знать каждый дата-сайентист

Организация данных имеет большое значение в сфере дата-сайенс. Представляем 8 основных структур, которые пригодятся любому специалисту по работе с данными.
Топ-5 браузерных расширений для специалистов по анализу данных

Топ-5 браузерных расширений для специалистов по анализу данных

Работа современного исследователя данных неразрывно связана с браузером. Представляем 5 браузерных расширений, упрощающих этот процесс: Diigo, CatalyzeX, Octotree, Open in Colab и BibItNow.
3 распространенные ошибки при поиске работы в области науки о данных в 2022 году

3 распространенные ошибки при поиске работы в области науки о данных в 2022 году

Мечтаете связать свою жизнь с наукой о данных? Тогда прислушайтесь к рекомендациям эксперта в этой отрасли. Они помогут избежать наиболее распространенных ошибок при поиске работы.
SMOTE: метод увеличения числа примеров миноритарного класса

SMOTE: метод увеличения числа примеров миноритарного класса

SMOTE - одна из распространенных стратегий сэмплинга, позволяющая решить проблему дисбаланса классов. Это пошаговое руководство по использованию алгоритма SMOTE в Python позволит избежать просчетов в МО.
MLOps: как внедрить систему рекомендаций товаров на ecommerce-сайт

MLOps: как внедрить систему рекомендаций товаров на ecommerce-сайт

Умные инструменты - алгоритм Word2Vec и МО-сервис Layer - помогут быстро и дешево создать и внедрить модель рекомендаций и категоризации товаров на сайте электронной коммерции. В итоге пользователи платформы получат персонализированный опыт, а ее владелец сможет повысить конверсии и увеличить продажи.
Как обнаружить выбросы в проекте по исследованию данных

Как обнаружить выбросы в проекте по исследованию данных

Что такое выбросы в статистике? Как их обнаружить? Всегда ли их надо исключать из набора данных? Существуют ли критерии исключения выбросов? Предлагаем ответы на все эти вопросы, а в качестве бонуса - примеры кода на Python.
Лассо- и ридж-регрессии: интуитивное сравнение

Лассо- и ридж-регрессии: интуитивное сравнение

Регуляризация размерности данных - важнейший навык в машинном обучении, позволяющий повысить эффективность модели. Чтобы овладеть им, необходимо понять различие между лассо- и ридж-регрессиями. Попробуем разобраться с этими методами статистического обучения.
Добыча данных: анализ рыночной корзины с помощью алгоритма Apriori

Добыча данных: анализ рыночной корзины с помощью алгоритма Apriori

Вы когда-нибудь задумывались над тем, почему хлеб всегда лежит рядом с маслом в бакалейном магазине? Сегодня мы раскроем этот секрет.
19 скрытых фич Sklearn, о которых вам следует знать

19 скрытых фич Sklearn, о которых вам следует знать

Сегодня поговорим о 19 функциях Sklearn, о которых вы не слышали. Они представляют собой элегантную замену обычных операций, которые вы выполняете вручную.
3 худших совета по осваиванию науки о данных

3 худших совета по осваиванию науки о данных

К сожалению, существенная часть информации либо не соответствует действительности, либо просто недоступна для начинающих. При наличии достаточного опыта можно легко распознать и проигнорировать ее, однако новичку практически невозможно отделить зерна от плевел, что в итоге приводит к потере времени и разочарованию.
Пакетная обработка 22 ГБ данных о транзакциях с помощью Pandas

Пакетная обработка 22 ГБ данных о транзакциях с помощью Pandas

Можно ли работать с большими массивами данных при ограниченных вычислительных ресурсах? Можно и очень даже успешно, если использовать пакетную обработку для создания различных агрегаций этих данных.
Будут ли специалисты по обработке данных по-прежнему востребованы в 2022 году?

Будут ли специалисты по обработке данных по-прежнему востребованы в 2022 году?

Насколько востребованы сегодня специалисты по обработке и анализу данных? Способны ли их вытеснить инженеры данных или автоматизированные МО-инструменты? Поиск ответов на эти вопросы поможет не ошибиться в выборе карьерного пути.
Наука о данных в "царстве" Web3

Наука о данных в “царстве” Web3

Что лучше - традиционные платформы или платформы Web3? Попробуем разобраться.
Руководство для начинающих исследователей данных

Руководство для начинающих исследователей данных

Как новичку влиться в сферу науки о данных? Наличие продуманного плана может дать значительное преимущество начинающему специалисту. Предлагаем взять на вооружение план действий, основанный на личном опыте человека, добившегося успехов в этой области.
Создание модели машинного обучения с помощью Google Colab без дополнительных настроек

Создание модели машинного обучения с помощью Google Colab без дополнительных настроек

Машинное обучение позволяет разрабатывать модели, способные выдавать точные прогнозы. Сегодня рассмотрим, как можно создать модель МО, используя такой инструмент, как Google Colab.
Как создать хранилище данных за 5 шагов

Как создать хранилище данных за 5 шагов

В проекте по созданию хранилища данных не обойтись без четкого плана действий. Познакомьтесь с ключевыми этапами его реализации - от четкой постановки бизнес-целей до запуска готового к использованию проекта.
14 наборов данных для датасайенс-проектов

14 наборов данных для датасайенс-проектов

Представляем 14 наборов данных, которые пригодятся для различных целей, например классификации текстов и изображений, создании системы рекомендаций, а также визуализации данных.
Как импортировать наборы данных Kaggle в Google Colab?

Как импортировать наборы данных Kaggle в Google Colab?

Хотите поработать с набором данных Kaggle в блокноте Colab? Предлагаем простейший пошаговый алгоритм загрузки набора данных Kaggle в Colab-среду.
Как выжать максимум из предобученных языковых моделей с GroupBERT

Как выжать максимум из предобученных языковых моделей с GroupBERT

Как достичь 2-кратного ускорения обучения на интеллектуальном процессоре Graphcore, обеспечивая более быстрые и эффективные вычисления? Что делает GroupBERT лучше BERT и других моделей с групповыми преобразованиями в Transformer? Отвечаем на эти и сопутствующие вопросы.
Как обучить модель квантового МО, используя данные из CSV?

Как обучить модель квантового МО, используя данные из CSV?

Область квантового машинного обучения не сразу поддается начинающим исследователям данных из CSV. Предлагаем поучиться не на теоретических примерах (которые зачастую не имеют практической пользы), а на реальном опыте специалистов QML.
Эффективное итерирование по строкам в Pandas DataFrame

Эффективное итерирование по строкам в Pandas DataFrame

Рассмотрим продвинутые методы итерирования по строкам, которые заменят iterrows и itertuples. Некоторые из них позволяют повышать производительность почти в две тысячи раз, не снижая при этом читабельности кода.
Структуры данных и алгоритмы: стек

Структуры данных и алгоритмы: стек

Стек - это абстрактный тип данных, который обычно используется в большинстве языков программирования. Хорошие примеры для объяснения понятия стека - колода карт или стопка тарелок. Разберем основные операции, проводимые со стеком.
Простое руководство по визуализации данных в машинном обучении

Простое руководство по визуализации данных в машинном обучении

Создание информационных визуализаций - важнейший процесс, помогающий определить эффективность модели МО. Библиотека Yellowbrick, обладающая богатым функционалом, значительно упростит этот процесс.
MongoDB: агрегирование

MongoDB: агрегирование 

Операции агрегирования обрабатывают данные и возвращают вычисленные результаты. Они группируют значения из нескольких документов, выполняют с ними разные действия и возвращают один-единственный результат. В SQL аналогами операций агрегирования MongoDB являются функция count(*) и оператор group by.
Структуры данных: кольцевой (циклический, замкнутый) связный список

Структуры данных: кольцевой (циклический, замкнутый) связный список

Кольцевой связный список - это разновидность связного списка, при которой первый элемент указывает на последний, а последний - на первый. Кольцевой связный список можно сделать как из односвязного , так и из двусвязного списка.
Как стать специалистом по обработке данных: 5 советов

Как стать специалистом по обработке данных: 5 советов

Специалист по данным - одна из самых востребованных профессий на сегодняшний день. Узнайте, какие навыки вам пригодятся для того, чтобы стать востребованным дата-сайентистом.
MongoDB: индексация

MongoDB: индексация 

Индексы поддерживают эффективное выполнение запросов. Без них MongoDB сканировала бы каждый документ коллекции, отбирая нужные в соответствии с инструкцией запроса. Такое сканирование малоэффективно и предполагает обработку больших объемов данных.
MongoDB: cортировка документов

MongoDB: cортировка документов 

Краткая инструкция по применению метода сортировки sort()
Четыре метода, которые повысят качество работы с Pandas

Четыре метода, которые повысят качество работы с Pandas

Знакомьтесь с "великолепной четверкой" методов - assign, map, query и explode. Это самые крутые фичи Pandas. Они сделают ваш код более ясным, элегантным и эффективным.
Структуры данных: двусвязный (двунаправленный) список

Структуры данных: двусвязный (двунаправленный) список

Двусвязный список - это разновидность связного списка, при которой переход по элементам возможен в обоих направлениях (как вперед, так и назад), в отличие от односвязного списка.
MongoDB: ограничение отображаемых документов

MongoDB: ограничение отображаемых документов 

Разберем методы Limit() и Skip() и приведем примеры
MongoDB : проекция (Projection)

MongoDB : проекция (Projection) 

В MongoDB проекция означает выбор не всех данных документа, а только нужных. Например, эта операция позволяет из 5-ти полей, содержащихся в документе, отобразить только 3.
10 веских причин изучить Python для занятий наукой о данных

10 веских причин изучить Python для занятий наукой о данных

Не знаете, с чего начать погружение в науку о данных? Начните с изучения Python. Это верный способ быстро, легко и увлекательно освоить основы науки о данных.
Структуры данных: связный список

Структуры данных: связный список

Связный список - последовательность структур данных, связанных ссылками - вторая по частоте использования после массива структура данных. Рассмотрим основные операции и покажем пример на языке С.
MongoDB: запрос, обновление и удаление документа

MongoDB: запрос, обновление и удаление документа 

В прошлой части руководства по MongoDB мы разобрали, как вставить документ. Теперь рассмотрим три остальных действия с документом.
Структуры данных: массивы

Структуры данных: массивы

Предыдущая часть: "Структуры данных: основные понятия" Массив  —  это контейнер, содержащий фиксированное количество элементов одного типа. В большинстве структур данных массивы используются для реализации алгоритмов. Вот термины, необходимые...
Структуры данных: основные понятия

Структуры данных: основные понятия

Предыдущая часть: "Структуры данных: динамическое программирование" Определение данных Это определение конкретных данных со следующими характеристиками: атомарность, то есть определяется единое понятие.отслеживаемость, т. е. определение должно сопоставляться с...
5 уникальных подходов Google к инженерии данных

5 уникальных подходов Google к инженерии данных

Когда я пришел в Google в качестве поставщика в 2019 году, у меня уже был опыт работы в области здравоохранении и технологическом секторе. Тем...
MongoDB: вставка документа

MongoDB: вставка документа 

Для вставки данных в коллекцию MongoDB используется метод insert() или save(). Разберем его в данной статье.
MongoDB: типы данных

MongoDB: типы данных 

MongoDB поддерживает множество типов данных - перечислим их в этой статье.
Структуры данных: динамическое программирование

Структуры данных: динамическое программирование

Подход динамического программирования схож с подходом «разделяй и властвуй»: тоже разбивает задачи на как можно более мелкие подзадачи. Отличие в том, что здесь подзадачи решаются не независимо.
Структуры данных: подход «разделяй и властвуй»

Структуры данных: подход «разделяй и властвуй»

При подходе «разделяй и властвуй» задача делится на мелкие подзадачи, каждая из которых решается независимо. При их делении на еще более мелкие подзадачи в конце концов настает момент, когда дальнейшее деление невозможно.
MongoDB: создание и удаление коллекции

MongoDB: создание и удаление коллекции

Рассмотрим создание и удаление коллекции с помощью команд createCollection() и drop().
MongoDB: удаление базы данных

MongoDB: удаление базы данных 

В прошлой статье о MongoDB мы рассмотрели создание базы данных. В данном разделе рассмотрим процесс ее удаления.
Структуры данных: «жадные» алгоритмы

Структуры данных: «жадные» алгоритмы

Алгоритм предназначен для достижения оптимального решения задачи. В подходе с жадным алгоритмом оно выбирается из заданной предметной области решений. Причём берутся ближайшие, кажущиеся оптимальными решения - отсюда и название «жадный».
Структуры данных: асимптотический анализ

Структуры данных: асимптотический анализ

Асимптотический анализ алгоритма - это определение математических границ/рамок его производительности во время выполнения, позволяющее очень легко находить время работы алгоритма в лучшем, среднем и худшем случае.
Redis и Memurai для кэширования SQL-запросов

Redis и Memurai для кэширования SQL-запросов 

Кэширование запросов совсем не такой простой процесс, как кажется на первый взгляд. Рассмотрим разные подходы, признаки хорошего кэша, кэширование с помощью Redis и его альтернативу Memurai для Windows.
Заменят ли потоки данных циклы в Java?

Заменят ли потоки данных циклы в Java?

Затронем такую тему, как потоки данных в Java. Сравним их показатели производительности с циклами, а также выявим преимущества и ограничения в применении.
Kotlin

Как избежать утечек памяти с помощью Kotlin

Я выступал на MobOS, где рассказывал о написании и автоматизации тестирования производительности на Android. Часть своей речи я посвятил обнаружению утечек памяти в процессе...
Проектирование базы кода API GraphQL в Node.js

Проектирование базы кода API GraphQL в Node.js

GraphQL завоевывает все большую популярность. Спроектируем API на основе этой технологии и запустим сервер, чтобы наглядно разобраться в реализации механизмов модульности и аутентификации.
Data Science

5 базовых статистических концептов, которые должен знать каждый специалист по обработке данных

В таком искусстве, как наука о данных, статистика может оказаться мощным инструментом. В широком смысле, статистика означает использование математики для технического анализа данных. Базовая...
Android

Автоматизация создания файлов для нового экрана с плагином для Android Studio

Введение Приходилось ли вам работать над проектом со сложной архитектурой, в котором для создания нового экрана нужно добавить несколько новых файлов с определенным содержимым? Например,...