Наука о данных

Наука о данных в “царстве” Web3

Что лучше - традиционные платформы или платформы Web3? Попробуем разобраться.

8 способов “настроить” Data-команду на успех. Часть вторая

Предыдущие части: Часть 1 Другие лучшие практики Далее я привожу вымышленные сценарии, рассматривая общие стратегии, которые менеджеры должны использовать, чтобы не навредить своей Data-команде. 2) Ищите «Систематические ошибки...

Структуры данных: динамическое программирование

Подход динамического программирования схож с подходом «разделяй и властвуй»: тоже разбивает задачи на как можно более мелкие подзадачи. Отличие в том, что здесь подзадачи решаются не независимо.

MongoDB: вставка документа

Для вставки данных в коллекцию MongoDB используется метод insert() или save(). Разберем его в данной статье.

Обзор шаблонов SnapML и их возможностей в Lens Studio

В июне 2020 года Snapchat выпустил Lens Studio 3.0. — крупное обновление своего ПО для создания эффектов дополненной реальности (далее AR). Среди всего изобилия новшеств релиза...

RUID - уникальные 64-битные идентификаторы для распределенных баз данных

RUID (Rodrigo’s Unique Identifiers) — это 64-битные идентификаторы с математически гарантированной уникальностью при генерировании в одном и том же RUID root. Ознакомьтесь с ними...

ИИ: решение неверно поставленных задач

В 2008 году восходящие звезды Кремниевой долины собрались вокруг стола в конференц-зале. В будущем все они станут титанами технологического мира, однако в то время...

Большой недостаток социальных сетей и его устранение

Чуть более двух десятилетий назад, на заре своего развития Интернет столкнулся с серьезной проблемой: очень сложно было найти «правильную», необходимую информацию. Другими словами, поисковые...

Будет ли ИИ главенствовать в 2021 году? Большой вопрос

Технологии, связанные с искусственным интеллектом, развиваются в стремительном темпе. Узнаем, что ожидает ИИ в будущем. В 2020 году ИИ претерпел быстрые преобразования, неожиданные разработки и...

Реализация архитектуры с сохранением состояния в Streamlit

Streamlit Streamlit прошел долгий путь становления с момента своего создания в октябре 2019 года. Он не только предоставил разработчикам ПО новые возможности, но и обеспечил...

Топ-5 браузерных расширений для специалистов по анализу данных

Работа современного исследователя данных неразрывно связана с браузером. Представляем 5 браузерных расширений, упрощающих этот процесс: Diigo, CatalyzeX, Octotree, Open in Colab и BibItNow.

Как обучить модель квантового МО, используя данные из CSV?

Область квантового машинного обучения не сразу поддается начинающим исследователям данных из CSV. Предлагаем поучиться не на теоретических примерах (которые зачастую не имеют практической пользы), а на реальном опыте специалистов QML.

Будущее данных: децентрализованная графовая база данных

Происходит смена парадигмы, которая коренным образом изменит способы хранения, обработки и передачи данных внутри компаний. Эта смена породит изобилие новых возможностей, в том числе...

Пошаговое руководство по обучению модели на Vertex AI от Google Cloud

Предыстория и личный интерес Не так давно компания Google предоставила во всеобщее пользование свою облачную платформу для машинного обучения — Vertex AI. Моей радости просто нет...

Как собрать данные для DS-проекта с помощью Python: 3 шага

Начните свой проект по науке о данных с создания Python-скрипта, используя библиотеку Selenium для извлечения данных. Предлагаем узнать, как это выполнить в 3 шага.

Генерируйте реалистичные датасеты с помощью Snowfakery

Когда вы разрабатываете новый продукт, приложение или функцию, то тестировать ее необходимо на реалистичных данных. Сначала данные создаются вручную, но если нужно протестировать аналитические...

Как добиться от моделей глубокого обучения большей генерализации?

Вы можете использовать IRM практически в любой базовой модельной структуре. Однако эта система наиболее эффективна, когда ее применяют к моделям черного ящика, оперирующим большим...

SpineNet: нетрадиционная архитектура backbone-сети от Google Brain

Проблема классификации была весьма эффективно решена при помощи архитектур типа “энкодер-декодер”, в которых энкодерам свойственно постепенное уменьшение масштаба. Однако эта архитектура не способна эффективно...

Самые полезные продвинутые техники SQL

Освойте три продвинутые техники SQL - оконные функции, подзапросы и общие табличные выражения - с помощью примеров использования и экспертных советов. Эти техники значительно расширят ваши возможности по работе с данными.

От продвинутой к эффективной аналитике

За последнюю декаду в компаниях произошел фундаментальный сдвиг в философии принятия решений. Лидеры ушли из среды, где был важен личный опыт и интуиция, в...

Ludwig на PyTorch

Простота, модульность и расширяемость - отличительные признаки декларативного фреймворка глубокого обучения Ludwig. Его разработчики представляют новую, переработанную с нуля версию - Ludwig v0.5. И главная его особенность в том, что весь бэкенд переносится на PyTorch.

Анализ моделей машинного обучения при помощи Imandra

Расскажем о задачах классификации и регрессии. Данные, модели, условия и Imandra с её возможностями помогать прогнозировать рак и вред от лесных пожаров. Введение Проверка параметров изучаемых моделей — сложная...

Моделирование связей графа в DynamoDB

В основе Koan лежат его цели и то, как эти цели взаимосвязывают людей и команды внутри компании. Эти связи зачастую оказываются сложными, потому что...

Как быстро и легко создавать прототипы датасайенс-проектов

Преобразовать Jupyter Notebook в интерактивный дашборд - задача из простых. Для этого даже не нужно знать HTML, CSS и JavaScript. Разбираемся, как создать приложение для совместного использования прямо в среде ноутбука с помощью Mercury.

Разностный алгоритм Майерса и наблюдаемые свойства в Kotlin - как их объединить, чтобы облегчить жизнь разработчика

Посмотрите на анимацию ниже. Это группа разноцветных элементов, которые при нажатии кнопки начинают перемещаться. С точки зрения разработчика, эти элементы размещаются внутри RecyclerView с...

Как создать платформу обработки и анализа данных за неделю

Хотите создать полнофункциональную платформу данных с ежедневно обновляемыми аналитическими таблицами/дэшбордами? Простое пошаговое руководство (со ссылкой на код в репозитории GitHub) позволит реализовать такой проект всего за неделю.

Межорганизационный обмен данными

Преимущества объединения хранилищ данных в последнее время привлекают большое внимание организаций всех уровней. В 2018 году корпорация Google разработала проект передачи данных (Data Transfer...

Что говорить на поведенческом интервью по науке о данных

Произвести приятное впечатление на потенциального работодателя во время собеседования непросто. Тем не менее с этой задачей можно легко справиться, если следовать этим 3 простым лайфхакам.

Pandas 2.0.0 — геймчейнджер в работе дата-сайентистов?

Действительно ли новый релиз pandas 2.0.0. направлен на повышение производительности, гибкости и совместимости операций с данными? Ответить на этот вопрос поможет данный обзор, в котором представлены 5 функциональных возможностей pandas 2.0.

Сложные ИИ-модели созданы с помощью некачественных данных

Те, кто занят в сфере искусственного интеллекта, в том числе и в проекте Deepnews, часто презентуют свои новейшие модели как инновационные и эффективные средства...

SMOTE: метод увеличения числа примеров миноритарного класса

SMOTE - одна из распространенных стратегий сэмплинга, позволяющая решить проблему дисбаланса классов. Это пошаговое руководство по использованию алгоритма SMOTE в Python позволит избежать просчетов в МО.

#04TheNotSoToughML | “Давай, минимизируй ошибки” — Но достаточно ли этого?

Пришло время развеять миф о том, что машинное обучение - это сложно. Интуитивное МО позволяет пользоваться легкодоступными инструментами, не требующими специальных знаний.

Собеседование в области науки о данных: 7 распространенных ошибок

Вас преследует неудачи на собеседованиях в области науки о данных и машинного обучения? Рассматриваем распространенные проблемы и размышляем о том, как их избежать.

Alteryx - достойная платформа обработки данных?

Alteryx - это больше, чем просто инструмент обработки данных. Он отлично подходит для решения задач интеграции и анализа данных, а также может похвастаться множеством средств связи с системами и базами данных.

Обучение Inception в Google распознаванию пользовательских изображений

Ищете краткое руководство по обучению классификатора пользовательских изображений? С помощью Inception API от Google Brain с этой задачей можно справиться быстрее, чем выпить чашку...

Что думают ученые-компьютерщики о влиянии ИИ на общество

В ученой среде традиционно считают, что нельзя привносить этические или политические ценности в научный процесс. Но что, если исследования порождают проблемы безопасности, вызывают расистские...

Как работает обратное распространение в нейронных сетях

Обратное распространение используется для эффективного обучения нейронных сетей посредством цепного правила. Рассмотрим особенности этого процесса.

Как подключиться к MongoDB с помощью Node.js

Базы данных - полезный инструмент для проекта, и для работы с ними можно воспользоваться MongoDB. Разбираемся, как подключиться к MongoDB при помощи Mongoose.

Качество превыше количества: создание идеального проекта в науке о данных

В стартапе, жаргонизм «метрика тщеславия» означает число, находящееся под контролем компании для того, чтобы убедить мир — а иногда и самих себя — в том, что они успешнее,...

Инженерия данных: руководство для начинающих, вдохновленное Формулой-1

Сложные понятия и процессы лучше всего объяснять на конкретных кейсах. Сегодня покажем, как работать с данными, на примере компании, участвующей в гоночном чемпионате Формула-1.

От ‘R против Python’ к ‘R и Python’

Сосредоточьтесь на навыках, а не на инструментах Для тех, кто разбирается в Data Science, R и Python — это первые два ЯП, которые приходят на ум. Оба...

3 распространенные ошибки при поиске работы в области науки о данных в 2022 году

Мечтаете связать свою жизнь с наукой о данных? Тогда прислушайтесь к рекомендациям эксперта в этой отрасли. Они помогут избежать наиболее распространенных ошибок при поиске работы.

Три библиотеки R, которые должен знать каждый специалист по данным

Даже если вы используете Python, включите в свой арсенал инструментов три мощные библиотеки R, созданные крупнейшими технологическими компаниями мира.

Много узлов, одна распределенная система

Говорят, что один (мужчина, женщина — какой-то человек) — в поле не воин. Но в наши дни к этому списку можно добавить и «компьютер». Мы окружены машинами, компьютерами...

Как создать первый проект по инженерии данных: инкрементный подход. Часть 1

Инкрементный подход фокусируется на последовательном приращении функциональности продукта. При разработке проекта по инженерии данных такой подход гарантирует успех. Он повышает управляемость проектом, позволяет изучать различные концепции по мере продвижения и ускоряет выпуск более качественных продуктов.

Будут ли специалисты по обработке данных по-прежнему востребованы в 2022 году?

Насколько востребованы сегодня специалисты по обработке и анализу данных? Способны ли их вытеснить инженеры данных или автоматизированные МО-инструменты? Поиск ответов на эти вопросы поможет не ошибиться в выборе карьерного пути.

Слабо контролируемое обнаружение объектов - сквозной цикл обучения

Обнаружение объектов — широко известная задача компьютерного зрения, по которой было проведено огромное число исследований. Методы же контролируемого обнаружения объектов стали в этой области...

Как инструменты дизайна интерфейса и визуализации способствуют развитию Machine Teaching?

Разметка данных для машинного обучениянесет в себе ряд проблем и сложностей. Поэтому нам понадобится лучший подход, который ценит человеческий опыт и управляет расходами, а...

MongoDB: cортировка документов

Краткая инструкция по применению метода сортировки sort()

В чем преимущество контрактов о передаче данных

Контракты о передаче данных - это возможность избавить дата-саентистов от неприятностей в работе с данными сомнительного качества. Предлагаем познакомиться с конструктивным подходом к таким соглашениям.

Основы качественного анализа данных

Успешный анализ данных - это комбинация технического мастерства, стратегического подхода и применимости на практике. Важно не только провести умелое исследование, но и донести его смысл до заинтересованных сторон. Сегодня разберем стратегии качественного анализа данных.

Как автоматизировать сравнение датасетов с Terraform и BigQuery

Автоматизация проверки датасетов значительно упрощает жизнь. Узнаем, как же это сделать с помощью инструмента для управления облачной инфраструктурой Terraform и сервиса для анализа больших наборов данных BigQuery.

Как за месяц создать систему учета посещаемости на базе распознавания лиц

Нестандартные решения - верные помощники в разработке инноваций. Представляем инновационный проект управления посещаемостью, созданный двумя инженерами-программистами менее чем за месяц.

В США ограничивают использование технологий распознавания лиц

Но надолго ли? Технологию распознавания лиц сегодня начали применять и правоохранительные органы, и военные структуры, и частные компании, при этом они вот уже 40-лет используют базы...

Как выжать максимум из предобученных языковых моделей с GroupBERT

Как достичь 2-кратного ускорения обучения на интеллектуальном процессоре Graphcore, обеспечивая более быстрые и эффективные вычисления? Что делает GroupBERT лучше BERT и других моделей с групповыми преобразованиями в Transformer? Отвечаем на эти и сопутствующие вопросы.

Машинное обучение с Amazon Aurora

Любая современная компания, достигнув определенного момента в своем развитии, сталкивается с непростой задачей: сделать свою продукцию более кастомизируемой для клиентов. Стремление к персонализации товаров...

Создание приложения-чата с LangChain, большими языковыми моделями и Streamlit для взаимодействия со сложной базой...

Создадим приложение-чат для взаимодействия со сложной базой данных при помощи агентов и инструментов LangChain. Затем реализуем и развернем функционал памяти, создадим удобный интерфейс, в котором сложные запросы упрощаются в диалоговом режиме.

GraphSAGE: как масштабировать графовые нейронные сети до миллиардов соединений

GraphSAGE - это алгоритм обучения с индуктивным представлением, который применяется для работы с графами. Посмотрим, как он работает, и сравним его с аналогичными инструментами, чтобы выявить преимущества и недостатки.

6 концептов книги Эндрю Ына «Жажда машинного обучения»

“Техническая стратегия для инженеров-разработчиков искусственного интеллекта в эпоху глубокого обучения” “Жажда машинного обучения” структурирует разработку проектов, использующих машинное обучение. Книга включает в себя практический опыт,...

MongoDB: ограничение отображаемых документов

Разберем методы Limit() и Skip() и приведем примеры

11 шагов на пути к работе дата-сайентиста

Получить работу в области науки о данных, МО и ИИ сложно. Эти 11 шагов помогут стратегически подойти к решению этой проблемы (спойлер: Kaggle не относится к их числу).

Большие данные и их влияние на постпандемический мир

“Сокрытые в массивах данных знания могут изменить жизнь пациента или преобразить мир”, — Атул Батт, Стэнфордский университет. В борьбе с пандемией COVID-19 большие данные сыграли...

Как легко развертывать модели МО в 2022 году с помощью Streamlit, BentoML и DagsHub

Хотите поделиться проектом, но не знаете, как это лучше сделать? Рассмотрим простой способ представления моделей МО с использованием Streamlit, BentoML и DagsHub.

ИИ-технологии на службе у инфлюенс-маркетинга

Нам доступна не вся информация. Мы склонны следовать за лидерами мнений, так как это прямой путь к получению знаний, которых нам недостает. Приобщение к...

Как дата-аналитику стать дата-сайентистом в 2023 году

Какие навыки и ресурсы нужны дата-аналитику, чтобы получить должность дата-сайентиста? Как сократить и облегчить этот карьерный переход? Воспользуйтесь практическими советами старшего дата-сайентиста, который ранее работал дата-аналитиком.

Прозрачность: иллюзия единой системы. Часть 1

Даже если мы только знакомимся с распределенными системами, то уже ясно, что данная система по определению состоит из множества движимых элементов. И эти части...

MongoDB: удаление базы данных

В прошлой статье о MongoDB мы рассмотрели создание базы данных. В данном разделе рассмотрим процесс ее удаления.

Типы операций обновления в MongoDB с использованием Spring Boot

Разбираемся, как обновлять данные в MongoDB, в чем заключаются преимущества и недостатки существующих способов и как выглядят результаты их применения.

Время управлять версиями проектов МО по-новому

Специалисты по анализу данных и инженеры машинного обучения часто представляют проекты предиктивной аналитики в виде конвейера — производственного процесса, который принимает четко определенные вводы...

8 экспертных советов по использованию Apache Spark

Хотите в совершенстве освоить Apache Spark? Воспользуйтесь советами эксперта, 1,5 года проработавшего с клиентами Databricks. Узнайте, как работает Spark, что общего между этим фреймворком и продовольственным магазином и как добиться в работе с ним оптимальных результатов.

Лёгкое пополнение баз данных в приложениях платформы .NET

Пополнение базы данных может быть довольно сложной задачей. Ниже вашему вниманию предлагаются инструменты, помогающие облегчить эту операцию. Проблема Когда мы распределяем проект платформы .NET (Core), часто бывает...

Персонализация контента с IBM Watson

В своём дипломном проекте я решил продолжить работать с естественным языком, фильмами и IBM Watson. В предыдущем проекте я визуализировал психологические профили персонажей фильмов,...

Почему лучшее - враг хорошего в MLOps?

Вы наверняка слышали об исследовании, которое подтвердило, что ML-проекты чаще терпят фиаско, чем оказываются успешными. Даже если статистика провалов в этой сфере кажется вам...

Создание локального озера данных с нуля

Настроим все необходимые службы и компоненты, в том числе оркестратор конвейера данных и SQL-движок, инициируем сеанс Spark для Apache-форматов Iceberg и Delta и выполним простой ETL-процесс. Заложим основу для более сложных конвейеров.

Проект инженерии данных с DAG Airflow «от и до». Часть 2

Проверим корректность данных, отправим письмо и сообщение в Slack с информацией об адресе почты и пароле. Объединим все части проекта, создадим и запустим DAG Airflow со всеми задачами.

Распределенное МО с Dask и Kubernetes на GCP

Интересуетесь вопросами безопасной обработки конфиденциальных данных? Знакомьтесь с новейшей технологией использования конфиденциальных данных для аналитики и приложений ИИ. Узнайте, как всего в 3 шага развернуть кластер dask на kubernetes в общедоступном облаке GCP.

В каком возрасте вы получите Нобелевскую премию — визуализация на языке R.

Вы когда-нибудь пробовали решать задачи с помощью визуализации? Предлагаем решить занимательную задачу на языке R. Нобелевские премии (до 1969 года всего их было пять, а...

Автоматическое МО (AutoML) с использованием PyCaret: основные принципы

Специалисты по обработке данных тратят около 80% времени на то, чтобы выбрать оптимальную модель, отрегулировать ее параметры и подождать, пока она осуществит необходимые расчеты. На выручку приходит автоматическое МО, в разы ускоряющее подбор адекватной модели.

Инженерия геопространственных данных: пространственное индексирование

Слышали ли вы о пространственном индексировании? Эта технология обладает мощным потенциалом: она способна оптимизировать производительность запросов, сэкономить время обработки данных и упростить задачи машинного обучения.

Как писать идеальные конспекты по науке о данных

Предлагаем несколько практических советов по написанию конспектов при изучении науки о данных. Следуя им, вы сможете эффективно понимать и усваивать сложнейшие концепции, которые пригодятся в дальнейшей работе.

Настоящие беспилотные такси выезжают на улицы города

Компания Waymo официально запускает парк беспилотных автомобилей в городе Финикс Waymo — компания по производству беспилотных автомобилей, вышедшая из Google в 2016 году, наконец выполнит своё...

Инженерия данных — не только для инженеров!

Тот, кто зарабатывает на жизнь написанием контента, наверняка может научиться работать и с данными. Начните с создания простой базы данных с использованием SQL, Python и облачных вычислений.

Чем отличаются модели МО в науке и производстве

Почему модели МО, которые хорошо выглядят "на бумаге", не гарантируют хорошей работы в производстве? Вот что думает специалист в области МО.

Как создать первый проект по инженерии данных: инкрементный подход. Часть 2

Инкрементный подход похож на спринт: он позволяет оперативнее реагировать на любые изменения и быстрее достигать цели. Небольшие, но постепенные шаги (спринты) обеспечат вам заряд адреналина всякий раз, когда вы будете вычеркивать из списка очередную выполненную задачу.

Визуализация параметров градиентного спуска в Torch

Загляните за интерфейс, чтобы увидеть, как параметры SGD влияют на обучение модели. Графические представления помогут оценить роль таких параметров, как импульс (обычный и Нестерова), сокращение весов, демпфирование.

MLOps: как внедрить систему рекомендаций товаров на ecommerce-сайт

Умные инструменты - алгоритм Word2Vec и МО-сервис Layer - помогут быстро и дешево создать и внедрить модель рекомендаций и категоризации товаров на сайте электронной коммерции. В итоге пользователи платформы получат персонализированный опыт, а ее владелец сможет повысить конверсии и увеличить продажи.

Создание платформы обработки и анализа данных Bazaar

Знакомьтесь с новой платформой Bazaar Technologies. Амбициозный стартап заявляет, что способен решать проблемы масштабирования данных в петабайтах.

5 неочевидных истин науки о данных

Хотите открыть для себя красоту машинного кода, скрывающуюся за нулями и единицами? Для начала узнайте 5 неочевидных истин науки о данных. Они помогут вам ступить на путь постижения этой увлекательной дисциплины со свежим взглядом.

Что такое большие данные: комплексный обзор

Большие данные появились в конце 2000-х годов и стали настоящим технологическим прорывом. Предлагаем поразмышлять над тем, в чем суть этого феномена, как он позволяет оптимизировать бизнес-процессы и как им можно управлять.

Прозрачность: иллюзии единой системы. Часть 2

Предыдущие части: Часть 1 Одной из (множества) причин сложности распределенных систем является то, что они пытаются делать множество вещей одновременно. Распределенная система создает для конечного...

Пошаговое руководство по созданию синтетических данных в Python

Предлагаем удобное для начинающих руководство по созданию собственных данных для анализа и тестирования. Использование синтетических наборов данных позволит повысить производительность моделей машинного обучения и снизить затраты на разработку и тестирование приложений.

Почему точные модели не всегда полезны

Утверждение, которое кажется парадоксальным: точность модели - не главный признак ее эффективности! Важно также разработать продукт, оправданный с денежной точки зрения. Сегодня поговорим о том, как функции экономической полезности помогают связать МО-модели с нуждами клиентов.

4 аспекта, упущенных в большинстве программ по науке о данных.

Большинство программ, тренингов и курсов по науке о данных не готовят студентов к реальной практике. Мы поможем вам восполнить этот пробел, который в Массачусетском технологическом институте называют "пропущенным семестром образования в области компьютерных наук".

Моделирование данных в мире современного стека данных 2.0

Сравнивать моделирование данных со стеком данных - все равно что уподоблять автомобили интеллектуальным навигационным системам. Предлагаем на практических примерах убедиться в том, что технологии современного стека данных позволяют аналитикам успешно вести исследования без моделирования.

Jackknife+: «швейцарский нож» в конформном прогнозировании для регрессии

Рассмотрим преимущества Jackknife+ - эффективного метода конформного прогнозирования, который представляет собой усовершенствованную версию jackknife.

Состояние инфраструктуры данных на 2023 год — ключевые тренды ландшафта MAD от Мэтта Терка

Как выглядит ландшафт инструментов по работе с данными глазами инсайдера, который активно общается с конечными пользователями? Рассмотрим, какова ситуаций в целом и какие в ней наблюдаются тенденции.

Внутренняя платформа МО Bigeye: цели и методы создания

Машинное обучение на платформе Bigeyeизбавляет инженеров и специалистов по обработке данных от необходимости вручную настраивать критерии оповещений. Оно существенно экономит время, ведь получение показателей...

Жизненный цикл сообщений Kafka: от отправки до получения

Вкратце опишем все четыре этапа. Разберемся, что изменилось с появлением вместо ZooKeeper самоуправляемого кворума метаданных.

Сетка данных с точки зрения баз данных и на практике

Сетка данных — это набирающая популярность архитектурная парадигма. Но многие из ее основных понятий имеют параллели в традиционном проектировании баз данных, особенно в том, как думать о представлениях и материализации. Автор рассматривает основные понятия сетки данных через призму классических понятий области баз данных, а затем показывает, как они работают на практике в проекте GlareDB.

Как стать дата-сайентистом в 2025 году?

Мечтаете повелевать большими данными? Четкая дорожная карта поможет вам приобрести надежную теоретическую базу в математике, статистике, программировании и других отраслях, необходимых современному дата-сайентисту.

Всё что касается науки о данных: алгоритмы и структуры данных, Искусственный Интеллект, анализ данных и многое другое!