Сколько Spark нужно памяти для обработки 100 Гб данных

Узнаем, как настроить кластер Spark для эффективной обработки 100 Гб данных. Разберем также, сколько при этом памяти понадобится драйверу.

Читать в Telegram

Не учите машинное обучение

Примечание: следующие рассуждения основаны на моих личных наблюдениях за командами, работающими над машинным обучением, а не академическом обзоре отрасли. Как разработчик, вы, вероятно, хотя бы...

Последовательное объединение адаптеров с помощью MergeAdapter

Пример использования: отображение верхнего и нижнего колонтитулов списка. MergeAdapter — это новый класс, доступный в recyclerview:1.2.0-alpha02, который позволяет последовательно объединять несколько адаптеров для отображения в одном RecyclerView....

Как спроектировать REST API для выполнения системных команд с помощью Actix Rust

Привет! Сегодня я расскажу, как создать REST API для выполнения системных команд на вашем сервере с помощью метода, которым пользуются известные компании.  Представьте, что вы...

Пять шагов к красивому терминалу, которым вам понравится пользоваться

Если вы читаете эту статью, то, скорее всего, вы не большой поклонник своего терминала, и время, потраченное на ввод команд, входит в список неприятных...

Python 3: 3 функции, которые следует помнить

Многие разработчики, особенно новички, уже активно пишут на Python 3. И хотя в этой версии появилось множество новых функций, многие из них неизвестны или...

Моделирование связей графа в DynamoDB

В основе Koan лежат его цели и то, как эти цели взаимосвязывают людей и команды внутри компании. Эти связи зачастую оказываются сложными, потому что...

Фреймворк Executor в Java

Вплоть до Java 5 создавать потоки и управлять ими было возможно только на уровне приложения. Объекты Thread требуют значительного объема памяти. Таким образом, если...

Случайная статья

C++: полное руководство по обработке файлов с fstream

Разберем основные файловые операции, проиллюстрируем практическими примерами. Обозначим типичные сценарии, дадим рекомендации.

Создание REST-клиента с помощью Spring Cloud OpenFeign и Netflix Ribbon

В Java HTTP-запросы между сервисами реализуются весьма просто. Так как существует ряд известных открытых HTTP-клиентов, таких как OkHttp и...

Почему не стоит разрабатывать инструменты ИИ на основе чатов

Пришло время развивать инструменты ИИ, выходя за рамки интерфейсов, основанных на промптах. Предлагаем рассмотреть новейшие более надежные ментальные модели, ориентированные на совместную работу.

Популярные статьи

Случайный тест