Как установить Hadoop 2.7 в Ubuntu
Hadoop — это проект управления кластерными данными, спонсируемый Apache Software Foundation. Это среда на основе Java, которая позволяет управлять огромными наборами данных среди группы машин кластера.
Поначалу кажется сложным настроить кластер с помощью Hadoop, но вы даже можете установить Hadoop на одном компьютере для выполнения своих основных операций.
Хотя Hadopp кажется единым программным обеспечением, он состоит из множества компонентов. Вот некоторые из них.
Хадуп Общий — Это большая библиотека, состоящая из утилит и библиотек для поддержки других модулей Hadoop.
HDFS (распределенная файловая система Hadoop) — Он отвечает за хранение данных на жестком диске.
ПРЯЖА — Это платформа распределенной обработки с открытым исходным кодом, которая расшифровывается как Yet Another Resource Negotiator.
Уменьшение карты — Это модель генерации и обработки больших наборов данных в кластере для использования параллельных и распределенных алгоритмов.
В этой статье мы научимся устанавливать и настраивать Hadoop 2.7x в ОС Ubuntu. Выполните указанные шаги, чтобы установить Hadoop 2.7.
Предпосылки
Если у вас Windows/Mac OS, попробуйте установить Hadoop 2.7, создав виртуальную машину, а затем установите Ubuntu с помощью проигрыватель VMWarer или создайте виртуальную машину и установите Ubuntu с использованием Oracle Virtual Box.
Шаг I: Установите Oracle Java версии 8
1. Установите свойства программного обеспечения Python.
2. Вставьте репозиторий
3. Обновите список источников
4.Установите Oracle Java 8
Шаг II: Установите SSH без пароля
1. Установите открытый SSH-клиент и открытый SSH-сервер.
2. Генерация пар закрытых и открытых ключей
3. Настройте SSH без пароля
4. Проверьте на локальном хосте по SSH
Шаг III: Конфигурация, настройка и установка Hadoop
1.Сначала загрузите Hadoop
2.Распаковать архив
Все обязательные файлы jar, сценарии и файлы конфигурации доступны в каталоге HADOOP_HOME.
3. Настройка конфигурации
Отредактируйте файл .bashrc
Добавьте следующие параметры в файл .bashrc в домашнем каталоге пользователя. Все переменные среды вступят в силу после выполнения вышеуказанного шага, который перезапустит терминал.
Изменить Hadoop-env.sh
Отредактируйте файл Hadoop-env.sh, расположенный в папке etc/Hadoop внутри каталога установки Hadoop, а затем установите JAVA_HOME:
Отредактируйте файл XML (core-site.xml)
Отредактируйте файл core-site.xml, расположенный в папке etc/Hadoop внутри каталога установки Hadoop, а затем добавьте указанные записи:
Редактировать файл XML (hdfs-site.xml)
Отредактируйте файл core-site.xml, расположенный в папке etc/Hadoop внутри каталога установки Hadoop, а затем добавьте указанные записи:
Редактировать файл XML (mapred-site.xml)
Отредактируйте файл mapred-site.xml, расположенный в папке etc/Hadoop внутри каталога установки Hadoop, а затем добавьте указанные записи:
Отредактируйте файл XML (yarn-site.xml)
Отредактируйте файл yarn-site.xml, расположенный в папке etc/Hadoop внутри каталога установки Hadoop, а затем добавьте указанные записи:
Шаг IV: Начните с Кластера
1. Форматирование узла имени
Его следует форматировать только один раз при установке Hadoop.
2. Стратегические службы HDFS.
3. Запустите сервисы YARN.
4. Посмотрите, запущены ли службы.
Шаг V: Запустите задания Map-Reduce
Шаг VI: остановка кластера
1. Остановите службы HDFS.
2. Остановите службы YARN.
Подводя итоги
Таким образом, мы подходим к концу. Все это было в руководстве по установке Hadoop 2.7 на Ubuntu всего за 15 минут. Мы хотели бы узнать ваши отзывы об установке Hadoop на Ubuntu. Продолжай учиться!
Биография автора:
HP Morgan работает техническим аналитиком в TatvaSoft.com.au, клиент программного обеспечения и компании по разработке веб-сайтов в Австралии. Он любит путешествовать по природным местам.
