Apache Hadoop. Проект Apache® Hadoop® розробляє програмне забезпечення з відкритим кодом для надійних, масштабованих розподілених обчислень. Бібліотека програмного забезпечення Apache Hadoop — це структура, яка дозволяє розподілено обробляти великі набори даних між кластерами комп’ютерів за допомогою простих моделей програмування.
Hadoop, платформа, розроблена The Apache Software Foundation, це популярна платформа великих даних із відкритим кодом для розподіленої обробки великих наборів даних між кластерами комп’ютерів.
Apache Hadoop (/həˈduːp/) — це набір утиліт з відкритим вихідним кодом, який полегшує використання мережі з багатьох комп’ютерів для вирішення проблем, пов’язаних із величезними обсягами даних і обчислень.
Клаудера був першим постачальником, який запропонував Hadoop як пакет, і продовжує залишатися лідером у галузі. Його дистрибутив Cloudera CDH, який містить усі компоненти з відкритим кодом, є найпопулярнішим дистрибутивом Hadoop.
Hadoop був створений Даг Каттінг і Майк Кафарелла у 2005 році. Спочатку він був розроблений для підтримки розповсюдження для проекту пошукової системи Nutch. Дуг, який працював у Yahoo! у той час і зараз є головним архітектором Cloudera, назвав проект на честь іграшкового слона свого сина.
Можливості файлової системи Google надаються розподіленою файловою системою Hadoop (HDFS), що дозволяє отримати доступ до всього дискового сховища в кластері за допомогою знайомих ідіом файлової системи. Зараз існує дві основні ітерації архітектури Hadoop.