Hadoop (Хадуп) буде занепадати


Дізнайтесь більше про нові кар'єрні можливості в EchoUA. Цікаві проекти, ринкова оплата, гарний колектив. Надсилайте резюме та приєднуйтеся до нас.

Gartner вважає, що Хадуп ніколи не досягне «плато продуктивності», тому що його хмарні аналоги обходяться дешевше, і їх можна легше кастомізувати. Зате «плато» досягне блокчейн, як і розподілені реєстри взагалі. На це їм знадобиться від п’яти до десяти років.

Вплив Cloud-ів

Дистрибутиви Hadoop застаріють ще до того, як ця технологія досягне в своєму розвитку остаточної зрілості – так званого «плато продуктивності». Причина – поширення хмарних продуктів аналогічного призначення, які змушують замовників засумніватися в доцільності використання всього складного набору хадупа, оскільки в хмарі вони платять лише за фактично отримані послуги і можуть модифікувати продукт під свої потреби в обробці даних. До такого висновку прийшла аналітична компанія Gartner, що опублікувала дослідження під назвою «Цикл зрілості технологій управління даними».

Поширення хмарних послуг також призвело до появи нової технології, яка поки що знаходиться на стадії «технологічний тригер» – це SQL-інтерфейси для об’єктних сховищ. З їх допомогою даними в хмарі можна управляти, використовуючи синтаксис SQL. Gartner вважає, що SQL-інтерфейси досягнуть «плато продуктивності» в термін від двох до п’яти років, оскільки зараз знаходяться в фокусі роботи більшості хмарних вендорів. Ця технологія особливо зручна для розміщення великих обсягів мультиструктурних даних.

Нагадаємо, всього Gartner виділяє п’ять стадій розвитку технології: технологічний тригер, пік надмірних очікувань, позбавлення від ілюзій, подолання недоліків і плато продуктивності.

Що таке Hadoop

Хадуп – це вільний набір утиліт, бібліотек і фреймворк для керування даними, написаний на Java і розвивається спільнотою Apache Software Foundation з 2005 р. Містить засоби для створення та виконання розподілених програм, призначених для роботи на великих кластерах. Hadoop застосовується в пошукових механізмах сайтів з високим рівнем відвідуваності, на зразок Yahoo! і Facebook.

Hadoop включає в себе набір бібліотек і утиліт Hadoop Common, розподілену файлову систему HDFS, систему управління кластером YARN і обчислювальну платформу Hadoop MapReduce. Є однією з базових технологій в сфері високих даних, має власну екосистему.

Ключові технології по Gartner

Проаналізувавши в цілому 35 технологій, компанія Gartner виділила чотири з них, як ключові для ІТ-галузі. У їх число увійшли рішення по обробці потоку подій (ESP), в тому числі розподілені платформи поточних обчислень (DSCPs) і платформи для обробки потоку подій (EPPs). Ці технології покращують якість прийнятих рішень, зосереджуючи увагу користувача на тих даних, які можуть легко загубитися.

Також в четвірку революційних технологій потрапили СУБД типу in-memory, які стають все більш зрілими і затребуваними, не дивлячись на дорожнечу інфраструктури, необхідної для їх підтримки. Зростання in-memory СУБД стримується невисоким рівнем доступності, проте підігрівається істотним прискоренням транзакцій – від 100 до 1 тис. разів.

ESP і in-memory СУБД досягнуть «плато продуктивності» протягом двох-п’яти років.
Блокчейн і розподілені реєстри

Також до четвірки ключових технологій були зараховані блокчейн і розподілені реєстри. Їм прогнозується досягнення «плато продуктивності» в термін від п’яти до десяти років. Їх поширення стримується тим, що у бізнесу немає досвіду роботи з подібними технологіями, і їх переваги не завжди зрозумілі. Приватні розподілені реєстри в цілому більш успішно долають проблеми і доводять свою корисність, ніж публічні.

Блокчейн, незважаючи на ряд проблем з управлінням, масштабуванням і довірою з боку корпоративного сектора, незабаром буде впроваджуватися повсюдно, оскільки це шлях до зростання ефективності бізнесу. Якщо говорити про більш віддалену перспективу, то він зробить революцію в ряді секторів економіки, вважає Gartner.

Київ, Харків, Одеса, Дніпро, Запоріжжя, Кривий Ріг, Вінниця, Херсон, Черкаси, Житомир, Хмельницький, Чернівці, Рівне, Івано-Франківськ, Кременчук, Тернопіль, Луцьк, Ужгород, Кам'янець-Подільський, Стрий - за статистикою саме з цих міст програмісти найбільше переїжджають працювати до Львова. А Ви розглядаєте relocate?


Trends: лгвг пунш кргіоуорругрцшвпагуррвлв

Коментарі 1

  • Hadoop можна використовувати, якщо ви плануєте обробити великий обсяг неструктурованих даних, тобто більше, ніж можна вмістити на одній машині (десь овер терабайта даних). У випадку Hadoop’a плюсом є те, що тут є можливість використати commodity hardware Але якщо всі дані можна вмістити на одній машині, то я б не радив його використовувати, так ви просто можете заощадити час та ресурси.

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *