Na anderhalf jaar ontwikkeling, de Apache Software Foundation heeft uitgebracht de lancering van de nieuwe versie van Apache Hadoop 3.3.0, versie waarin hij verbeteringen voor ARM-platforms heeft toegevoegd, ondersteuning voor het plannen van lanceringen van containers en andere zaken.
Apache Hadoop positioneert zichzelf als een gratis platform om de gedistribueerde verwerking van grote hoeveelheden gegevens met behulp van het map / reduce-paradigma, waarin een taak wordt onderverdeeld in vele kleinere geïsoleerde brokken, die elk op een afzonderlijk clusterknooppunt kunnen worden uitgevoerd.
Hadoop-gebaseerde opslag het kan duizenden knooppunten omvatten en exabytes aan gegevens bevatten.
Over Apache Hadoop
Hadoop bevat een implementatie van het gedistribueerde bestandssysteem van Hadoop (HDFS), dat automatisch gegevensredundantie biedt en is geoptimaliseerd voor MapReduce-toepassingen.
Een sleutelfunctie is dat voor een effectieve taakplanning elk bestandssysteem de locatie moet kennen en opgeven, de naam van het rek (meer precies, de switch) waar het werkknooppunt zich bevindt.
Hadoop-applicaties kunnen deze informatie gebruiken om werk uit te voeren op het knooppunt waar de gegevens zich bevinden en, als dat niet lukt, op hetzelfde rack / dezelfde switch, waardoor het netwerkverkeer wordt verminderd.
Om de toegang tot gegevens te vereenvoudigen in Hadoop-opslag, HBase-database en SQL-achtige Pig-taal zijn ontwikkeld, wat een SQL-type is voor MapReduce, waarvan de query's kunnen worden geparalleliseerd en verwerkt door verschillende Hadoop-platforms.
Het project wordt beoordeeld als volledig stabiel en klaar voor industriële exploitatie. Hadoop wordt actief gebruikt in grote industriële projecten en biedt mogelijkheden die vergelijkbaar zijn met het Google Bigtable / GFS / MapReduce-platform, terwijl Google officieel gedelegeerde Hadoop- en andere Apache-projecten het recht hebben om gepatenteerde technologieën te gebruiken die verband houden met de MapReduce-methode.
Hadoop staat op de eerste plaats van de Apache-repositories in termen van het aantal aangebrachte wijzigingen en de vijfde grootste codebasis (ongeveer 4 miljoen regels code).
Wat is er nieuw in Apache Hadoop 3.3?
Deze nieuwe versie van Hadoop is gepositioneerd als de eerste versie met el ondersteuning voor ARM-gebaseerde platforms, waarmee diegenen die dit platform willen implementeren, het reeds beschikbare binaire bestand voor ARM kunnen vinden.
Een andere belangrijke wijziging die in deze nieuwe versie wordt gepresenteerd, is de implementatie van de nieuwe versie van het Protobuf-formaat (Protocolbuffers) die worden gebruikt om gestructureerde gegevens te serialiseren is bijgewerkt naar versie 3.7.1 vanwege het einde van de levenscyclus van de protobuf-2.5.0-tak.
Naast het ook de mogelijkheden van de S3A-connector zijn al uitgebreid dat heeft hem nu ondersteuning toegevoegd voor authenticatie met behulp van tokens, verbeterde ondersteuning voor responscaching met een 404-code, hogere S3guard-prestaties en verbeterde operationele betrouwbaarheid.
ook DNS-resolver-service toegevoegd zodat de client de servers via DNS kan bepalen door middel van hostnamen, waardoor u de lijst met alle hosts in de configuratie kunt achterwege laten.
Net als de ondersteuning voor het plannen van containerlanceringen via een gecentraliseerde resource manager (ResourceManager), zelfs met de mogelijkheid om containers te distribueren, rekening houdend met de belasting van elk knooppunt.
Van de andere veranderingen die opvallen van deze nieuwe versie:
- Problemen met automatisch afstemmen zijn opgelost in het ABFS-bestandssysteem.
- Native ondersteuning toegevoegd voor het Tencent Cloud COS-bestandssysteem om toegang te krijgen tot COS-objectopslag.
- Volledige ondersteuning voor Java 11 is toegevoegd.
- Stabiliseerde de implementatie van HDFS RBF (Router Based Federation). Beveiligingsmaatregelen zijn toegevoegd aan de HDFS-router.
- Zoek YARN-toepassingsdirectory (een andere brononderhandelaar) toegevoegd.
Als u er tenslotte meer over wilt weten, kunt u de details van de nieuwe versie bekijken op het oorspronkelijke bericht.
Voor degenen die geïnteresseerd zijn in het verkrijgen van de nieuwe versie, kunnen ze de voorbereide binaire bestanden downloaden In de volgende link.