HBase'i installimine Ubuntu

Lang L: none (table-of-contents):

Anonim

Selles õpetuses saate teada,

  • Apache HBase'i installimisrežiimid
  • Kuidas alla laadida Hbase tar-faili stabiilset versiooni
  • Hbase - iseseisva režiimi installimine
  • Hbase - hajutatud installirežiim
  • Hbase - täielikult hajutatud režiimi installimine
  • HBase'i installimise tõrkeotsing

Apache HBase'i installimisrežiimid

Apache HBase'i saab installida kolmes režiimis. Nende režiimide omadusi on nimetatud allpool.

1) Autonoomse režiimi installimine (ei sõltu Hadoopi süsteemist)

  • See on HBase'i vaikerežiim
  • See töötab vastu kohalikku failisüsteemi
  • See ei kasuta Hadoop HDFS-i
  • Ainult HMasteri deemon saab käivitada
  • Ei soovitata tootmiskeskkonnas
  • Töötab ühe JVM-iga

2) Pseudohajutatud režiimi installimine (ühe sõlmega Hadoop-süsteem + HBase-i install)

  • See töötab Hadoop HDFS-is
  • Kõik deemonid töötavad ühes sõlmes
  • Soovitage tootmiskeskkonda

3) täielikult hajutatud režiimi installimine (MultinodeHadoop keskkond + HBase'i installimine)

  • See töötab Hadoop HDFS-is
  • Kõik deemonid jooksevad üle kõigi klastris olevate sõlmede
  • Väga soovitatav tootmiskeskkonnas

Hadoopi installimiseks vaadake seda URL-i siin

Kuidas alla laadida Hbase tar-faili stabiilset versiooni

Samm 1) HBase'i allalaadimiseks minge siin olevale lingile. See avab veebilehe, nagu allpool näidatud.

Samm 2) Valige stabiilne versioon, nagu on näidatud allpool 1.1.2 versioon

Samm 3) Klõpsake hbase-1.1.2-bin.tar.gz. See laadib alla tõrvafaili. Kopeerige tõrvafail installimiskohta.

Hbase - iseseisva režiimi installimine:

Installitakse Ubuntu juba installitud Hadoopiga.

1. samm. Asetage hbase-1.1.2-bin.tar.gz kataloogi / home / hduser

Samm 2) Pakkige see lahti, käivitades käsu $ tar -xvf hbase-1.1.2-bin.tar.gz . See pakkib sisu lahti ja loob asukohas / home / hduser hbase-1.1.2

Samm 3) Avage hbase-env.sh nagu allpool ja mainige asukohas JAVA_HOME teed.

Samm 4) Avage ~ / .bashrc fail ja mainige HBASE_HOME teed, nagu allpool näidatud

eksport HBASE_HOME = / home / hduser / hbase-1.1.1 eksport PATH = $ PATH: $ HBASE_HOME / bin

Samm 5) Avage hbase-site.xml ja asetage faili järgmised omadused

hduser @ ubuntu $ gedit hbase-site.xml (kood allpool)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Siin asetame kaks omadust

  • Üks HBase juurkataloogi jaoks ja
  • Andmekataloogi teine ​​vastab ZooKeeperile.

Kõik HMasteri ja ZooKeeperi tegevused viitavad sellele saidile hbase-site.xml.

Samm 6) Avage hostisefail, mis asub / etc. asukoht ja mainige IP-sid, nagu allpool näidatud.

Samm 7) Nüüd käivitage Start-hbase.sh failis hbase-1.1.1 / bin, nagu allpool näidatud.

Ja me saame kontrollida käsu jps abil, kas HMaster töötab või mitte.

8. samm. HBase'i kest võib alata "hbase shell" abil ja see lülitub interaktiivsesse kestarežiimi, nagu on näidatud allpool ekraanipildil. Kui see läheb shellirežiimi, saame täita igat tüüpi käske.

Iseseisev režiim ei nõua Hadoopi deemonite käivitamist. HBase saab töötada iseseisvalt.

Hbase - hajutatud installirežiim:

See on Apache Hbase'i installimise teine ​​meetod, mida nimetatakse Pseudo Distributed installimisrežiimiks. Allpool on toodud sammud HBase'i installimiseks selle meetodi kaudu.

1. samm. Asetage hbase-1.1.2-bin.tar.gz kataloogi / home / hduser

Samm 2) Pakkige see lahti, käivitades käsu $ tar -xvf hbase-1.1.2-bin.tar.gz . See pakkib sisu lahti ja loob asukohas / home / hduser hbase-1.1.2

Samm 3) Avage hbase-env.sh järgmiselt ja mainige JAVA_HOME tee ja piirkonna serverite tee asukohas ja eksportige käsk nagu näidatud

Samm 4) Selles etapis avame faili ~ / .bashrc ja mainime HBASE_HOME teed, nagu on näidatud ekraanipildis.

Samm 5) Avage HBase-site.xml ja mainige failis allpool olevaid atribuute. (Kood ​​nagu allpool) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Hbase'i juurkataloogi seadistamine selles atribuudis
  2. Hajutatud seadistamiseks peame selle omaduse määrama
  3. Siia tuleks seada ZooKeeperi kvoorumi vara
  4. Selles atribuudis on loodud replikatsioon. Vaikimisi paigutame replikatsiooni 1-ks.

    Täielikult hajutatud režiimis on mitu andmesõlme, et saaksime replikatsiooni suurendada, paigutades atribuudi dfs.replication rohkem kui 1 väärtuse

  5. Selles atribuudis tuleks mainida kliendiporti
  6. Selles atribuudis võib mainida ZooKeeperi andmekataloogi

Samm 6) Käivitage kõigepealt Hadoopi deemonid ja pärast seda käivitage HBase'i deemonid, nagu allpool näidatud

Siin peate kõigepealt käivitama Hadoopi deemonid, kasutades käsku "./start-all.sh", nagu allpool näidatud.

Pärast Hbase'i deemonite käivitamist saidil hbase-start.sh

Nüüd kontrollige jps-i

Hbase - täielikult hajutatud režiimi installimine: -

  • See seadistus töötab Hadoopi klastrirežiimis, kus üle klastri kudevad ja töötavad mitu sõlme.
  • Install on sama mis pseudohajutusrežiim; ainus erinevus on see, et see hakkab kudema mitme sõlme vahel.
  • HBase-site.xml ja hbase-env.sh mainitud konfiguratsioonifailid on samad, mida mainiti pseudorežiimis.

HBase'i installimise tõrkeotsing

1) Probleemi avaldus: põhiserver lähtestab, kuid piirkonna serverid ei lähtesta

Side põhiserveri ja piirkonna serveri vahel nende IP-aadresside kaudu. Nagu viis, kuidas Master kuulab, et piirkonna serverid töötavad või nende IP-aadress on 127.0.0.1. IP-aadress 127.0.0.1, mis on kohalik hosti ja määrab põhiserveri enda kohaliku hosti.

Põhjus:

Piirkonnaserverite ja põhihalduri vahelises kahesuhtluses teavitab regiooniserver põhiserverit pidevalt, kui nende IP-aadressid on 127.0.0.1.

Lahendus:

  • Peate eemaldama põhiserveri nime sõlme hosti failis olevast kohalikust hostist
  • Hosti faili asukoht / etc / hosts

Mida muuta:

Avage /etc./hosts ja minge sellesse asukohta

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Muutke ülaltoodud konfiguratsiooni nagu allpool (eemaldage piirkonna serveri nimi, nagu ülal esile tõstetud)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Probleemi avaldus: Zookeeperi kvoorumserverite loendist ei leitud minu aadressi: XYZ

Põhjus:

  • ZooKeeperi serverit ei õnnestunud käivitada ja see viskab serveri nimele vea nagu .xyz.
  • HBase üritab mõnel masinal käivitada ZooKeeperi serveri, kuid samal ajal ei suuda masin leida kvoorumi konfiguratsiooni, st sisalduks konfiguratsioonifailis HBase.zookeeper.quorum .

Lahendus: -

  • Peate hosti nime asendama hosti nimega, mis kuvatakse tõrketeates
  • Oletame, et meil on DNS-server, siis saame HBase-site.xml-is määrata järgmised konfiguratsioonid.
    • HBase.zookeeper.dns.liides
    • HBase.zookeeper.dns.nimeserver

3) Probleemi kirjeldus: loodud HBase'i juurkataloog Hadoop DFS-i kaudu

  • Meister ütleb, et peate käivitama HBase'i migreerimisskripti.
  • Selle käivitamisel reageerib HBase'i migreerimisskript nagu ükski fail juurkataloogis .

Põhjus:

  • HBase'i uue kataloogi loomine Hadoop Distributed failisüsteemi abil
  • Siin ootab HBase kahte võimalust

1) Juurkataloogi pole olemas

2) HBase eelmine töötav eksemplar on initsialiseeritud varem

Lahendus:

  • Tehke vastavus, et HBase'i juurkataloogi pole praegu olemas või see on initsialiseeritud HBase-i eksemplari eelmise käitusega.
  • Lahenduse osana peame järgima samme

Samm 1) HBoop juurfailide kustutamiseks Hadoop dfs

Samm 2) HBase loob ja lähtestab kataloogi ise

4) Probleemi avaldus: Zookeeperi seansi aegunud sündmused

Põhjus:

  • HMasteri või HRegioni serverid lülitatakse välja, visates erandeid
  • Kui vaatleme palke, saame teada tegelikud visatud erandid

Järgnev näitab Zookeeperi aegunud sündmuse tõttu visatud erandit. Esiletõstetud sündmused on mõned logifailis toimunud erandid

Logifailide kood kuvatakse allpool:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Lahendus:

  • Vaikimisi RAM-i suurus on 1 GB. Pika impordi jaoks oleme säilitanud RAM-i mahtu üle 1 GB.
  • Peate suurendama Zookeeperi seansi ajalõppu.
  • Seansiaja pikendamiseks Zookeeperist peame muutma järgmist atribuuti failis "hbase-site.xml", mis asub kausta hbase / conf teekonnal.
  • Vaikimisi on seansi ajalõpp 60 sekundit. Me võime selle muuta 120 sekundiks, nagu allpool mainitud
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000