Kuidas installida Hadoop koos samm-sammult konfiguratsiooniga Ubuntu

Lang L: none (table-of-contents):

Anonim

Selles õpetuses juhatame teid samm-sammult läbi, et installida Apache Hadoop Linuxi kasti (Ubuntu). See on 2-osaline protsess

  • 1. osa) Laadige alla ja installige Hadoop
  • 2. osa) Hadoopi seadistamine

Seal on 2 Eeltingimused

  • Teil peab olema installitud ja käivitatud Ubuntu
  • Teil peab olema Java installitud.

1. osa) Laadige alla ja installige Hadoop

Samm 1) Lisage Hadoopi süsteemi kasutaja, kasutades käsku allpool

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Sisestage oma parool, nimi ja muud üksikasjad.

MÄRKUS . Selles seadistamis- ja installiprotsessis on võimalik allpool nimetatud viga.

"hduserit pole sudoerite failis. Sellest juhtumist teatatakse."

Selle tõrke saab lahendada Logi sisse juurkasutajana

Käivitage käsk

sudo adduser hduser_ sudo

Re-login as hduser_

2. samm. Konfigureerige SSH

Klastri sõlmede haldamiseks vajab Hadoop SSH-i juurdepääsu

Kõigepealt vahetage kasutaja, sisestage järgmine käsk

su - hduser_

See käsk loob uue võtme.

ssh-keygen -t rsa -P ""

Selle võtme abil saate lubada SSH-i juurdepääsu kohalikule masinale.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Nüüd proovige SSH-i seadistamist, ühendades ühenduse hosteri kasutajaga localhostiga.

ssh localhost

Märkus. Pange tähele, et kui näete allpool viga vastusena 'ssh localhost'ile, siis on võimalik, et SSH pole selles süsteemis saadaval -

Selle lahendamiseks -

SSH-i puhastamine,

sudo apt-get purge openssh-server

Hea tava on puhastada enne paigaldamise algust

Installige SSH käsuga-

sudo apt-get install openssh-server

Samm 3) Järgmine samm on Hadoopi allalaadimine

Valige Stabiilne

Valige fail tar.gz (mitte src-ga fail)

Kui allalaadimine on lõpule jõudnud, navigeerige tõrvafaili sisaldavasse kataloogi

Sisenema,

sudo tar xzf hadoop-2.2.0.tar.gz

Nimetage hadoop-2.2.0 ümber hadoopiks

sudo mv hadoop-2.2.0 hadoop

sudo chown -R hduser_:hadoop_ hadoop

2. osa) Hadoopi seadistamine

Samm 1) Muutke ~ / .bashrc faili

Lisage järgmised read faili lõppu ~ / .bashrc

#Set HADOOP_HOMEexport HADOOP_HOME=#Set JAVA_HOMEexport JAVA_HOME=# Add bin/ directory of Hadoop to PATHexport PATH=$PATH:$HADOOP_HOME/bin

Nüüd hankige see keskkonna konfiguratsioon allpool oleva käsu abil

. ~/.bashrc

2. samm) HDFS-iga seotud konfiguratsioonid

Määra JAVA_HOME faili $ HADOOP_HOME / etc / hadoop / hadoop-env.sh sees

Koos

Failis $ HADOOP_HOME / etc / hadoop / core-site.xml on kaks parameetrit, mis tuleb seada-

1. 'hadoop.tmp.dir' - kasutatakse kataloogi määramiseks, mida Hadoop kasutab oma andmefailide salvestamiseks.

2. 'fs.default.name' - see määrab vaikefailisüsteemi.

Nende parameetrite määramiseks avage core-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Kopeerige joone alla siltide vahele

hadoop.tmp.dir/app/hadoop/tmpParent directory for other temporary directories.
fs.defaultFS hdfs://localhost:54310The name of the default file system.

Liikuge kataloogi $ HADOOP_HOME / etc / Hadoop

Nüüd looge kataloog, mida mainitakse core-site.xml

sudo mkdir -p

Andke kataloogile õigused

sudo chown -R hduser_:Hadoop_ 

sudo chmod 750

Samm 3) Kaart Konfiguratsiooni vähendamine

Enne nende konfiguratsioonidega alustamist laseb HADOOP_HOME tee määrata

sudo gedit /etc/profile.d/hadoop.sh

Ja sisestage

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Järgmine sisestus

sudo chmod +x /etc/profile.d/hadoop.sh

Väljuge terminalist ja taaskäivitage uuesti

Sisestage echo $ HADOOP_HOME. Tee kinnitamiseks

Nüüd kopeerige failid

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Avage fail mapred-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Lisage siltide ja vahele seadete read

mapreduce.jobtracker.addresslocalhost:54311MapReduce job tracker runs at this host and port.

Avage $ HADOOP_HOME / etc / hadoop / hdfs-site.xml nagu allpool,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Lisage siltide ja vahele seadete read

dfs.replication1Default block replication.
dfs.datanode.data.dir/home/hduser_/hdfs

Looge ülaltoodud seadistuses määratud kataloog-

sudo mkdir -p 
sudo mkdir -p /home/hduser_/hdfs

sudo chown -R hduser_:hadoop_ 
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 
sudo chmod 750 /home/hduser_/hdfs

4. samm. Enne Hadoopi esmakordset käivitamist vormindage HDFS alltoodud käsu abil

$HADOOP_HOME/bin/hdfs namenode -format

Samm 5) Käivitage Hadoopi ühe sõlme klaster, kasutades käsku allpool

$HADOOP_HOME/sbin/start-dfs.sh

Ülaltoodud käsu väljund

$HADOOP_HOME/sbin/start-yarn.sh

Kasutades "jps" tööriista / command, kas kõik Hadoop seotud protsessid töötavad või mitte.

Kui Hadoop on edukalt käivitatud, peaks jps-i väljund näitama NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode.

6. samm. Hadoopi peatamine

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh