Installa u Ikkonfigura Apache Oozie Workflow Scheduler għal CDH 4.X fuq RHEL/CentOS 6/5

Oozie huwa skedar ta 'sors miftuħ għal Hadoop, jissimplifika l-fluss tax-xogħol u l-koordinazzjoni bejn l-impjiegi. Nistgħu niddefinixxu d-dipendenza bejn l-impjiegi għal dejta tal-input u għalhekk nistgħu nawtomatizzaw id-dipendenza tal-impjiegi billi tuża ooze scheduler.

F'dan it-tutorja, installajt Oozie fuq in-node prinċipali tiegħi (jiġifieri master bħala hostname u fejn huma installati namenode/JT) madankollu fis-sistema ta' produzzjoni oozie għandu jiġi installat fuq Hadoop separat nodu.

L-istruzzjonijiet ta 'installazzjoni huma maqsuma f'żewġ partijiet, aħna nsejħulha A u B.

A. Installazzjoni Oozie.
B. Konfigurazzjoni Oozie.

Ejja l-ewwel nivverifikaw l-isem tal-host tas-sistema, billi nużaw il-kmand 'hostname' li ġej.

 hostname

master

Metodu A: Installazzjoni Oozie fuq RHEL/CentOS 6/5

Aħna nużaw repożitorju uffiċjali tas-CDH mis-sit ta’ cloudera biex ninstallaw CDH4. Mur fis-sezzjoni uffiċjali tat-tniżżil tas-CDH u niżżel il-verżjoni CDH4 (i.e. 4.6) jew tista 'wkoll tuża l-kmand wget li ġej biex tniżżel ir-repożitorju u tinstallah.

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm
# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Ladarba, żidt ir-repożitorju CDH taħt is-sistema tiegħek, tista 'tuża l-kmand li ġej biex tinstalla Oozie fuq is-sistema.

 yum install oozie

Issa, installa klijent oozie (il-kmand ta 'hawn fuq għandu jkopri l-parti tal-installazzjoni tal-klijent madankollu jekk le allura ipprova taħt il-kmand).

 yum install oozie-client

Nota: L-installazzjoni ta 'hawn fuq tikkonfigura wkoll is-servizz oozie biex jaħdem fl-istartjar tas-sistema. Xogħol tajjeb! Għamilna l-ewwel parti tal-installazzjoni issa ejja nimxu għat-tieni parti biex tikkonfigura oozie.

Metodu B: Konfigurazzjoni Oozie fuq RHEL/CentOS 6/5

Peress li oozie ma jinteraġixxix direttament ma 'Hadoop, m'għandna bżonn l-ebda konfigurazzjoni mappjata hawn.

Attenzjoni: Jekk jogħġbok ikkonfigura s-settings kollha waqt li oozie ma jkunx qed jaħdem, dan ifisser li għandek issegwi l-passi hawn taħt waqt li s-servizz oozie ma jkunx qed jaħdem.

Oozie għandu 'Derby' bħala default mibni fid-DB madankollu, nirrakkomanda li tuża Mysql DB. Allura, ejja ninstallaw database MySQL billi tuża l-artikolu li ġej.

Installa MySQL Database f'RHEL/CentOS 6/5

Ladarba tkun lest il-parti ta 'l-installazzjoni, pass li jmiss aktar biex toħloq oozie DB u tagħti privileġġi kif muri hawn taħt.

 mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.38 MySQL Community Server (GPL) by Remi

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

Sussegwentement, ikkonfigura l-proprjetajiet Oozie għal MySQL. Iftaħ il-fajl 'oozie-site.xml' u editja l-proprjetajiet li ġejjin kif muri.

 cd /etc/oozie/conf
 vi oozie-site.xml

Daħħal il-proprjetajiet li ġejjin (biss ibdel il-kaptan [l-isem tal-host tiegħi] bl-isem tal-host tiegħek).

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://master:3306/oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>oozie</value>
    </property>

Niżżel u żid is-sewwieq tal-konnettività MySQL JDBC JAR fid-direttorju Oozie lib. Biex tagħmel dan, ħaddem is-serje ta 'kmand li ġejja fuq it-terminal.

 cd /tmp/
 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz
 tar -zxf mysql-connector-java-5.1.31.tar.gz	
 cd mysql-connector-java-5.1.31
 cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

Oħloq skema tad-database oozie billi tesegwixxi kmandi hawn taħt u jekk jogħġbok innota li dan għandu jitmexxa bħala utent oozie.

 sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run

setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
setting OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat
setting CATALINA_TMPDIR=/var/lib/oozie
setting CATALINA_PID=/var/run/oozie/oozie.pid
setting CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20
setting CATALINA_OPTS=-Xmx1024m
setting OOZIE_HTTPS_PORT=11443
...
DONE
Oozie DB has been created for Oozie version '3.3.2-cdh4.7.0'
The SQL commands have been written to: /tmp/ooziedb-8250405588513665350.sql

Għandek bżonn tniżżel ExtJS lib mill-internet biex tippermetti l-oozie web console. Mur fil-paġna uffiċjali CDH ExtJS, u niżżel il-libreriji tal-verżjoni 2.2 ta' ExtJS jew tista' tniżżel il-pakkett billi tuża l-kmand li ġej.

 cd /tmp/
 wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
 unzip ext-2.2.zip
 mv ext-2.2 /var/lib/oozie/

Fl-aħħarnett, ibda s-server oozie, billi tħaddem il-kmandi li ġejjin.

 service oozie status
not running.

 service oozie start

 service oozie status
running

 oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

Iftaħ oozie UI billi tuża l-browser favorit tiegħek, u ppunta lejn l-indirizz IP tiegħek. F'dan il-każ, l-IP tiegħi huwa 192.168.1.129.

http://192.168.1.129:11000

Issa jekk tara din l-UI. Prosit!! Inti kkonfigurajt b'suċċess oozie.

Din il-proċedura ġiet ittestjata b'suċċess fuq RHEL/CentOS 6/5. Fl-artikoli li ġejjin tiegħi, ser naqsam kif tikkonfigura u niskeda l-impjiegi hadoop permezz ta 'oozie. Ibqa' konness għal aktar u tinsiex tikkummenta l-feedback tiegħek.