Kif tinstalla u tikkonfigura Cloudera Manager fuq CentOS/RHEL 7 - Parti 3


F'dan l-artikolu, iddeskrivejna l-proċess pass pass biex ninstallaw Cloudera Manager skont il-prattiki industrijali. Fil-Parti 2, diġà għaddejna mill-Pre-rekwiżiti Cloudera, kun żgur li s-servers kollha huma ppreparati perfettament.

  • L-Aħjar Prattiċi għall-Iskjerament ta' Hadoop Server fuq CentOS/RHEL 7 – Parti 1
  • Twaqqif ta' Prerekwiżiti ta' Hadoop u Twebbis tas-Sigurtà – Parti 2

Hawnhekk se jkollna 5 node cluster fejn 2 kaptani u 3 ħaddiema. Jien użajt 5 istanzi AWS EC2 biex nuri l-proċedura ta 'installazzjoni. Semmejt dawk il-5 servers kif hawn taħt.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

Cloudera Manager huwa għodda amministrattiva u ta' monitoraġġ għas-CDH kollu. Aħna l-amministratur normalment insejħuha għodda ta 'ġestjoni għal Cloudera Hadoop. Nistgħu niskjeraw, nissorveljaw, nikkontrollaw u nagħmlu bidliet fil-konfigurazzjoni bl-użu ta 'din l-għodda. Dan huwa ferm essenzjali biex timmaniġġja l-cluster kollu.

Hawn taħt jinsabu l-użi importanti ta' Cloudera Manager.

  • Użu u kkonfigurat clusters Hadoop b'mod awtomatizzat.
  • Immonitorja s-saħħa tal-cluster
  • Kkonfigura twissijiet
  • Issolvi l-problemi
  • Rapportar
  • Nagħmlu Rapport dwar l-Utilizzazzjoni tal-Kluster
  • Konfigurazzjoni tar-Riżorsi b'mod dinamiku

Pass 1: Installazzjoni ta 'Apache Web Server fuq CentOS

Se nużaw il-master1 bħala webserver għar-repożitorji ta' Cloudera. Ukoll, Cloudera Manager huwa WebUI, għalhekk jeħtieġ li jkollna Apache installat. Segwi l-passi hawn taħt biex tinstalla s-server tal-web apache.

# yum -y install httpd

Ladarba installat httpd, ibdah u ppermettiet sabiex jinbeda fuq il-boot.

# systemctl start httpd
# systemctl enable httpd

Wara li tibda httpd, tiżgura l-istatus.

# systemctl status httpd

Wara li tibda httpd, iftaħ browser fis-sistema lokali tiegħek u waħħal l-indirizz IP ta 'master1 fil-bar tat-tiftix, għandek tikseb din il-paġna tat-test biex tiżgura li httpd qed jaħdem tajjeb.

Pass 2: Ikkonfigura d-DNS Lokali biex Issolvi l-IP u l-Hostname

Jeħtieġ li jkollna server DNS jew tikkonfigura /etc/hosts biex insolvu l-IP u l-hostname. Hawnhekk qed nikkonfiguraw /etc/hosts, iżda f'ħin reali, server DNS dedikat se jkun hemm għall-ambjent tal-produzzjoni.

Segwi l-passi hawn taħt biex tagħmel dħul għas-servers kollha tiegħek f'/etc/hosts.

# vi /etc/hosts

Dan għandu jiġi kkonfigurat fis-servers kollha.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

Pass 3: Ikkonfigura l-Login SSH mingħajr Password

Cloudera Manager qed jiġi installat fuq master1 f'din id-dimostrazzjoni. Għandna bżonn nikkonfiguraw ssh mingħajr password minn master1 għan-nodi l-oħra kollha. Minħabba li l-Cloudera Manager se juża ssh biex jikkomunika n-nodi l-oħra kollha biex jinstalla l-pakketti.

Segwi l-passi hawn taħt biex tikkonfigura ssh mingħajr password minn master1 għas-servers kollha li fadal. Se jkollna utent 'tecmint' biex jipproċedi aktar.

Oħloq utent 'tecmint' l-4 servers kollha billi tuża l-kmand useradd kif muri.

# useradd -m tecmint

Biex tagħti l-privileġġ tal-għeruq lill-utent 'tecmint', żid il-linja ta 'hawn taħt fil-fajl /etc/sudoers. Tista 'żżid din il-linja taħt l-għeruq kif tagħti fil-screenshot.

tecmint   ALL=(ALL)    ALL

Aqleb għall-utent 'tecmint' u oħloq ċavetta ssh fil-master1 billi tuża l-kmand hawn taħt.

# sudo su tecmint
$ ssh-keygen

Issa kkopja ċ-ċavetta maħluqa għall-4 servers kollha billi tuża l-kmand ssh-copy-id kif muri.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 

Issa inti għandek tkun tista 'ssh minn master1 biex tibqa' s-servers kollha mingħajr password kif muri.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

Pass 4: Installazzjoni u Konfigurazzjoni ta' Cloudera Manager

Nistgħu nużaw ir-repożitorju tal-bejjiegħ (Cloudera) biex ninstallaw il-pakketti kollha billi tuża l-għodod tal-ġestjoni tal-pakketti f'RHEL/CentOS. F'ħin reali, il-ħolqien tar-repożitorju tagħna stess hija l-aħjar prattika għaliex jista' jkun li ma nkunux qed ikollna aċċess għall-internet fis-servers tal-produzzjoni.

Hawnhekk se ninstallaw ir-rilaxx ta' Cloudera Manager 6.3.1. Peress li se nużaw master1 bħala s-server repo, qed iniżżlu l-pakketti fit-triq imsemmija hawn taħt.

Oħloq id-direttorji msemmija hawn taħt fuq is-server master1.

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Nistgħu nużaw l-għodda wget biex iniżżlu pakketti minn http. Allura, installa wget billi tuża l-kmand hawn taħt.

$ sudo yum -y install wget

Sussegwentement, niżżel il-fajl tar-Cloudera Manager billi tuża l-kmand wget li ġej.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Oħroġ il-fajl tar f'/var/www/html/cloudera-repos/cm6, diġà għamilna master1 bħala webserver billi installa http u ttestjajna fuq il-browser.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Issa, ivverifika li l-fajls rpm kollha ta' Cloudera qegħdin hemm fid-direttorju /var/www/html/cloudera-repos/cm6/RPMS/x86_64.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

Oħloq /etc/yum.repos.d/cloudera-manager.repo fajls fuq is-servers kollha fil-cluster hosts bil-kontenut li ġej, hawn master1 (65.0.101.148) huwa s-server tal-Web.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Issa r-repożitorju ġie miżjud, mexxi l-kmand hawn taħt biex tara r-repożitorji attivati.

$ yum repolist

Mexxi l-kmand ta’ hawn taħt biex tara l-pakketti kollha disponibbli relatati ma’ Cloudera fir-repożitorju.

$ yum list available | grep cloudera*

Installa cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Mexxi l-kmand ta' hawn taħt biex tara l-pakketti kollha installati ta' Cloudera.

$ yum list installed | grep cloudera*

Mexxi l-kmand ta 'hawn taħt biex tibda l-clodera-scm-server-db li hija database sottostanti biex taħżen Cloudera Manager u metadejta ta' servizzi oħra.

B'mod awtomatiku, Cloudera qed toħroġ bi postgre-sql li huwa inkorporat fil-Cloudera Manager. Qed ninstallaw dak inkorporat, f'database esterna f'ħin reali li tista 'tintuża. Jista 'jkun Oracle, MySQL, jew PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db

Mexxi l-kmand hawn taħt biex tivverifika l-istatus tad-database.

$ sudo systemctl status cloudera-scm-server-db

Ikkonfigura d-db.properties għas-server ta' Cloudera Manager.

$ vi /etc/cloudera-scm-server/db.properties

Ikkonfigura l-valur t'hawn taħt huwa EMBEDDED biex jagħmel Cloudera Manager juża d-Database Inkorporat.

com.cloudera.cmf.db.setupType=EMBEDDED

Mexxi l-kmand ta 'hawn taħt biex tibda s-server tal-Maniġer ta' Cloudera.

$ sudo systemctl start cloudera-scm-server

Mexxi l-kmand ta 'hawn taħt biex tivverifika l-istatus tas-server tal-Maniġer ta' Cloudera.

$ sudo systemctl status cloudera-scm-server

Mexxi l-kmand ta 'hawn taħt biex tibda u tivverifika l-istatus tal-aġent tal-Maniġer ta' Cloudera.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Ladarba s-Server tal-Maniġer tal-Cloudera jibda jaħdem tajjeb b'suċċess, tista' tara l-WebUI (paġna tal-Login) fil-browser billi tuża l-indirizz IP u n-numru tal-port 7180 li huwa n-numru tal-port ta' Cloudera Manager.

https://65.0.101.148:7180

F'dan l-artikolu, rajna proċess pass pass għall-installazzjoni ta' Cloudera Manager fuq CentOS 7. Se naraw is-CDH u installazzjonijiet oħra ta 'servizz fl-artiklu li jmiss.