Kif tinstalla u tikkonfigura Cloudera Manager fuq CentOS/RHEL 7 - Parti 3
F'dan l-artikolu, iddeskrivejna l-proċess pass pass biex ninstallaw Cloudera Manager skont il-prattiki industrijali. Fil-Parti 2, diġà għaddejna mill-Pre-rekwiżiti Cloudera, kun żgur li s-servers kollha huma ppreparati perfettament.
- L-Aħjar Prattiċi għall-Iskjerament ta' Hadoop Server fuq CentOS/RHEL 7 – Parti 1
- Twaqqif ta' Prerekwiżiti ta' Hadoop u Twebbis tas-Sigurtà – Parti 2
Hawnhekk se jkollna 5 node cluster fejn 2 kaptani u 3 ħaddiema. Jien użajt 5 istanzi AWS EC2 biex nuri l-proċedura ta 'installazzjoni. Semmejt dawk il-5 servers kif hawn taħt.
master1.linux-console.net master2.linux-console.net worker1.linux-console.net worker2.linux-console.net worker3.linux-console.net
Cloudera Manager huwa għodda amministrattiva u ta' monitoraġġ għas-CDH kollu. Aħna l-amministratur normalment insejħuha għodda ta 'ġestjoni għal Cloudera Hadoop. Nistgħu niskjeraw, nissorveljaw, nikkontrollaw u nagħmlu bidliet fil-konfigurazzjoni bl-użu ta 'din l-għodda. Dan huwa ferm essenzjali biex timmaniġġja l-cluster kollu.
Hawn taħt jinsabu l-użi importanti ta' Cloudera Manager.
- Użu u kkonfigurat clusters Hadoop b'mod awtomatizzat.
- Immonitorja s-saħħa tal-cluster
- Kkonfigura twissijiet
- Issolvi l-problemi
- Rapportar
- Nagħmlu Rapport dwar l-Utilizzazzjoni tal-Kluster
- Konfigurazzjoni tar-Riżorsi b'mod dinamiku
Pass 1: Installazzjoni ta 'Apache Web Server fuq CentOS
Se nużaw il-master1
bħala webserver għar-repożitorji ta' Cloudera. Ukoll, Cloudera Manager huwa WebUI, għalhekk jeħtieġ li jkollna Apache installat. Segwi l-passi hawn taħt biex tinstalla s-server tal-web apache.
# yum -y install httpd
Ladarba installat httpd, ibdah u ppermettiet sabiex jinbeda fuq il-boot.
# systemctl start httpd # systemctl enable httpd
Wara li tibda httpd, tiżgura l-istatus.
# systemctl status httpd
Wara li tibda httpd, iftaħ browser fis-sistema lokali tiegħek u waħħal l-indirizz IP ta 'master1
fil-bar tat-tiftix, għandek tikseb din il-paġna tat-test biex tiżgura li httpd qed jaħdem tajjeb.
Pass 2: Ikkonfigura d-DNS Lokali biex Issolvi l-IP u l-Hostname
Jeħtieġ li jkollna server DNS jew tikkonfigura /etc/hosts biex insolvu l-IP u l-hostname. Hawnhekk qed nikkonfiguraw /etc/hosts, iżda f'ħin reali, server DNS dedikat se jkun hemm għall-ambjent tal-produzzjoni.
Segwi l-passi hawn taħt biex tagħmel dħul għas-servers kollha tiegħek f'/etc/hosts.
# vi /etc/hosts
Dan għandu jiġi kkonfigurat fis-servers kollha.
13.235.27.144 master1.linux-console.net master1 13.235.135.170 master2.linux-console.net master2 15.206.167.94 worker1.linux-console.net worker1 13.232.173.158 worker2.linux-console.net worker2 65.0.182.222 worker3.linux-console.net worker3
Pass 3: Ikkonfigura l-Login SSH mingħajr Password
Cloudera Manager qed jiġi installat fuq master1
f'din id-dimostrazzjoni. Għandna bżonn nikkonfiguraw ssh mingħajr password minn master1
għan-nodi l-oħra kollha. Minħabba li l-Cloudera Manager se juża ssh biex jikkomunika n-nodi l-oħra kollha biex jinstalla l-pakketti.
Segwi l-passi hawn taħt biex tikkonfigura ssh mingħajr password minn master1
għas-servers kollha li fadal. Se jkollna utent 'tecmint' biex jipproċedi aktar.
Oħloq utent 'tecmint' l-4 servers kollha billi tuża l-kmand useradd kif muri.
# useradd -m tecmint
Biex tagħti l-privileġġ tal-għeruq lill-utent 'tecmint', żid il-linja ta 'hawn taħt fil-fajl /etc/sudoers. Tista 'żżid din il-linja taħt l-għeruq kif tagħti fil-screenshot.
tecmint ALL=(ALL) ALL
Aqleb għall-utent 'tecmint' u oħloq ċavetta ssh fil-master1
billi tuża l-kmand hawn taħt.
# sudo su tecmint $ ssh-keygen
Issa kkopja ċ-ċavetta maħluqa għall-4 servers kollha billi tuża l-kmand ssh-copy-id kif muri.
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email $ ssh-copy-id -i ~/.ssh/id_rsa.pub [email
Issa inti għandek tkun tista 'ssh minn master1
biex tibqa' s-servers kollha mingħajr password kif muri.
$ ssh master2 $ ssh worker1 $ ssh worker2 $ ssh worker3
Pass 4: Installazzjoni u Konfigurazzjoni ta' Cloudera Manager
Nistgħu nużaw ir-repożitorju tal-bejjiegħ (Cloudera) biex ninstallaw il-pakketti kollha billi tuża l-għodod tal-ġestjoni tal-pakketti f'RHEL/CentOS. F'ħin reali, il-ħolqien tar-repożitorju tagħna stess hija l-aħjar prattika għaliex jista' jkun li ma nkunux qed ikollna aċċess għall-internet fis-servers tal-produzzjoni.
Hawnhekk se ninstallaw ir-rilaxx ta' Cloudera Manager 6.3.1. Peress li se nużaw master1
bħala s-server repo, qed iniżżlu l-pakketti fit-triq imsemmija hawn taħt.
Oħloq id-direttorji msemmija hawn taħt fuq is-server master1
.
$ sudo mkdir -p /var/www/html/cloudera-repos/cm6
Nistgħu nużaw l-għodda wget biex iniżżlu pakketti minn http. Allura, installa wget billi tuża l-kmand hawn taħt.
$ sudo yum -y install wget
Sussegwentement, niżżel il-fajl tar-Cloudera Manager billi tuża l-kmand wget li ġej.
$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
Oħroġ il-fajl tar f'/var/www/html/cloudera-repos/cm6, diġà għamilna master1
bħala webserver billi installa http u ttestjajna fuq il-browser.
$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
Issa, ivverifika li l-fajls rpm kollha ta' Cloudera qegħdin hemm fid-direttorju /var/www/html/cloudera-repos/cm6/RPMS/x86_64.
$ cd /var/www/html/cloudera-repos/cm6 $ ll
Oħloq /etc/yum.repos.d/cloudera-manager.repo fajls fuq is-servers kollha fil-cluster hosts bil-kontenut li ġej, hawn master1
(65.0.101.148) huwa s-server tal-Web.
[cloudera-repo] name=cloudera-manager baseurl=http:///cloudera-repos/cm6/ enabled=1 gpgcheck=0
Issa r-repożitorju ġie miżjud, mexxi l-kmand hawn taħt biex tara r-repożitorji attivati.
$ yum repolist
Mexxi l-kmand ta’ hawn taħt biex tara l-pakketti kollha disponibbli relatati ma’ Cloudera fir-repożitorju.
$ yum list available | grep cloudera*
Installa cloudera-manager-server, cloudera-manager-agent, cloudera-manager-daemons cloudera-manager-server-db-2.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
Mexxi l-kmand ta' hawn taħt biex tara l-pakketti kollha installati ta' Cloudera.
$ yum list installed | grep cloudera*
Mexxi l-kmand ta 'hawn taħt biex tibda l-clodera-scm-server-db li hija database sottostanti biex taħżen Cloudera Manager u metadejta ta' servizzi oħra.
B'mod awtomatiku, Cloudera qed toħroġ bi postgre-sql li huwa inkorporat fil-Cloudera Manager. Qed ninstallaw dak inkorporat, f'database esterna f'ħin reali li tista 'tintuża. Jista 'jkun Oracle, MySQL, jew PostgreSQL.
$ sudo systemctl start cloudera-scm-server-db
Mexxi l-kmand hawn taħt biex tivverifika l-istatus tad-database.
$ sudo systemctl status cloudera-scm-server-db
Ikkonfigura d-db.properties għas-server ta' Cloudera Manager.
$ vi /etc/cloudera-scm-server/db.properties
Ikkonfigura l-valur t'hawn taħt huwa EMBEDDED biex jagħmel Cloudera Manager juża d-Database Inkorporat.
com.cloudera.cmf.db.setupType=EMBEDDED
Mexxi l-kmand ta 'hawn taħt biex tibda s-server tal-Maniġer ta' Cloudera.
$ sudo systemctl start cloudera-scm-server
Mexxi l-kmand ta 'hawn taħt biex tivverifika l-istatus tas-server tal-Maniġer ta' Cloudera.
$ sudo systemctl status cloudera-scm-server
Mexxi l-kmand ta 'hawn taħt biex tibda u tivverifika l-istatus tal-aġent tal-Maniġer ta' Cloudera.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Ladarba s-Server tal-Maniġer tal-Cloudera jibda jaħdem tajjeb b'suċċess, tista' tara l-WebUI (paġna tal-Login) fil-browser billi tuża l-indirizz IP u n-numru tal-port 7180 li huwa n-numru tal-port ta' Cloudera Manager.
https://65.0.101.148:7180
F'dan l-artikolu, rajna proċess pass pass għall-installazzjoni ta' Cloudera Manager fuq CentOS 7. Se naraw is-CDH u installazzjonijiet oħra ta 'servizz fl-artiklu li jmiss.