Kif Tinstalla CDH u Kkonfigura l-Pjazzamenti tas-Servizz fuq CentOS/RHEL 7 - Parti 4
F'artiklu ta 'qabel, spjegajna l-installazzjoni ta' Cloudera Manager, f'dan l-artikolu, titgħallem kif tinstalla u tikkonfigura CDH (Cloudera Distribution Hadoop) f'RHEL/CentOS 7.
Waqt l-installazzjoni tal-pakkett CDH, irridu niżguraw il-kompatibilità tal-Cloudera Manager u CDH. Verżjoni Cloudera qed ikollha 3 partijiet -
Per Eżempju, qed nużaw Cloudera Manager 6.3.1 u CDH 6.3.2. Hawnhekk 6 hija maġġuri u 3 hija l-verżjoni minuri. Maġġuri u Minuri għandhom ikunu l-istess biex jiġu evitati kwistjonijiet ta 'kompatibilità.
- L-Aħjar Prattiċi għall-Iskjerament ta' Hadoop Server fuq CentOS/RHEL 7 – Parti 1
- Twaqqif ta' Prerekwiżiti ta' Hadoop u Twebbis tas-Sigurtà – Parti 2
- Kif tinstalla u tikkonfigura l-Maniġer ta' Cloudera fuq CentOS/RHEL 7 – Parti 3
Se nieħdu n-nodi 2 hawn taħt għall-installazzjoni tas-CDH. Diġà installajna Cloudera Manager f'master1, qed nużaw ukoll master1 bħala server repo.
master1.linux-console.net worker1.linux-console.net
Pass 1: Niżżel CDH Parcels fuq Master Server
1. L-ewwel, qabbad mas-server master1 u niżżel il-fajls CDH Parcels fid-direttorju /var/www/html/cloudera-repos/cdh . Irridu tniżżel hawn taħt imsemmija 3 fajls li għandhom ikunu kompatibbli ma 'RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 manifest.json
2. Qabel tniżżel dawn il-fajls, kun żgur li toħloq direttorju cdh taħt /var/www/html/cloudera-repos/ location.
$ cd /var/www/html/cloudera-repos/ $ sudo mkdir cdh $ cd cdh
3. Sussegwentement, niżżel il-fajls 3 msemmija hawn fuq billi tuża l-kmand wget li ġej.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 $ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Pass 2: Issettja Cloudera Manager Repo Fuq Klijenti tal-Ħaddiema
4. Issa, qabbad mas-servers tal-ħaddiema u kkopja l-fajl repo (cloudera-manager.repo) mis-server repo (master1) għas-server tal-ħaddiema li jifdal. Dan il-fajl repo jiżgura lis-servers li l-pakketti u l-RPMs kollha meħtieġa jitniżżlu mis-server repo waqt l-installazzjoni.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL [cloudera-repo] name=cloudera-manager baseurl=http://104.211.95.96/cloudera-repos/cm6/ enabled=1 gpgcheck=0 EOL
5. Ladarba r-repożju miżjud, elenka r-repożitorji attivati biex tiżgura li r-repożju cloudera-manager ikun attivat.
$ yum repolist
Pass 3: Installa Cloudera Manager Daemons u Agent fuq Servers tal-Ħaddiema
6. Issa, għandna bżonn ninstallaw cloudera-manager-daemons u cloudera-manager-agent fis-servers kollha li fadal.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Sussegwentement, għandek bżonn tikkonfigura l-aġent tal-Cloudera Manager biex tirrapporta s-server tal-Cloudera Manager.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Ibdel il-localhost bl-indirizz IP tas-server Cloudera Manager.
8. Ibda Cloudera Manager Agent u vverifika l-istatus.
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent
Pass 4: Installa u Setup CDH
Għandna pakketti CDH f'master1 - repo server. Kun żgur li s-servers kollha qed ikollhom Cloudera Manager repo file f'/etc/yum.repos.d/ jekk issegwi l-installazzjoni awtomatika billi tuża Cloudera Manager.
9. Idħol ma' Cloudera Manager billi tuża l-URL hawn taħt fil-port 7180 u uża l-username u l-password default ta' Cloudera Manager.
http://104.211.95.96:7180/cmf/login Username: admin Password: admin
10. Ladarba tidħol, tiġi milqugħ bil-paġna ta’ Merħba. Hawnhekk tista 'ssib noti tar-rilaxx, Karatteristiċi ġodda ta' Cloudera Manager.
11. Aċċetta l-Liċenzja u Kompli.
12. Agħżel l-Edizzjoni. Il-verżjoni bi prova hija magħżula awtomatikament, nistgħu nipproċedu b'dak.
13. Issa, segwi l-passi tal-Installazzjoni tal-Cluster. Kompli l-Paġna ta’ Merħba.
14. Semmi l-Cluster u kompli, semmejna bħala \tecmint. Hemm 2 tipi ta' Cluster li tista' tiddefinixxi. Qed nipproċedu bi Cluster Regolari.
- Cluster regolari: Se jikkonsisti f'nodi ta' ħażna, nodi ta' komputazzjoni, u servizzi oħra meħtieġa.
- Compute Cluster: Se jikkonsisti biss minn compute nodes. Il-ħażna esterna tista' tintuża għall-ħażna tad-dejta.
15. Diġà installajna Cloudera Manager Agents fis-servers kollha. Tista' ssib dawk is-servers f'\Hosts Immaniġġjati Attwalment. Għal installazzjoni awtomatika, trid iddaħħal l-FQDN jew l-IP tas-servers fl-għażla \Ospiti Ġodda u tfittex. Cloudera Manager awtomatikament jiskopri l-hosts li fuqhom għandna bżonn ninstallaw CDH.
Hawnhekk, ikklikkja l-\Ospiti Mmexxija Attwalment, agħżel l-ospiti kollha billi tagħżel 'Isem tal-Ospiti' u kompli.
16. Agħżel Repożitorju - bl-użu ta 'Pakkett huwa l-mod rakkomandat. Ikklikkja ‘Aktar Għażliet’ biex tikkonfigura r-repożitorju.
17. Daħħal il-URL tar-repożitorju lokali kif imsemmi hawn taħt. Neħħi r-repożitorji pubbliċi li fadal kollha li jindikaw il-Web (Repożitorji ta 'Cloudera).
Dan huwa l-URL tar-repożitorju lokali tas-CDH li qed ikollna fil-master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Ladarba ddaħħal il-URL tar-repożitorju, din il-paġna turi biss pakketti disponibbli. Kompli dan il-pass.
19. Issa l-pakketti qed jitniżżlu, jitqassmu, jiġu żppakkjati, u attivati fis-servers kollha disponibbli.
20. Ladarba l-Pakketti CDH jiġu Attivati, spezzjona l-Cluster. Dan il-pass se jagħmel checkup tas-saħħa tal-cluster. Hawnhekk qed naqbżu u Inkomplu.
Pass 5: Konfigurazzjoni tal-Cluster
21. Hawnhekk irridu nagħżlu s-Servizzi li għandhom jiġu installati fil-Cluster. Xi kombinazzjonijiet ippakkjati se jkunu disponibbli awtomatikament, aħna sejrin mas-Servizzi tad-Dwana.
22. Fis-Servizzi tad-Dwana, qed ninstallaw biss Komponenti Ewlenin (HDFS u YARN) għal dan l-iskop demo.
23. Assenja r-rwoli lis-server. Nistgħu nippersonalizzaw skond il-ħtiġijiet tagħna. Sib it-tabella t'hawn taħt li tiddeskrivi d-Distribuzzjoni tar-Rwol rakkomandata għal cluster żgħir bażiku b'5 sa 20 nodi b'Disponibbiltà Għolja.
24. Agħżel it-tip tad-Database, l-isem tal-host, l-Isem tad-DB, l-Isem tal-Utent u l-Password. Peress li qed nużaw Embedded PostgreSQL, se jintgħażel awtomatikament. Ittestja l-konnessjoni, għandha tkun ta 'suċċess.
25. Din il-paġna se turi l-parametri tal-konfigurazzjoni default ta 'HDFS u Ħjut, inklużi direttorji tad-dejta. Irrevedi d-dettalji kollha tal-konfigurazzjoni u tista’ tagħmel bidliet jekk meħtieġ. Imbagħad Kompli b'dan.
26. Din il-paġna se turi d-dettalji tal-kmand tal-‘First Run’. Tista 'tespandiha biex tara d-dettalji tal-kmandi tat-tħaddim. Jekk ikun hemm xi kwistjonijiet ta 'netwerk jew permess fil-cluster, dan il-pass se jfalli. Normalment, dan il-pass jiddeċiedi l-installazzjoni bla xkiel tal-Bini tal-Cluster.
27. Ladarba jitlesta l-pass t’hawn fuq, Ikklikkja ‘Fiish’ biex tlesti l-installazzjoni. Dan huwa d-Dashboard ta' Cloudera Manager wara l-installazzjoni ta' CDH.
http://104.211.95.96:7180/cmf/home
Lestejna l-installazzjoni tal-Cloudera Manager u CDH b'suċċess. Fid-Dashboard tal-Maniġer ta' Cloudera, tista' ssib sett ta' charts definit minn qabel fejn tista' tissorvelja Cluster CPU, Disk IO eċċ. Nistgħu namministraw il-Cluster kollu billi tuża dan il-Cluster Manager. Se naraw l-operazzjonijiet amministrattivi kollha fl-artikoli li ġejjin.