L-Aħjar Prattiċi għall-Iskjerament ta' Hadoop Server fuq CentOS/RHEL 7 - Parti 1

F'din is-serje ta 'artikoli, se nkopru l-bini kollu ta' Cloudera Hadoop Cluster Building bl-aħjar prattiki rakkomandati mill-Bejjiegħa u l-Industrijali.

Installazzjoni tal-OS u tagħmel il-livell tal-OS Il-Prerekwiżiti huma l-ewwel passi biex jinbena Cluster Hadoop. Hadoop jista' jaħdem fuq it-togħma differenti tal-pjattaforma Linux: CentOS, RedHat, Ubuntu, Debian, SUSE eċċ., Fil-produzzjoni f'ħin reali, ħafna mill-Clusters Hadoop huma mibnija fuq RHEL/CentOS, se nużaw CentOS 7 għal dimostrazzjoni f'din is-serje ta' tutorials.

F'Organizzazzjoni, l-installazzjoni tal-OS tista 'ssir bl-użu ta' kickstart. Jekk huwa cluster ta '3 sa 4 nodi, l-installazzjoni manwali hija possibbli imma jekk nibnu cluster kbir b'aktar minn 10 nodi, huwa tedious li tinstalla OS wieħed wieħed. F'dan ix-xenarju, il-metodu Kickstart jidħol fl-istampa, nistgħu nipproċedu bl-installazzjoni tal-massa billi tuża kickstart.

Il-kisba ta' prestazzjoni tajba minn Ambjent Hadoop hija tiddependi fuq il-forniment tal-Hardware u Software korrett. Allura, il-bini ta 'cluster ta' produzzjoni Hadoop jinvolvi ħafna konsiderazzjoni rigward il-Ħardwer u s-Software.

F'dan l-artikolu, se ngħaddu minn diversi Benchmarks dwar l-installazzjoni ta 'OS u xi l-aħjar prattiki għall-iskjerament ta' Cloudera Hadoop Cluster Server fuq CentOS/RHEL 7.

Konsiderazzjoni Importanti u l-Aħjar Prattiki għall-Iskjerament ta' Hadoop Server

Dawn li ġejjin huma l-aħjar prattiki għat-twaqqif tal-iskjerament ta' Cloudera Hadoop Cluster Server fuq CentOS/RHEL 7.

  • Is-servers Hadoop ma jeħtiġux servers standard ta' intrapriża biex jibnu cluster, jeħtieġ ħardwer tal-komodità.
  • Fir-raggruppament tal-produzzjoni, huwa rakkomandat li jkollok 8 sa 12-il diska tad-dejta. Skont in-natura tal-ammont ta' xogħol, jeħtieġ li niddeċiedu dwar dan. Jekk ir-raggruppament huwa għal applikazzjonijiet ta' komputazzjoni intensiva, li jkun hemm 4 sa 6 drives hija l-aħjar prattika biex jiġu evitati kwistjonijiet ta' I/O.
  • Id-drajvs tad-dejta għandhom ikunu diviżorji individwalment, pereżempju – jibdew minn /data01 sa /data10.
  • Il-konfigurazzjoni RAID mhix rakkomandata għan-nodi tal-ħaddiema, minħabba li Hadoop innifsu jipprovdi tolleranza għall-ħsarat fuq id-dejta billi jirreplika l-blokki fi 3 b'mod awtomatiku. Allura JBOD huwa l-aħjar għan-nodi tal-ħaddiema.
  • Għas-Servers Master, RAID 1 hija l-aħjar prattika.
  • Is-sistema tal-fajls default fuq CentOS/RHEL 7.x hija XFS. Hadoop jappoġġja XFS, ext3, u ext4. Is-sistema tal-fajls rakkomandata hija ext3 peress li hija ttestjata għal prestazzjoni tajba.
  • Is-servers kollha għandhom ikollhom l-istess verżjoni OS, għall-inqas l-istess rilaxx minuri.
  • Hija l-aħjar prattika li jkun hemm ħardwer omoġenju (in-nodi tal-ħaddiema kollha għandu jkollhom l-istess karatteristiċi ta' ħardwer (RAM, spazju fuq id-diska u Core eċċ).
  • Skond l-ammont ta' xogħol tal-cluster (Tagħbija ta' Xogħol Ibbilanċjat, Kompjuter Intensiv, I/O Intensiv) u d-daqs, l-ippjanar tar-riżorsi (RAM, CPU) għal kull server se jkun differenti.

Sib l-Eżempju hawn taħt għal Disk Partitioning tas-servers ta 'ħażna ta' 24TB.

Installazzjoni ta' CentOS 7 għall-Użu ta' Server Hadoop

Affarijiet li trid tkun taf qabel ma tinstalla s-server CentOS 7 għal Hadoop Server.

  • L-installazzjoni minima hija biżżejjed għal Servers Hadoop (nodi tal-ħaddiema), f'xi każijiet, GUI tista' tiġi installata biss għal servers Master jew servers ta' Ġestjoni fejn nistgħu nużaw browsers għal għodod tal-Web UIs ta' Ġestjoni.
  • Il-konfigurazzjoni tan-netwerks, l-isem tal-host, u settings oħra relatati mal-OS jistgħu jsiru wara l-installazzjoni tal-OS.
  • F'ħin reali, il-bejjiegħa tas-server se jkollhom il-console tagħhom stess biex jinteraġixxu u jimmaniġġjaw is-servers, pereżempju – is-servers Dell qed ikollhom iDRAC li huwa apparat, inkorporat mas-servers. Billi nużaw dik l-interface iDRAC nistgħu ninstallaw OS b'immaġini OS fis-sistema lokali tagħna.

F'dan l-artikolu, installajna OS (CentOS 7) fil-magna virtwali VMware. Hawnhekk, aħna mhux se jkollna diski multipli biex iwettqu diviżorji. CentOS huwa simili għal RHEL (l-istess funzjonalità), għalhekk se naraw il-passi biex ninstallaw CentOS.

1. Ibda billi tniżżel l-immaġni ISO CentOS 7.x fis-sistema tat-twieqi lokali tiegħek u agħżelha waqt li tibbotja l-magna virtwali. Agħżel 'Installa CentOS 7' kif muri.

2. Agħżel il-Lingwa, default se jkun l-Ingliż, u kklikkja tkompli.

3. Għażla tas-Software – Agħżel l-‘Installazzjoni Minima’ u kklikkja ‘Magħmul’.

4. Issettja l-password ta 'l-għeruq peress li se tqanqalna biex nissettjaw.

5. Installazzjoni Destinazzjoni - Dan huwa l-pass importanti li tkun kawt. Għandna bżonn nagħżlu d-disk fejn l-OS għandu jiġi installat, id-diska ddedikata għandha tintgħażel għall-OS. Ikklikkja fuq id-'Destinazzjoni tal-Installazzjoni' u agħżel id-Disk, f'ħin reali diski multipli se jkun hemm, irridu nagħżlu, preferibbli 'sda'.

6. Għażliet oħra ta 'Ħażna - Agħżel it-tieni għażla (se nikkonfigura l-qsim) biex tikkonfigura partizzjoni relatata mal-OS bħal /var, /var/log, /home, /tmp, /opt, /swap.

7. Ladarba jsir, ibda l-installazzjoni.

8. Ladarba l-Installazzjoni titlesta, reboot is-server.

9. Idħol fis-server u issettja l-hostname.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

F'dan l-artikolu, għaddejna minn passi ta 'installazzjoni tal-OS u l-aħjar prattiki għall-qsim tas-sistema tal-fajls. Dawn huma kollha linji gwida ġenerali, skont in-natura tal-ammont ta 'xogħol, jista' jkun hemm bżonn li nikkonċentraw fuq aktar sfumaturi biex niksbu l-aħjar prestazzjoni tal-cluster. L-ippjanar tal-cluster huwa arti għall-amministratur Hadoop. Fl-artiklu li jmiss ser ikollna ngħaddu fil-fond fil-prerekwiżiti tal-livell tal-OS u t-Tebbus tas-sigurtà.