It-Twaqqif ta' Pre-rekwiżiti ta' Hadoop u t-Twebbis tas-Sigurtà - Parti 2

Hadoop Cluster Building huwa proċess pass pass fejn il-proċess jibda mix-xiri tas-servers meħtieġa, l-immuntar fir-rack, il-kejbils, eċċ. u t-tqegħid fid-Datacentre. Imbagħad irridu ninstallaw l-OS, jista 'jsir bl-użu ta' kickstart fl-ambjent f'ħin reali jekk id-daqs tal-cluster ikun kbir. Ladarba OS installat, allura rridu nħejju s-server għall-Installazzjoni ta 'Hadoop u rridu nippreparaw is-servers skont il-politiki ta' sigurtà tal-Organizzazzjoni.

L-Aħjar Prattiċi għall-Iskjerament ta' Hadoop Server fuq CentOS/RHEL 7 – Parti 1

F'dan l-artikolu, se ngħaddu minn prerekwiżiti fil-livell tal-OS rakkomandati minn Cloudera. Ukoll, enfasizzajna xi suġġerimenti importanti dwar it-Twebbs tas-Sigurtà skont is-CIS Benchmark for Production servers. Dawn it-twebbis tas-sigurtà jistgħu jkunu differenti skont ir-rekwiżiti.

Twaqqif ta' Pre-rekwiżiti ta' Cloudera Hadoop

Hawnhekk, se niddiskutu l-prerekwiżiti fil-livell tal-OS rakkomandati minn Cloudera.

B'mod awtomatiku, Transparent Huge Page (THP) hija attivata f'magni Linux li jinteraġixxu ħażin mal-piżijiet tax-xogħol ta' Hadoop u tiddegrada l-prestazzjoni ġenerali tal-Cluster. Għalhekk irridu niddiżattivaw dan sabiex niksbu l-aħjar prestazzjoni billi tuża l-kmand eku li ġej.

# echo never > /sys/kernel/mm/transparent_hugepage/enabled 
# echo never > /sys/kernel/mm/transparent_hugepage/defrag

B'mod awtomatiku, il-valur vm.swappiness huwa 30 jew 60 għal ħafna mill-magni Linux.

# sysctl vm.swappiness

Li jkollok valur ogħla ta 'swappiness mhux rakkomandat għal servers Hadoop minħabba li jista' jikkawża pawżi twal fil-ġbir taż-Żibel. U, bil-valur ta 'swappiness ogħla, id-dejta tista' tiġi miżmumin fil-cache biex tpartit il-memorja anki jekk ikollna biżżejjed memorja. Tbaxxi l-valur swappiness jista 'jagħmel memorja fiżika li jkun fiha aktar paġni tal-memorja.

# sysctl vm.swappiness=1

Jew, tista' tiftaħ il-fajl /etc/sysctl.conf u żid \vm.swappiness=1\ fl-aħħar.

vm.swappiness=1

Kull server Hadoop se jkollu r-responsabbiltà tiegħu stess b'diversi servizzi (daemons) li jaħdmu fuq dan. Is-servers kollha se jkunu qed jikkomunikaw ma 'xulxin b'mod frekwenti għal diversi skopijiet.

Per Eżempju, Datanode se jibgħat qalb lil Namenode għal kull 3 sekondi sabiex Namenode jiżgura li d-Datanode ikun ħaj.

Jekk il-komunikazzjoni kollha sseħħ bejn id-daemons fuq servers differenti permezz tal-Firewall, ikun piż żejjed għal Hadoop. Għalhekk hija l-aħjar prattika li tiddiżattiva l-firewall fis-servers individwali fil-Cluster.

# iptables-save > ~/firewall.rules
# systemctl stop firewalld
# systemctl disable firewall

Jekk inżommu s-SELinux attivat, dan jikkawża problemi waqt l-installazzjoni ta' Hadoop. Peress li Hadoop huwa cluster computing, Cloudera Manager se jilħaq is-servers kollha fil-cluster biex jinstalla Hadoop u s-servizzi tiegħu u se joħloq direttorji tas-servizzi meħtieġa kull fejn ikun meħtieġ.

Jekk SELinux ppermettiet, mhux se jħalli lil Cloudera Manager biex imexxi l-installazzjoni kif irid. Għalhekk, l-abilitazzjoni ta 'SELinux se tkun ostaklu għal Hadoop u se tikkawża problemi ta' prestazzjoni.

Tista 'tiċċekkja l-istatus ta' SELinux billi tuża l-kmand hawn taħt.

# sestatus

Issa, iftaħ il-fajl /etc/selinux/config u iddiżattiva SELINUX kif muri.

SELinux=disabled

Wara li tiddiżattiva SELinux, għandek bżonn terġa 'tibda s-sistema biex tagħmilha attiva.

# reboot

F'Hadoop Cluster, is-servers kollha għandhom ikunu Ħin Sinkronizzat biex jiġu evitati żbalji ta' offset tal-arloġġ. Ir-RHEL/CentOS 7 qed ikollu chronyd inbuilt għas-sinkronizzazzjoni tal-arloġġ/ħin tan-netwerk, iżda Cloudera jirrakkomanda li tuża NTP.

Għandna bżonn ninstallaw NTP u kkonfigurawh. Ladarba tkun installata, waqqaf 'chronyd' u iddiżattiva. Minħabba li, jekk server li jkollu kemm ntpd kif ukoll chronyd jaħdmu, Cloudera Manager se jikkunsidra chronyd għas-sinkronizzazzjoni tal-ħin, allura se jitfa' żball anke jekk ikollna ħin sinkronizzat permezz ta 'ntp.

# yum -y install ntp
# systemctl start ntpd
# systemctl enable ntpd
# systemctl status ntpd

Kif semmejna hawn fuq, m'għandniex bżonn chronyd attiv peress li qed nużaw ntpd. Iċċekkja l-istatus ta 'chronyd, jekk tkun qed taħdem waqqaf u tiddiżattiva. B'mod awtomatiku, chronyd jitwaqqaf sakemm ma nibdewx wara l-installazzjoni tal-OS, biss jeħtieġ li tiddiżattiva għal naħa aktar sigura.

# systemctl status chronyd
# systemctl disable chronyd

Irridu nissettjaw l-hostname b'FQDN (Isem tad-Dominju Sħiħ). Kull server għandu jkollu isem Kanoniku uniku. Biex insolvu l-isem tal-host, jew irridu nikkonfiguraw id-DNS jew /etc/hosts. Hawnhekk, se nikkonfiguraw /etc/hosts.

L-indirizz IP u l-FQDN ta' kull server għandhom jiddaħħlu f'/etc/hosts tas-servers kollha. Imbagħad Cloudera Manager biss jista 'jikkomunika s-servers kollha bl-hostname tiegħu.

# hostnamectl set-hostname master1.linux-console.net

Sussegwentement, ikkonfigura l-fajl /etc/hosts. Per Eżempju: – Jekk għandna 5 node cluster b'2 masters u 3 ħaddiema, nistgħu kkonfiguraw il-/etc/hosts kif hawn taħt.

Peress li Hadoop huwa magħmul minn Java, l-ospiti kollha għandhom ikollhom Java installat bil-verżjoni xierqa. Hawnhekk se jkollna OpenJDK. B'mod awtomatiku, Cloudera Manager se jinstalla OracleJDK iżda, Cloudera jirrakkomanda li jkollok OpenJDK.

# yum -y install java-1.8.0-openjdk-devel
# java -version

Hadoop Sigurtà u Ebusija

F'din it-taqsima, ser immorru Harden Hadoop sigurtà ambjentali...

Automounting 'autofs' jippermetti immuntar awtomatiku ta' apparati fiżiċi bħal USB, CD/DVD. Utent b'aċċess fiżiku jista' jehmeż l-USB tiegħu jew kwalunkwe mezz ta' Ħażna biex jaċċessa d-data tad-dħul. Uża l-kmandi ta' hawn taħt biex tivverifika jekk huwiex diżattivat jew le, jekk le tiddiżattivaha.

# systemctl disable autofs
# systemctl is-enabled autofs

Il-fajl tal-konfigurazzjoni tal-grub fih informazzjoni kritika tas-settings tal-boot u l-kredenzjali biex jinfetaħ l-għażliet tal-boot. Il-fajl tal-konfigurazzjoni tal-grub 'grub.cfg' li jinsab f'/boot/grub2 u ġie marbut bħala /etc/grub2.conf u jiżgura li grub.cfg huwa proprjetà tal-utent root.

# cd /boot/grub2

Uża l-kmand ta 'hawn taħt biex tiċċekkja Uid u Gid huma t-tnejn 0/root u 'grupp' jew 'oħra' m'għandux ikollhom l-ebda permess.

# stat /boot/grub2/grub.cfg

Uża l-kmand hawn taħt biex tneħħi permessi minn oħrajn u grupp.

# chmod og-rwx /boot/grub2/grub.cfg

Dan l-issettjar jevita rebooting ieħor mhux awtorizzat tas-server. jiġifieri, Hija teħtieġ password biex terġa 'tibda s-server. Jekk ma jkunx issettjat, utenti mhux awtorizzati jistgħu boot-server u jistgħu jagħmlu bidliet fil-partizzjonijiet boot.

Uża l-kmand hawn taħt biex tissettja l-password.

# grub2-mkpasswd-pbkdf2

Żid il-password maħluqa hawn fuq fil-fajl /etc/grub.d/01_users.

Sussegwentement, iġġenera mill-ġdid il-fajl tal-konfigurazzjoni tal-grub.

# grub2-mkconfig > /boot/grub2/grub.cfg

Prelink huwa programm ta' softwer li jista' jżid il-vulnerabbiltà f'server jekk utenti malizzjużi jistgħu jikkompromettu libreriji komuni bħal libc.

Uża l-kmand hawn taħt biex tneħħiha.

# yum remove prelink

Għandna nikkunsidraw li tiddiżattiva xi servizzi/protokolli biex nevitaw attakki potenzjali.

# systemctl disable <service name>

Iżżarma s-Servizzi tan-Netwerk – Żgura li s-servizzi tan-netwerk – ħlasijiet, bi nhar, skart, eku, ħin mhumiex attivati. Dawn is-servizzi tan-Netwerk huma għal debugging u ttestjar, huwa rrakkomandat li tiddiżattiva li tista 'timminimizza l-attakk mill-bogħod.
Itfi TFTP u FTP – Kemm il-protokoll mhux se jappoġġja l-kunfidenzjalità tad-dejta jew tal-kredenzjali. Hija l-aħjar prattika li ma jkollokx fis-server sakemm ma tkunx meħtieġa b'mod espliċitu. L-aktar dawn il-protokolli huma installati u attivati fuq Fileservers.
Iddiżattiva DHCP – DHCP huwa l-protokoll li dinamikament jalloka l-indirizz IP. Huwa rakkomandat li tiddiżattiva sakemm ma jkunx server DHCP biex jiġu evitati attakki potenzjali.
Itfi HTTP – HTTP huwa l-protokoll li jista' jintuża biex jospita kontenut tal-web. Minbarra s-servers Master/Management (fejn il-WebUI tas-servizzi għandhom jiġu kkonfigurati bħal CM, Hue, eċċ), nistgħu tiddiżattiva HTTP fuq nodi oħra tal-ħaddiema li jistgħu jevitaw l-attakki potenzjali.

Sommarju

Għaddejna mill-preparazzjoni tas-server li tikkonsisti minn Pre-rekwiżiti ta' Cloudera Hadoop u xi ebusija tas-sigurtà. Il-prerekwiżiti tal-livell tal-OS definiti minn Cloudera huma obbligatorji għall-installazzjoni bla xkiel ta' Hadoop. Normalment, skript ta' twebbis se jitħejja bl-użu tal-CIS Benchmark u jintuża biex jivverifika u jirrimedja n-nuqqas ta' konformità f'ħin reali.

F'installazzjoni minima ta 'CentOS/RHEL 7, huma installati biss funzjonalitajiet/softwer bażiċi, dan jevita riskju u vulnerabbiltajiet mhux mixtieqa. Anki jekk hija Installazzjoni Minima, se jsiru iterazzjonijiet multipli ta 'verifika tas-sigurtà qabel l-installazzjoni ta' Hadoop, anke wara li jinbena l-cluster, qabel ma tmexxi l-Cluster fl-Operazzjoni/Produzzjoni.