Omume kacha mma maka ibugharị sava Hadoop na CentOS/RHEL 7 - Akụkụ 1

N'ime usoro isiokwu a, anyị ga-ekpuchi ụlọ Cloudera Hadoop Cluster Building site na ndị na-ere ahịa na ndị nrụpụta tụrụ aro omume kacha mma.

Nwụnye OS na ime ọkwa ọkwa OS tupu achọrọ bụ nzọụkwụ mbụ iji wuo ụyọkọ Hadoop. Hadoop nwere ike na-agba ọsọ na ekpomeekpo dị iche iche nke Linux: CentOS, RedHat, Ubuntu, Debian, SUSE wdg, Na mmepụta oge, ọtụtụ n'ime ụyọkọ Hadoop na-ewu n'elu RHEL/CentOS, anyị ga-eji CentOS 7 maka ngosi. na usoro nkuzi a.

Na nhazi, enwere ike ime nwụnye OS site na iji kickstart. Ọ bụrụ na ọ bụ ụyọkọ ọnụ ọnụ 3 ruo 4, ntinye akwụkwọ ntuziaka ga-ekwe omume mana ọ bụrụ na anyị wuo nnukwu ụyọkọ nwere ihe karịrị ọnụ ọnụ iri, ọ na-agwụ ike ịwụnye OS otu otu. N'ọnọdụ a, usoro Kickstart na-abata na foto a, anyị nwere ike ịga n'ihu na ntinye nke oke site na iji kickstart.

Inweta ezigbo arụmọrụ sitere na gburugburu Hadoop dabere na ịnye ngwaike & ngwanrọ ziri ezi. Yabụ, iwulite ụyọkọ Hadoop mmepụta gụnyere ọtụtụ nlebara anya gbasara ngwaike na ngwanrọ.

N'ime edemede a, anyị ga-agafe akara dị iche iche gbasara nrụnye OS yana ụfọdụ omume kacha mma maka ibuga Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

Ntụle dị mkpa na omume kacha mma maka ibunye sava Hadoop

Ihe ndị a bụ omume kachasị mma maka ịtọlite ibe Cloudera Hadoop Cluster Server na CentOS/RHEL 7.

  • Sava Hadoop anaghị achọ sava ọkọlọtọ ụlọ ọrụ iji wuo ụyọkọ, ọ chọrọ ngwaike ngwa ahịa.
    • Na ụyọkọ mmepụta, a na-atụ aro ịnweta diski data 8 ruo 12. Dị ka ọdịdị nke ibu ọrụ si dị, anyị kwesịrị ikpebi nke a. Ọ bụrụ na ụyọkọ ahụ bụ maka ngwa na-agbakọ ọnụ, ịnwe draịva 4 ruo 6 bụ omume kacha mma iji zere nsogbu I/O.
  • Ekwesịrị ka ekewa draịva data n'otu n'otu, dịka ọmụmaatụ - malite na /data01 ruo /data10.
  • A naghị atụ aro nhazi RAID maka ọnụ ọnụ ndị ọrụ, n'ihi na Hadoop n'onwe ya na-enye nnabata data site na ịmegharị ihe mgbochi ahụ n'ime 3 na ndabara. Ya mere JBOD kacha mma maka ọnụ ndị ọrụ.
  • Maka Sava Master, RAID 1 bụ omume kacha mma.
  • Sistemụ faịlụ ndabara na CentOS/RHEL 7.x bụ XFS. Hadoop na-akwado XFS, ext3 na ext4. Sistemu faịlụ akwadoro bụ ext3 ka a na-anwale ya maka ịrụ ọrụ nke ọma.
  • Sava niile kwesịrị inwe otu ụdị OS, ma ọ dịkarịa ala otu obere mwepụta.
  • Ọ bụ omume kachasị mma ịnwe ngwaike otu (ọnụ ọnụ ndị ọrụ niile kwesịrị inwe otu njirimara ngwaike (RAM, ohere diski & isi wdg).
  • Dịka ụyọkọ ọrụ si dị (Oru Ọrụ Balanced, Compute Intensive, I/O Intensive) na nha, atụmatụ akụ (RAM, CPU) maka nkesa ga-adị iche.

Chọta n'okpuru Ihe Nlereanya maka nkewa Disk nke sava nke nchekwa 24TB.

Ịwụnye CentOS 7 maka ntinye nke Hadoop Server

Ihe ị kwesịrị ịma tupu ịwụnye sava CentOS 7 maka sava Hadoop.

  • Nwụnye ntakịrị ezuru maka sava Hadoop (ọnụọgụ ndị ọrụ), n'ọnọdụ ụfọdụ, enwere ike itinye GUI naanị maka sava Master ma ọ bụ sava njikwa ebe anyị nwere ike iji ihe nchọgharị maka ngwaọrụ njikwa Weebụ UI.
  • Ịhazi netwọkụ, aha nnabata, na ntọala ndị ọzọ metụtara OS nwere ike ime mgbe echichi OS gasịrị.
  • Na ezigbo oge, ndị na-ere ihe nkesa ga-enwe njikwa nke aka ha iji mekọrịta na jikwaa sava, dịka ọmụmaatụ - sava Dell nwere iDRAC nke bụ ngwaọrụ, etinyere na sava. Iji interface iDRAC ahụ anyị nwere ike ịwụnye OS na inwe onyonyo OS na sistemụ mpaghara anyị.

N'ime edemede a, anyị etinyela OS (CentOS 7) na igwe mebere VMware. N'ebe a, anyị agaghị enwe ọtụtụ diski iji rụọ nkebi. CentOS yiri RHEL (otu ọrụ), yabụ anyị ga-ahụ usoro iji wụnye CentOS.

1. Malite site na nbudata ihe oyiyi CentOS 7.x ISO na sistemụ windo mpaghara gị wee họrọ ya mgbe ị na-ebugharị igwe mebere. Họrọ 'Wụnye CentOS 7' dị ka egosiri.

2. Họrọ Asụsụ, ndabere ga-abụ Bekee, wee pịa nọgide.

3. Nhọrọ Software - Họrọ 'Nwụnye Obere' wee pịa 'Emela'.

4. Tọọ mgbọrọgwụ paswọọdụ dị ka ọ ga-akpali anyị ịtọ.

5. Ebe nwụnye - Nke a bụ nzọụkwụ dị mkpa iji kpachara anya. Anyị kwesịrị ịhọrọ diski ebe OS kwesịrị ịwụnye, diski raara onwe ya nye kwesịrị ịhọrọ maka OS. Pịa 'Ebe ntinye' wee họrọ Disk, n'ime oge ọtụtụ diski ga-adị ebe ahụ, anyị kwesịrị ịhọrọ, 'sda' ka mma.

6. Nhọrọ nchekwa ndị ọzọ - Họrọ nhọrọ nke abụọ (M ga-ahazi nkebi) iji hazie nkebi metụtara OS dị ka/var,/var/log, /home, /tmp, /opt, /swap.

7. Ozugbo emechara, malite nrụnye.

8. Ozugbo e mechara nwụnye, malitegharịa ihe nkesa ahụ.

9. Nbanye n'ime ihe nkesa na ịtọ aha nnabata.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

N'ime edemede a, anyị agabigala usoro nrụnye OS na omume kachasị mma maka nkewa sistemụ faịlụ. Ndị a bụ ụkpụrụ nduzi n'ozuzu, dịka ọdịdị nke ọrụ si dị, anyị nwere ike itinye uche na ọtụtụ nuances iji nweta arụmọrụ kacha mma nke ụyọkọ ahụ. Atụmatụ ụyọkọ bụ nka maka onye nchịkwa Hadoop. Anyị ga-abanye miri emi n'ime ọkwa ọkwa OS na-achọsi ike na nchekwa nchekwa n'isiokwu na-esote.