gildot

Topo
Sobre
FAQ
Tópicos
Autores
Preferências
Artigos
Sondagens
Propor artigo


8/3
gildicas
9/30
jobs
10/9
perguntas
10/25
press

 
Cluster só pra mim
Contribuído por scorpio em 24-12-01 9:09
do departamento blue-clusters
Hardware Gimp escreve "Pois é, para meu contentamento tenho aqui na empresa um cluster formado por dois IBM netfinity 5000 PII 350 Mhz à minha mercê. Como nunca tive uma oportunidade destas, achei interessante descrever os sucessos e os insucessos e já agora obter ajuda do pessoal. As ligações tão-me a deixar siderado. As boards são bi-processador mas numa das slots de cada board tem uma placa que me parece ser uma controladora(desculpem as gafes mas tou a ver e a mexer nisto pela 1a vez como tinha dito)... "
Estão disponíveis 5 discos ESP(?)que presumo sejam um RAID. Peguei em todos os Cd que tenho aqui, desde um RH 6.2(salvo erro),7.0, 7.1 e Mandrake 8.0. O 6.2 e o 7.0 começam a detectar e a carregar os módulos para a Adaptec(dá para ver as luzinhas a piscar na placa), mas de repente congela e dá um kernel panic.

Para começar estou a proceder como faria numa instalação normal, mas desconfio que devo instalar o kernel com suporte smp. usandos os outros CD ocorre o mesmo tipo de erro. Quando vai a montar o cd para começar a instalação diz que não há um cd na drive(RH) ou que o cd não é uma distro válida(Mandrake). Já agora, este último detecta o IBMServeRaid.

Qualquer sugestão é bem-vinda.

P.S. Já comecei a dar uma olhada no projecto Vitara.

Megabytes vs. Mebibytes | Boas Festas  >

 

gildot Login
Login:

Password:

Referências
  • Mais acerca Hardware
  • Também por scorpio
  • Esta discussão foi arquivada. Não se pode acrescentar nenhum comentário.
    Correcções e frustração (Pontos:2)
    por Gimp em 24-12-01 10:17 GMT (#1)
    (Utilizador Info)
    O sistema de discos é EXP e não ESP. Stardate: após várias abordagens, chego à conclusão que tenho que encomendar o ServerGuide, cd de pré-instalação, à IBM. O que acontece é que o meu RH 7.1, depois de selecionar a lingua e o teclado não consegue montar o cd(CD-R). Mudei o cd, tentei instalar a partir do disco, nada. Depois de receber o cd a ver se a coisa vai.


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    Re:Correcções e frustração (Pontos:3, Esclarecedor)
    por xeon em 24-12-01 15:21 GMT (#2)
    (Utilizador Info) http://pthelp.org
    Os discos sao uma 'storage', ou seja sao partilhados por ambas as maquinas ?
    Se sim, provavelmente teras que reconfigurar as controladoras RAID em ambas as maquinas assim como a controladora da storage para 'cluster mode'

    Sem isso, nada feito ...

    Re:Correcções e frustração (Pontos:2)
    por Gimp em 26-12-01 12:45 GMT (#4)
    (Utilizador Info)
    Lamento só agora estar a comentar mas fui "convidado" a não ligar o PC até ao dia de hoje 8). Pelos vistos o facto de estar em cluster já de si é um problema. Ler os readme dos updates dos drivers também deixa no ar que devia ter feito os tais updates antes de tentar fazer a instalação. E parece-me realmente que se não tenho os tais cdrom ServerGuide da IBM vou ter a coisa negra. Para já, bute lá nos updates. Obrigado pelas sugestões.


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    Re:Correcções e frustração (Pontos:2)
    por xeon em 26-12-01 12:59 GMT (#5)
    (Utilizador Info) http://pthelp.org
    Nao necessitas dos 'tais' CD's da IBM para absolutamente nada (pelo menos eu ja' instalei linux nuns quantos Netfinity e nunca precisei...)

    Se as maquinas estao em cluster com uma 'storage' partilhada (por scsi, suponho), tens 3 passos a dar:

      - Configurar o hardware de ambas as maquinas e do storage para "cluster type" (inclui alteracoes de scsi channel nas maquinas, etc)

      - instalar cada uma das maquinas com a outra em power down

      - procurar software para o tipo de cluster que estas a usar (failover ou active/active) para linux (partilha o que encontrares, sim ? :-) )

    Hope this helps ...

    --
    If you only have a hammer, you tend to see every problem as a nail
    Re:Correcções e frustração (Pontos:2)
    por Gimp em 26-12-01 13:25 GMT (#6)
    (Utilizador Info)
    Yamm, este post é deveras interessante ;-).

    Se as maquinas estao em cluster com uma 'storage' partilhada (por scsi, suponho), tens 3 passos a dar:

    Quase de certeza 8).

    - Configurar o hardware de ambas as maquinas e do storage para "cluster type" (inclui alteracoes de scsi channel nas maquinas, etc)

    Isto é obscuro pra mim :). Faço isto com os cds que vêm com os Netfinity? Fiz também download dos updates.

    - instalar cada uma das maquinas com a outra em power down

    Canja :)

    - procurar software para o tipo de cluster que estas a usar (failover ou active/active) para linux (partilha o que encontrares, sim ? :-) )

    Exemplifica ou explica p.f. . O que encontrar faço logo um reply.


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    Welcome to the world of Clustering (Pontos:2)
    por MavicX em 26-12-01 16:20 GMT (#7)
    (Utilizador Info)
    Bem eu nunca montei nenhuma cluster em netfinity.

    Mas em qualquer lado clustering é complicado quer de instalar quer administrar. Existe muitos tipos de clustering solutions cada uma boa para certas coisas desde Beowulf a Mosix ou LVS. Antes de tentar instalar qualquer coisa precisas de algum conhecimento teorico sobre clustering. Ou seja vais ter de ler muito.

    Mas não esperes que vai ser facil ou parecido com instalar um Linux num single computer. Mas vai valer a pena.

    Olha encontrei um bom paper sobre netfinity's e linux clustering (alguma teoria) que te pode ajudar a começar, lê o primeiro capitulo:

    http://www.redbooks.ibm.com/redbooks/SG245994.html

    Boa sorte e muito trabalho :-)
    Re:Welcome to the world of Clustering (Pontos:2)
    por Gimp em 26-12-01 16:57 GMT (#8)
    (Utilizador Info)
    O problema é que fiz a típica abordagem: mexer sem ler eheheh. Umas das máquinas tá meio louca(leia-se "acho que fiz cagada"), na outra consegui fazer bem os updates. Quanto aos cds de instalação que vêm com os servidores e obsevando a actividade dos meus colegas com o AS400, julgo que terei que obter os updates dos mesmos. É que com hardware deste tipo, e em especial da IBM, um gajo tem sempre que andar com estas cenas atrás.


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    Mais alguma Info (Pontos:2)
    por MavicX em 26-12-01 17:04 GMT (#9)
    (Utilizador Info)
    Olha o minha clustering solution favorita é o Mosix porque permite um misto entre aumento de performance e load balancing, e a unica coisa que precisas de fazer é instalar ums kernels patches.
    Consegues uma cluster sem grande trabalho.

    A Beowulf é sem duvida a mais interessante para ganhos de performance, a maior parte dos filmes renderizados em Linux com +1000 nodes usam este tipo de cluster. O downsize é que precisas de escrever (ou estarem escritas) as aplicações em MPI ou PVM ou seja se não sabes programação paralela ou usar algum programa que a use esqueçe beowulf.

    Por ultimo LVS (Linux Virtual Server) que é a mais interessante e provavelmente a mais usada
    que te permite por exemplo uma grande "Availability" ( se um servidor vai abaixo, o outro toma o seu lugar) É neste tipo de clustering que algumas distros especiais de Linux são basiadas Red Hat HA Server ou o TurboLinux Cluster Server.

    Existem muitas outras soluções de clustering mas essas são as mais interessantes e opensource.

    Esse paper que te dei anteriormente fala principalmente da LVS e até tem os paços para instalares o RED HA e o Turbolinux. Está muito bom mesmo. Existe uma versão pdf tambem http://www.redbooks.ibm.com/pubs/pdfs/redbooks/sg245994.pdf )

    Aqui ficam algums link's :

    http://www.mosix.org/
    http://www.beowulf.org/
    http://www.linuxvirtualserver.org/

    Quanto ao Raid sorry mas não sei como configura-lo para clustering nunca trabalhei com ele mas não deve ser complicado.

    P.S. Desculpa não ter podido ajudar mais cedo, mas sabes como é o Natal.

    Re:Mais alguma Info (Pontos:2)
    por Gimp em 26-12-01 17:32 GMT (#10)
    (Utilizador Info)
    Por ultimo LVS (Linux Virtual Server) que é a mais interessante e provavelmente a mais usada que te permite por exemplo uma grande "Availability" ( se um servidor vai abaixo, o outro toma o seu lugar)

    Gotcha! É isto a que aspiro :). Espero dar uma olhadela em breve nos links assim que conseguir fazer os updates na máquina que está marada. Muito obrigado a todos pelo feedback.


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    clusters netfinity (Pontos:1)
    por _Mordor_ em 27-12-01 0:56 GMT (#11)
    (Utilizador Info) http://www.plug.pt/
    Eu ja' instalei varios clusters sobre Netfinity e não tive nenhum problema em nenhum deles, desde o RH 6.2, ao RH 7.1+SGI XFS, e mais recentemente com o RH 7.2.

    Quanto a' storage e' outro caso totalmente diferente. Pelo que disseste, parece-me que estas a tentar usar uma EXP300 para storage, e que em cada maquina tens um controlador ServeRAID. Isso nunca te vai funcionar, isto e', teres ambas as maquinas a ver os mesmos discos. Essa controladora nao da' para fazer isso em Linux (resposta da IBM depois de eu e os tecnicos deles termos perdido bastante tempo a tentar o impossivel).

    Solução: comprei uma storage externa parecida com essa, que tem 2 controladores SCSI internos ja' com RAID, que não e' da IBM (eles vao-te tentar vender a FAST200 ou qq coisa assim que e' fiber channel), e que fica mais barata com os discos (5 de 18Gb) que o preço da storage exp300+2 ServerRAID sem discos. Depois para meter ambas as maquinas a ver a storage foi 15 min de configuracao da storage. Ou seja, não precisas dos ServeRAID para nada.

    Usei tambem o Heartbeat (www.linux-ha.org) para controlar qual delas funcionava como master e slave (por exemplo neste caso), pois este cluster foi para correr PortgreSQL. Finciona 'as mil maravilhas.

    Quanto ao RH nos netfinitys, nunca encontrei problemas de maior, excepto que uma serie teve que se trocar os leitores de cdrom, porque, espante-se, nao lia bem cds gravados :) Mas era um problema assumido por eles, e logo trocaram os cdroms.


    Re:clusters netfinity (Pontos:2)
    por xeon em 27-12-01 13:07 GMT (#12)
    (Utilizador Info) http://pthelp.org
    Antes de mais, ola' _Mordor_, long time no see :-)

    Agora uma perguntinha ...

    "Solução: comprei uma storage externa parecida com essa, que tem 2 controladores SCSI internos ja' com RAID, que não e' da IBM (eles vao-te tentar vender a FAST200 ou qq coisa assim que e' fiber channel), e que fica mais barata com os discos (5 de 18Gb) que o preço da storage exp300+2 ServerRAID sem discos. Depois para meter ambas as maquinas a ver a storage foi 15 min de configuracao da storage. Ou seja, não precisas dos ServeRAID para nada. "

    Nao entendi como e' que ligaste essa storage externa a ambas as maquinas. Fiberchannel ? Eth ? What ?

    Confesso que nao tenho nenhum cluster a correr em Linux, embora em Ruindow$ tenha varios 'a minha responsabilidade (chuif ...) , daih a minha 'experiencia' na parte de configuracao de hardware (que pode ser 'tricky' ... ja' tive uma 'discussao' de umas horas com 2 Dell que marraram com a storage ...) e a possibilidade de ter o cluster em load balancing em vez de failover sempre foi algo 'obscura' para mim, devido 'a dificuldade de 'partilha' da storage.

    Podes dar mais alguns pormenores sobre a tua implementacao com a storage externa ? Thx :-)

    --
    If you only have a hammer, you tend to see every problem as a nail

    Re:clusters netfinity (Pontos:2)
    por Gimp em 27-12-01 13:24 GMT (#13)
    (Utilizador Info)
    Ok. O feedback está a ser excelente 8). Acho que queimei um disco ao brincar às formatações :(, o que vale é que acho que temos aqui um para substituir. O EXP que temos aqui é o EXP15.

    Netfinity EXP15: This 10-bay storage enclosure represents the next generation of the popular Netfinity EXP10 storage expansion enclosure. With high availability in mind, the EXP15 was designed to include redundant and hot-swap hard drives, fans and power supplies. Supporting 182GB(3) of high-performance 10K RPM storage, the EXP15 is the perfect complement to the Netfinity Fibre Channel or SCSI solution. New features include: support for 40 MB/sec data transfers -- now -- over distances up to 12 meters, and in clustering applications, using a supported Ultra 2 adapter; larger power supplies - supports full configurations with full redundancy; systems management - temperature, fans, power supplies, and unit identification; improved two-way host adapter clustering.

    Os Netfinity 5000 são de início de 99, tipo 8659 , a classe não sei. Já agora, deixando de parte a PUB, qual foi o material que compraste?


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    Re:clusters netfinity (Pontos:2)
    por Gimp em 27-12-01 13:28 GMT (#14)
    (Utilizador Info)
    Ops, esquci-me, os cdrom por acaso eram os Sanyo? Para contornar isto tentei uma instalação por disco mas o gajo dizia que não encontrava as magens, o que também pode ter sido erro meu, só instalei uma vez por disco(eram IDE) e há já muiiiiitooo tempo.


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    Re:clusters netfinity (Pontos:2)
    por Gimp em 27-12-01 15:23 GMT (#15)
    (Utilizador Info)
    Update ao EXP15: encontrei esta mensagem na net, http://www.uwsg.iu.edu/hypermail/linux/kernel/0110.3/1706.html, e pelos vistos o tipo tinha dois EXP15 a funcionar. com a utilização de discos cruzada, 3 do EXP1, 4 do outro e vice-versa.


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    RedHat errata (Pontos:2)
    por Gimp em 27-12-01 19:09 GMT (#16)
    (Utilizador Info)
    Pelos vistos a leitura do CD dos updates deu os seus frutos. É indicado lá um url para o site da RedHat e voilá, começei a instalar o RedHat 7.0. Ok, ok, já sei que não é o melhor, mas por agora já tenho um sorriso nos lábios 8). Também tem lá uma img para o ServRaid que ainda vou experimentar. Já agora, do que li do Redbook da IBM este doc tá uma louocura. Aconselho.


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    Instalação (Pontos:2)
    por Gimp em 28-12-01 14:04 GMT (#17)
    (Utilizador Info)
    Bem, o que tinha observado confirmou-se. A instalação foi feita na pool de discos da storage. Isto em termos de performance é horrível, muito lento. Alguma ideia de como desligo o raio da EXP? Deixo aqui uma via para a utilização da EXP300:

    Pergunta: "Were you able to get your shared array working under linux?"

    Resposta: "Unfortunately not; what I ended up doing was to split the EXP300 into two separate arrays, and then sync them using DRBD and HeartBeat."


    "Gingó béu, gingó béu, gingó ól duei!" Gimp zZzZz

    A minha experiência (Pontos:1)
    por McB em 04-01-02 20:38 GMT (#18)
    (Utilizador Info)
    Viva
    Tive a sorte de fazer uma instalação de um cluster nuns netfinity xSeries 330, usando o Ultramonkey, que tem vários modelos de funcionamento.

    Usei um SuSE 7.0 com um kernel 2.4 nos directors (load-balancers) e um 2.2.16 de origem nos real servers (ver configuração aqui.)

    O Ultramonkey usa o protocolo Heartbeat para a verificar o funcionamento das maquinas de balanceamento de carga, e o Linux Virtual service para criar os serviços virtuais. A documentação está bastante bem explicada e para situações relativamente simples, consegue-se chegar lá sem problemas.

    Fazer uma coisa como deve ser dá uma trabalheira desgraçada, se tivermos em conta que necessita de configurações ao nivel de
    • kernel: uns patches para aceitar Linux Virtual Service
    • heartbeat
    • ldirectord (a aplicação que usa o LVS)
    • firewalling (para manter a transparência)
    • (e não me lembro de mais nada assim de repente! :)

    Pareceu-me a mim que o principal problema com a malta se deparou foi o stroage. Como usei discos diferentes, não tive qualquer problema. Não foram precisos updates nem nada que se pareça.

    O resultado final é de facto lindo, o menino distribui a carga pelas duas máquinas conforme o algoritmo escolhido.

    Resumindo: torna-se num trabalho complicado pela diversidade de áreas que abrange, pois os acabamentos tornam o trabalho "chatinho" :) Mas o resultado final é lindo: uma cluster com IP flutuante, sendo os IPs reais tapados por iptables, e estando os real servers numa rede fechada! Bonito!

    Yours,
    McB!
    They told me it need Windows 95 or better, so I chose Linux

     

     

    [ Topo | FAQ | Editores | Contacto ]