 |
gildot |
 |
| |
| | Ideias para expandir um cluster de Linux. | | | A pergunta é a seguinte: já existem decerto outros em Portugal. Gostaríamos de colher e partilhar experiências, não temos segredos a esconder. Vamos até ao fim do ano iniciar um pacote que permite ligar os escravos conforme a solicitação do sistema, suspendendo-os se estes não forem solicitados (poupança de energia oblige, o nosso Reitor faz questão, e bem, nessa política.) Quem se quer associar connosco para partilhar conhecimentos? Para vossa informação fazemos o boot dos escravos com PXE, partilhamos o sistema mestre com clusternfs, ao contrário do CLIC. Cada módulo escravo custa menos de EUR 350 e o sistema tal como está já faz chorar as DEC alpha que temos. A autenticação é com NIS e o sistema suporta os sistemas MPI, PBS e GEXEC. A monitorização é realizada com ganglia e gmond. Posso fornecer mais pormenores se houver interesse manifesto nisso. < Why Windows is better than Linux | Linux no Banco Central do Brasil > | | gildot Login | | | Referências | | |
| Esta discussão foi arquivada. Não se pode acrescentar nenhum comentário. | | | Eu pessoalmente a partir deste mês deixei de tomar conta de um cluster muito semelhante do lab de visão da univ. do algarve e o pode-se ver o cluster na minha pag em w3.ualg.pt/~rsolivei e em http://w3.ualg.pt/~dubuf/calhau.html onde podes correr uma benchmark caseira e comparar a performance, já agora o sistema é baseado em debian woody mas sempre pensei que se perde performance à brava por estar compilado em i386 por isso acho que a opção mandrake foi a melhor, é claro que a construção do cluster foi num fim de semana o que influenciou a decisão :) a favor do debian
Boa sorte para o cluster e se quiserem contactar-me vejam na minha página o meu email
|
| | | | Da minha experiência em clusters posso fazer duas recomendações:
- Se possível optém por maquinas SMP
- Usem o openmosix, trabalha lindamente!
Mas claro, isto é tudo relativo, varia com o que se faz com o cluster.
Já agora fica a sugestão, porque não criar um site, ML, whatever, para reunir a comunidade de administradores de clusters em Portugal.
Se houver gente interessada, disponibilizo uma máquina para o efeito :-)
Se quiserem contactar, força.
Cumprimentos a todos!
|
| | | | | | | Amanhã envio uma mensagem ao GILDOT para reunir a malta. Posso abrir uma conta com um username e uma password para montarmos o site. Conto, é claro, com a vossa colaboração ao mantermos o site. Francisco Colaço
|
| | | | | Amanhã envio uma mensagem ao GILDOT para reunir a malta. Posso abrir uma conta com um username e uma password para montarmos o site. Conto, é claro, com a vossa colaboração ao mantermos o site. Mas se o Khaos está pronto para o site, não poderia estar mais de acordo. Francisco Colaço
|
| | | | | E para quando não houver muito que fazer, contem lá onde posso arranjar documentação simples para fazer um mini-cluster. Já agora, sem ser no Google :)
"Se vi mais além do que outro, é porque estava nos ombros de gigantes."
Sir Isaac Newton
|
| | | | | | "Já agora, sem ser no Google :)"
Que tal o renovado Altavista :-)
Pedro Esteves |
| | | | | Isso era fantástico, imagina qual foi o primeiro resultado? :)
"Se vi mais além do que outro, é porque estava nos ombros de gigantes."
Sir Isaac Newton |
| | | | Para fazeres um cluster caseiro e ver a diferença de desempenho, sem usares nenhuma aplicação feita de raiz para correr em cluster, instala o OpenMosix. Encontras muita documentação no site.
|
| | | | Ainda não vi bem o interesse de ter High Performance clusters 2-3 nodes ou mesmo meia duzia de nodes a não ser o puro prazer de fazer isso.
Só o que perdes em trabalho e em performance a paralelizar as aplicações para poupares meia duzia de minutos acho que não vale a pena.
Se querem fazer uma cluster que tal optarem como apareceu num artigo á pouco tempo, pelo grid computing. Podem meter um cliente em cada box do vosso departamaneto e correr as aplicações á noite quando não houver menos utilização. Sempre aprendem algo e fazem uma cluster poderosa .
Pedro Esteves |
| | | | | | Dá uma olhadela então no openmosix. Facilmente crias um COW (Cluster of Workstations) com pouco trabalho. Resume-se a aplicar um patch, recompilar o kernel e instalar as userland tools. A detecção de nós é feita automaticamente.
Cumprimentos.
|
| | | | Não percebes-te o que eu disse :-)
O que eu queria dizer é : Não ganhas nada em ter uma cluster com 2-3 nodes. Vale mais comprar um computador melhor (SMP de perferencia) e correr o processo sem pararelizar a aplicação e comprar mais computadores. Poupas dinheiro e trabalho.
O openmosix ainda é pior em termos de performance. Corre aplicações sem ser paralelizadas, mas perdes tanto em performance que niguem cria high performance clusters com openmosix. É um projecto interessante mas sem grandes aplicações practicas.
Pedro Esteves |
| | | | Não ganhas nada? Estas a dizer que ganho mais tempo em correr a aplicação numa única máquina do que num cluster que em 2 nodos|nós SMP, corre a aplicação em quase 1/4 do tempo do que corria antes (na mesma máquina sem paralelização e usando apenas 1 processador).
Realmente não te percebo, pq não fazes sentido!
É que tudo depende da aplicação... não se pode generalizar! A casos em que compensa e há casos que não.
|
| | | | | Pedro, primeiramente não sou informático. Sou engenheiro de formação (mecânico, mas a bordejar agora a electrotécnica). Não posso, portanto, dar-me ao luxo de beber a minha informação de fontes tão fidedignas como a PCW e a Exame Informática. Dito isto, e como já projectei alguns sistemas microprocessados, posso falar algo com alguma autoridade. Creio sinceramente que o cluster é mais poderoso do que a máquina GRID simplesmente porque para o mesmo nível de computação esta é mais cara que aquele. Ainda para mais num cluster a escalabilidade é aproximadamente linear (a memória é local, não te esqueças), e numa máquina com multiprocessadores esta é logaritmica (só um processador--- aliás, gestor de cache--- pode escrever na memória de cada vez). Como eu não posso senão medir as coisas sem me fiar no que me dizem os entendidos das revistas que nem para papel higiénicos servem, dada a aspereza do papel *couchon* ;-) (erro intencional). Francisco Colaço
|
| | | | Claro que não percebo, existe algum speed up, nem que baixo em usar um cluster, mesmo com 2/3 nodes. Quanto a ser necessario comprar maquinas, pode interessar juntar varias maquinas por si so inuteis para se ter alguma coisa mais vistosa em relação a performace. Para poupar minutos? isso é muito bom, o numero de vezes que corres uma aplicação com o tempo teoricamente creste para infinito, logo o tempo que poupas tambem. Mais uma coisa em termos de escalablidade não se pode dizer que uma maquina SMP é menos escalar que uma cluster. Depende das aplicações, da forma como estão feitas, e resolvidas as dependencias de dados. Num cluster existe apenas a possibilidade de trabalhar a nivel de abstração mais alto permitindo aumentar a escalablidade, não interessa a memoria, mas sim o que fazes com ela. É importante falar na velocidade da rede que limita a escalablidade dos clusters. Limitação essa que não existem em SMP, uma vez que a comunicação de dados é feita a velocidade dos barramentos.
Kata Ton Daimona Eaytoy |
| | | | | Quando fizémos este cluster tínhamos um dilema: EUR 1500 disponíveis. Ou comprávamos uma máquina quase moderna ou optávamos por uma solução cluster. Para o mesmo dispêndio o cluster é mais rápido. Esta é a questão. Motherboards com dois processadores e dois processadores e 1,25Gb de memória teriam custo maior do que EUR 1500, e não seriam por demais expansíveis. Ora, temos três processadores e ainda nos podemos dar ao luxo de reutilizar as motherboards como clientes quando as quisermos substituir. Mesmo se as não substituirmos, podemos expandir o cluster com EUR 350 por bloco (512Mb RAM, AMD Athlon 1,7 GHz, motherboard e placa de rede com PXE). Falamos em rendibilidade de investimento, logo proteção do dinheiro investido. É claro que se tivéssemos três mil contos disponíveis nem hesitaria em fazer um cluster igual, mas com mais escravos. Ou talvez uma COW com MPI ou openmosix. De qualquer forma, qualquer SMP custaria mais que EUR 1500, aquiesçam nisso. Além de que os três processadores são mais rápidos que uma máquina SMP com dois processadores. Este foi um desafio em que a solução que escolhemos é notoriamente superior. Pensem em termos de relação custo/desempenho, ou BANG or euro, se quiserem. Ou mesmo em desempenho absoluto, com um limite máximo de custos. Francisco Colaço
|
| | | | Não.. é mesmo nós e não nodos.
Miguel F. M. de Sousa Filipe
handle: m3thos
email: mmsf@rnl.ist.utl.pt
More Human than Human.
|
| | | | Não é verdade. Para o mesmo dispêndio, o cluster de diskless é sempre mais poderoso do que a máquina monolítica, visto que o escravo não corre senão o Fluent. Tenho a percepção de ganhos de velocidade a correr os modelos na ordem dos 100%, o que não conseguiria com um segundo processador, visto que é no raio do barramento que tudo se perde, especialmente qundo existe um processo de X a fazer updates na placa gráfica. De qualquer modo, a solução CLUSTER é melhor aquando da utilização de uma aplicação compilada com MPI. Aí só contesta quem não o experimentou. É claro que estamos a falar para o mesmo nível de gasto, uma preocupação que nós, docentes, temos que ter quando usamos o dinheiro dos contribuintes nas nossas próprias actividades de investigação. Se é a própria IBM a fazer um cluster de AMD e a colocá-lo na lista dos top 500, quem sou eu para os contarriar :-)
|
| |
|
