IntroduçãoO desempenho de um sistema computacional pode ser medido através de uma série de parâmetros quantitativos e, eventualmente qualitativos, em um processo ao qual se dá o nome de análise de desempenho.
Através da análise, ou avaliação, de desempenho é possível comparar sistemas computacionais entre si, avaliar o custo-benefício de aquisição ou expansão de um sistema, avaliar, ou prever, o impacto de alterações na configuração do sistema para seu desempenho final. Também é possível aplicar as técnicas de análise em máquinas virtuais, comparando o desempenho do sistema virtualizado com o desempenho do sistema hospedeiro, ou de um sistema físico correspondente, bem como avaliar o ganho de desempenho de um cluster (aglomerado) computacional, em relação a um sistema componente do cluster individualmente.
Desta forma a análise de desempenho se torna importante para o planejamento estratégico e requer investimento de capital intelectual e, muitas vezes, também financeiro.
O mapa mental a seguir sintetiza alguns dos principais conceitos sobre a avaliação de desempenho:
 Os benchmarks são uma das principais ferramentas para avaliação de desempenho ao potencializar a comparação entre diferentes sistemas utilizando uma carga de trabalho padronizada que pode corresponder a uma utilização real, ou a um "stress" do sistema, realizando uma análise quantitativa.
As métricas a serem usadas para avaliar o desempenho de um sistema são muito importantes. Quais métricas você analisaria ao avaliar a compra de um carro novo, um aparelho de ar condicionado, ou uma geladeira? Aqui no Brasil os selos do Inmetro e, principalmente, do Procel (Programa Nacional de Conservação de Energia Elétrica - www.procelinfo.com.br e www2.inmetro.gov.br/pbe/) nos ajudam a entender a utilidade da avaliação de desempenho para comparação de sistemas e boas métricas. Para o desempenho de sistemas computacionais precisamos escolher as métricas adequadas. Talvez algumas delas também se enquadrem no selo da Procel, mas em geral a listagem incluirá muitas outras.
Existem diversos benchmarks disponíveis, muitos cuidadosamente elaborados para aplicações específicas, outros mais simples e talvez até pouco úteis. Existem benchmarks "free and open source" e outros caríssimos.
Há sites com resultados de benchmarks que podem ser úteis para comparação de desempenho de componente (microprocessadores, placas de vídeo, HDs, etc.) como o www.cpubenchmark.net e, especialmente, a listagem dos maiores supercomputadores em atividade no planeta, referência na área de HPC (High Performance Computing), o top500.org.
Uma "fragilidade" dos benchmarks é que eles podem não representar plenamente a aplicação a ser usada, ou a forma como o sistema será usado. Ao tomarmos as partes medidas pelo todo o resultado da avaliação pode não corresponder à realidade. É preciso ter uma boa ideia do profile (perfil) da aplicação ou do uso do sistema para escolher o benchmark ou os testes adequados. Outro ponto fraco é que sistemas e aplicações podem ser otimizadas para benchmarks "padrão" de forma a mascarar seu desempenho. Um bom exemplo é destacado na nota explicativa da "aposentadoria" do benchmark de JavaScript Optane (https://v8.dev/blog/retiring-octane). Os autores relatam que estavam sendo feitas otimizações para o código do benchmark e não para todas as aplicações, o que os levou a descontinuarem o projeto pois já haviam levado um grande benefício à comunidade ao incentivar a melhoria das "JavaScript engines", mas mantê-lo no ar começava a ser prejudicial. Resumindo o ponto, a análise quantitativa pode não corresponder à análise qualitativa!
É possível realizarmos alguns testes com benchmarks facilmente acessíveis. Seguem alguns exemplos para avaliação de desempenho de sistemas e também de redes. Ao final desta página há referências, bibliografia e links úteis.
Medindo o desempenho de sistemasDois programas muito populares para Windows que incorporam pequenas ferramentas de benchmark de CPU são a feramenta de compactação de arquivos open source 7zip (www.7-zip.org) e a ferramenta de identificação de hardware freeware CPU-Z (www.cpuid.com). No primeiro caso a métrica utilizada é MIPS, ou Milhões de Instruções Por Segundo, tanto para a compressão como para a descompressão, o que, aliado aos parâmetros que podem ser variados e as outras informações fornecidas é bastante compreensível e comparável, embora limitada a esse tipo de processamento. Já no caso do CPU-Z o resultado é um valor numérico de difícil interpretação. Por mais que seja possível comparar o resultado com uma referência no programa, ou outro sistema, não há muita informação sobre o que de fato esse número significa e seu uso deve ser feito com certa parcimônia.
Para avaliar o desempenho de discos no Windows a Microsoft disponibiliza a ferramenta DISKSPD em seu GitHub: https://github.com/microsoft/diskspd. Há também o Crystal Disk Mark, disponível em https://crystalmark.info/en/software/crystaldiskmark/.
O sysbench (System Benchmark) é muito popular no Linux e outros Unix, e pode ser usado até no Windows com o WSL. Há opções de teste de I/O (E/S), CPU, memória e outros. Alguns exemplos:
O hdparm serve para obter parâmetros e configurar discos nos sistemas Linux e também possui opções para a realização de testes de performance. Use:
O comando dd também permite realizar testes de disco. Na linha de comando o 7zip (7z b) permite testar o desempenho da CPU de forma similar à interface gráfica. Outros comandos Linux úteis para benchmark, ou simplesmente coleta de informações e estatísticas do sistema são procinfo, vmstat, iostat, mpstat e pidstat. O comando time permite avaliar o tempo de execução de um outro processo e vários outros parâmetros. Execute
time nomedoprograma. Na maior parte das distribuições haverá uma saída mais completa executando /usr/bin/time --verbose nomedoprograma. O kernel do Linux possui uma ferramenta de profiling e benchmark no comando perf, que pode ser usado por desenvolvedores para o profiling de seus códigos.Veja mais opções abaixo, na seção de links.
Medindo o desempenho de redePara avaliar o desempenho de redes o iPerf é uma ferramenta muito útil nos sistemas Unix e Linux. Se sua intenção é avaliar o desempenho da conexão com a Internet experimente a ferramenta do SIMET (https://simet.nic.br/projetos/) mantida pelo NIC.br. iPerf
A Lei de Ahmdal nos permite avaliar como a aceleração (ou melhoria) de uma parte específica de um sistema afeta o desempenho global do sistema e também abre caminho para discutir o equilíbrio de um sistema em termos de desempenho. Ela pode ser usada para avaliar uma melhoria dentro de um sistema, ou através de paralelismo em sistemas distribuídos como clusters e grids. Essa melhoria pode ser um simples upgrade, ou até uma nova tecnologia. A fórmula da Lei de Ahmdal é a seguinte:
 Um exemplo de aplicação prática da Lei de Ahmdal: Qual é o impacto no desempenho de um sistema na troca de um HDD por um SSD? Há algum tempo fiz o upgrade de um notebook trocando o HDD, que virou HD externo com um case USB 3.0, por um SSD. Antes e depois da troca usei alguns dos benchmarks de disco mencionados anteriormente. Calculando a média de algumas rodadas de benchmark o ganho de desempenho de disco médio foi de 7,67 vezes. Mas este é o ganho de desempenho obtido no disco!
Na minha avaliação qualitativa o desempenho realmente fez parecer um novo notebook. Usuário completamente satisfeito e isso importa muito. Mas, e quantitativamente!? Mas e se eu precisasse avaliar isso antes de fazer o upgrade para ter certeza que o investimento valeria a pena!? O custo realmente compensa o benefício? E se fosse uma situação menos óbvia do que a troca de um HDD por um SSD? Ou um sistema de maior porte ainda sendo projetado onde está sendo avaliada justamente as diferentes possibilidades de construção?
A Lei de Ahmdal acaba nos salvando dessas perguntas. Eu poderia obter o ganho de desempenho de disco através dos datasheets, antes de adquirir um dispositivo novo, por exemplo. E a aceleração geral dependerá do quanto o disco é usado no sistema. Geralmente em servidores isso é mais facilmente mensurável. Em sistemas desktop de múltiplos usos isso é literalmente uma incógnita. Aplicando então a Lei de Ahmdal tendo a aceleração usada como 7,67 e variando a parcela de aceleração utilizada de 0 a 90% obtém-se o gráfico abaixo.
 Note que se o uso do SSD chegar perto de 40% do uso do sistema, a aceleração geral já estará na casa de 50%. A aceleração geral já corresponderá ao dobro do sistema original se o uso do SSD se aproximar de 60% de uso do sistema. Ou seja, o impacto é realmente bastante relevante.
Seria possível levar esse exercício adiante comparando o "custo x benefício" de se fazer um upgrade de processador, ou mesmo avaliar se uma troca de peças ainda não compensa em relação a um computador completamente novo. Note, porém, que essas últimas perguntas já envolvem mais do que a Lei de Ahmdal, incluindo custos, ou requisitos mínimos para a realização de determinadas tarefas computacionais, por exemplo. Outra situação seria um upgrade da quantidade de memória principal (DRAM) que não traria uma aceleração direta, mas alteraria o balanço de uso de CPU, memória principal e memória secundária, diminuindo o uso desta última, geralmente mais lenta, e induzindo o aumento de desempenho a partir desse rebalanceamento.
Referências, bibliografia e links úteisOrientei um projeto de Iniciação Científica entre 2015 e 2016 sobre Análise de desempenho em máquinas virtuais. No trabalho foi avaliado e comparado o desempenho dos sistemas computacionais host e guest (virtualizado). O trabalho foi realizado, muito bem, diga-se de passagem, pelos hoje cientistas da computação Eder de Oliveira, Thais de Farias, Wilber Costa e Weine de Oliveira. Os resultados do trabalho foram apresentados na 7ª Escola Regional de Alto Desempenho de São Paulo (ERAD-SP), promovida pela SBC, com o título de "Análise de Desempenho de Máquinas Virtuais" e no 1º Seminário em Tecnologia da Informação Inteligente (SeTII), promovido pelo Programa de Pós-graduação em Informática e Gestão do Conhecimento (PPGI) da UNINOVE, com o título de "Análise de Desempenho de Máquinas Virtuais Executadas Simultaneamente em um Mesmo Sistema Hospedeiro", onde foi avaliado o desempenho com mais de uma máquina virtual em execução simultânea. O artigo do ERAD pode ser lido neste site em Publicações disponíveis, enquanto o do SeTII pode ser lido em http://www.setii.net/2016/anais-setii-2016-v01.pdf.
Nas bibliografias de Arquitetura de Computadores e Sistemas Operacionais há livros excelentes que abordam o tema de análise de Desempenho:
O site do Top500 traz um ótimo material sobre benchmarks em https://www.top500.org/resources/frequently-asked-questions/.
Nessa bibliografia indicada você também encontrará outros aspectos não abordados aqui nesta pequena introdução.
Mais links úteis de benchmarks:
Sobre o perf, ferramenta de profiling e benchmark do Linux, consulte https://perf.wiki.kernel.org, www.brendangregg.com/perf.html e www.pixelbeat.org/programming/profiling/.
Finalmente, o site especializado Opensourcetesting.org e o artigo da Wikipedia traz uma boa relação de benchmarks também.
|
Aulas > Arquitetura de Computadores >
