Objetivo:

Wikipedia [13] apresenta o termo benchmark como "ato de executar um programa de computador, um conjunto de programas e operações, afim de avaliar a performance relativa a um objeto".

Nos testes executados neste trabalho, o objetivo também foi o de avaliar a performance do software Varnish, simulando da melhor forma possível o ambiente da Internet, e comparar sua performance com a do Squid e ao Zope/Plone sem cache.

Para realização deste teste foi feita a instalação, no servidor, de uma aplicação Zope-Plone, em seguida, esta foi preenchida com algumas notícias, assim como funcionam os sites na Internet. Feito isto, foi selecionado, como massa de dados, um conjunto de 232 links referentes a carga completa de 5 páginas do portal criado. Para aferição dos testes, foi utilizado o software Siege simulando o acesso de 30 usuários simultaneamente às páginas Web. Cada teste durou 3 minutos e foi repetido uma vez, sendo ignorada a primeira execução, pois nesta execução o proxy ainda estava sem carga, fato que não aconteceria na Internet.

Descrição da infraestrutura:

Servidor:

• Servidor Dell 2960
• CPU 2x Intel Xeon E5410 Quad Core Processor @ 2.33GHz
• Memória 8Gb
• Linux Debian 5.2 Kernel 2.6.26-2-686-bigmem

Cliente:

• Notebook HP Compaq 2710b
• CPU Intel(R) Core(TM)2 Duo CPU T5470 @ 1.60GHz
• memória 2Gb
• Linux Ubuntu 8.04

Descrição do SO:

• Squid 3.0
• Varnish 2.0.4
• Zope 2.9
• Plone 2.5.5
• Siege 2.6.9

Após a conclusão dos testes, os resultados encontrados foram os seguintes:

Zope-Plone

Transactions:             11679 hits 
Availability:             100.00 % 
Data transferred:         70.22 MB 
Response time:            0.46 secs 
Transaction rate:         65.10 trans/sec 
Throughput:               0.39 MB/sec 
Concurrency:              29.91 
Successful transactions:  11499 
Failed transactions:      0 
Longest transaction:      6.56 
Shortest transaction:     0.06 

Squid

Transactions:             66458 hits 
Availability:             100.00 % 
Data transferred:         393.89 MB 
Response time:            0.08 secs 
Transaction rate:         370.78 trans/sec 
Throughput:               2.20 MB/sec 
Concurrency:              29.75 
Successful transactions:  65350 
Failed transactions:      0 
Longest transaction:      3.58 
Shortest transaction:     0.00

Varnish

Transactions:             300821 hits 
Availability:             100.00 % 
Data transferred:         1787.26 MB 
Response time:            0.02 secs 
Transaction rate:         1676.35 trans/sec 
Throughput:               9.96 MB/sec 
Concurrency:              29.97 
Successful transactions:  295664 
Failed transactions:      0 
Longest transaction:      3.01 
Shortest transaction:     0.00 

O primeiro número ressaltado nos testes é o de transações atendidas por segundo. Enquanto o Squid representou um crescimento de 569% em relação ao sistema sem cache, o Varnish apresentou um crescimento de 2575%, tendo uma performance em número de transações atendidas de 452%. Outro número que chama bastante a atenção é o tempo médio de resposta. Enquanto o Squid apresentou um número 575% menor em relação aos testes sem cache, o Varnish apresentou um número 2300% mais rápido tendo um ganho em relação ao Squid de 400%. Em abril deste ano, Li Cherife [14] publicou em seu Blog um teste de Benchmark envolvendo o Varnish 1.1.2, o Squid 2.6 e o Squid 3.0. Como infraestrutura, o Li conseguiu montar 3 servidores conforme descrição abaixo:

Um switch de 24 portas Gigabit D-Link 1024R.

Servidor Web:

• OS: Linux 2.6.21.5-smp i686 (Slackware 12.0)
• CPU: Intel(R) Xeon(TM) CPU 2.80GHz x 2
• MEM: 1024M x 6
• DISK: SEAGATE ST373405LC SCSI Disk
• Ethernet controller: Intel 82546EB PRO/1000 MT Dual Port Server Adapter

Servidor de proxy:

• OS: Linux 2.6.21.5-smp i686 (Slackware 12.0)
• CPU: Intel(R) Xeon(TM) CPU 3.06GHz x 2
• MEM: 1024M x 6
• DISK: RAID 5
• Ethernet controller: Intel Corporation 82546EB Gigabit Ethernet Controller

Cliente:

• OS: Linux 2.4.31 i686 (Slackware 10.2)
• CPU: Intel(R) Xeon(TM) CPU 2.80GHz x 2
• MEM: 1024M x 6
• Ethernet controller: Intel 82546EB Gigabit Ethernet Controller

Como massa de dados, Li utilizou um script em bash para criar 2 arquivos de 10mb, 1000 arquivos de 10kb e 10 arquivos de 1Mb. Para averiguação dos resultados, Li utilizou o software http_load, simulando 100 usuários acessando simultaneamente e fazendo ao todo 100.000 requisições à massa de dados de forma sequencial.

Os resultados obtidos foram:

Varnish
100000 fetches, 100 max parallel, 1.024e+09 bytes, in 14.7505 seconds
10240 mean bytes/connection
6779.43 fetches/sec, 6.94213e+07 bytes/sec
msecs/connect: 0.400918 mean, 11.452 max, 0.067 min
msecs/first-response: 14.0161 mean, 1779.32 max, 0.24 min
HTTP response codes:
code 200 - 100000 

Squid 2.6
100000 fetches, 100 max parallel, 1.024e+09 bytes, in 26.1771 seconds
10240 mean bytes/connection
3820.13 fetches/sec, 3.91181e+07 bytes/sec
msecs/connect: 0.497665 mean, 2990.79 max, 0.055 min
msecs/first-response: 21.0663 mean, 3018.84 max, 4.071 min
HTTP response codes:
code 200 - 100000 

Squid 3.0
100000 fetches, 100 max parallel, 9.85651e+08 bytes, in 102.375 seconds
9856.51 mean bytes/connection
976.8 fetches/sec, 9.62785e+06 bytes/sec
msecs/connect: 2.56114 mean, 91.428 max, 0.061 min
msecs/first-response: 27.8048 mean, 94.563 max, 1.288 min
3751 timeouts
3745 bad byte counts
HTTP response codes:
code 200 - 96255 

Nesse teste, a quantidade de transações atendidas por segundo do Varnish é superior ao número aferido utilizando o Squid 2.6 em 177%. Devido ao grande número de falhas por timeout encontrados, o tempo médio de requisições atendidas por segundo para o Squid 3.0 ficou muito comprometido. Observando os testes feitos por Li [14] e comparado-se com os testes executados neste trabalho, foi observado que, embora em ambos os testes os resultados do Varnish se mostrem muito superiores aos encontrados com o proxy Squid, os números do teste executado neste trabalham apresentam diferenças muito superiores aos encontrados do Li.

De fato, o Squid, por padrão, não realiza cache de requisições com cookies, requisições de páginas com variáveis post ou get, enquanto o Varnish possibilita ajustes finos em suas configurações para permitir o cache ao máximo.