CSV Comp DB -Teste de performance usando tabela de índices para uso em BIGDATA

gibroh@hotmail.c
(usa Lubuntu)

Enviado em 22/03/2016 - 16:03h

Neste tópico é apresentado uma ferramenta Benchmark Perfomance Tester útil para demonstração da performance do CSV Comp DB (e seu Framework) para aplicações em Big Data,Open Data.A máquina de teste é :
-Windows 7 32 bits
-1GB Ram
-2GHz
-Processador Atom intel

A base de dados em questão é uma Tabela em formato csv criada na própria ferramenta.Uma tabela com 5 campos e 10 mil registros foi criada e tambem a tabela de índices.Na arquitetura do CSV Comp DB,uma busca por índice pode ser feita e usa-se 2 tabelas,sendo uma para as chaves de busca dos ínidices e a tabela de dados apontados (BIGDATA.csv).O comando CQL usado na busca chama-se @indice e possui a seguinte sintaxe:

{

	C:\Distribuicao\BIGDATA;

	@indice;

	(C:\Distribuicao\INDEX_TABLE);

	(KEY_INDEX_OPTION_10000);

	0;0;

	query=0;

	destino=0

}

 

Neste código,a chave "KEY_INDEX_OPTION_10000" é buscada na tabela de índices e qual aponta a posição na tabela de dados BIGDATA.csv.No meu teste,várias buscas são feitas ao executar o script (query) CQL dentro de uma base de dados pre-instalada e temos os seguintes resultados em segundos:

Time elapsed: 0,888029
Time elapsed: 0,704415
Time elapsed: 0,510928
Time elapsed: 0,536180
Time elapsed: 0,459894
Time elapsed: 0,541786

Como bem sabemos,em sistemas Linux a performance pode ser melhorada consideravelmente.Em testes usando funções semelhantes a Full Scan (@algo) um sistema Linux é geralmente 4 vezes mais veloz.
A ferramenta para teste pode ser baixado no blog oficial da plataforma.