Em vez de declaramos a variável a como sendo um array de inteiros, declaramos a como sendo um apontador para um inteiro. A idéia é que a vai ser o endereço do primeiro elemento do array.

Concentrem-se na linha do programa que tem o malloc. A linha tem um aspecto feio mas não é nada de complicado.

      a = (int *) malloc( n * sizeof(int) );

A função malloc tem um argumento que é o número de bytes de memória que pretendemos utilizar. Se quisermos guardar n inteiros temos de pedir n vezes o número de bytes que cada inteiro ocupa.

O número de bytes que cada inteiro ocupa é dado por sizeof(int) No caso geral, sizeof(T) dá o número de bytes que uma variável do tipo T ocupa.

Aquilo que o malloc retorna é o endereço do primeiro byte do bloco de memória que foi pedido. Caso não haja memória, o malloc retorna NULL.

O (int *) que aparece antes do malloc é necessário porque a variável a é um apontador para inteiro. No caso geral, se quisermos alocar memória para um array de n elementos de um tipo T temos de fazer assim:

      T *a;
      a = (T *) malloc( n * sizeof(T) );

Bibliografia

DEL - Departamento de Engenharia Eletrônica e de Computação da Escola Politécnica da UFRJ
http://www.gta.ufrj.br/~celio/classes/eel670/referencias.html

Curso da Engenharia Elétrica da UFMG
http://ead1.eee.ufmg.br/cursos/C/