Para quem vem do Windows e está bastante acostumado com ele, é importante salientar que a estrutura de diretórios do Linux não lembra nada (nada mesmo!) a estrutura de diretórios do Windows.
No Windows, há uma pasta somente somente para o sistema e o usuário pode organizar suas pastas como quiser. No Linux é totalmente o contrário.
O diretório raiz é todinho do sistema, e apenas a pasta /home é disponível para os arquivos pessoais do usuário.
Existem muitas outras diferenças, como para onde vão os programas instalados, e onde está o registro do Linux, com seus respectivos arquivos de instalação.
Vamos lá:
O diretório /bin armazena executáveis de comandos básicos do sistema, como tar, cat, rm, pwd, su, etc. Tem geralmente entre 5 e 10 MB;
No /usr (Unix System Resources) ficam realmente os programas instalados. É o diretório com mais arquivos em qualquer distro Linux, pois nele ficam os executáveis (/usr/bin; /usr/local/bin) e bibliotecas (/usr/lib) dos principais programas.
A pasta /boot armazena o kernel do Linux e arquivos usados pelo gerenciador de boot (Lilo, Grub, etc).
O diretório /dev (Devices) contém ponteiros para dispositivos de hardware. O /dev/mouse, por exemplo, contém informações enviadas pelo mouse.
O /etc é como se fosse o "registro" do Linux. Nele encontra-se os arquivos de configuração do sistema, que são todos arquivos-texto que podem ser editados manualmente com facilidade. Geralmente esses arquivos de configuração terminam com .conf.
A pasta /mnt (mount) geralmente serve como ponto de montagem para CDs (/mnt/cdrom), disquetes (/mnt/floppy), e outros dispositivos de armazenamento. Seu uso é apenas questão de organização. Você pode definir qualquer outro diretório como ponto de montagem.