Por padrão, você não pode deletar um arquivo mas sim movê-lo para a lixeira e ai sim, deletar os arquivos.
Mas vamos dizer, que você tem CERTEZA que quer deletar alguns arquivos e nunca mais ver a cara deles. Como fazer de uma maneira mais rápida?
Siga os passos do Yoda:
Clique ALT + F2 e digite na janela que aparece:
gconf-editor
Então role a lista até:
apps --> nautilus --> preferences
Cheque a opção enable_delete.
Pronto. Agora você terá o item EXCLUIR no menu do botão da direita do arquivo. Mas atenção! Essa ação deleta mesmo e não vai para a lixeira.