Сама директория должна иметь права 700 (drwx------).
Закрытый ключ (id_rsa или id_dsa) должен иметь права 600 (-rw------).
Все остальные файлы в директории должны иметь права 644 (-rw------).
Все файлы должны принадлежать текущему пользователю и его группе.
chown -R $USER:$USER ~/.ssh
chmod 700 ~/.ssh
chmod 644 ~/.ssh/*
chmod 600 ~/.ssh/id_rsa ~/.ssh/id_dsa ~/.ssh/authorized_keys