Для того чтобы была возможность входить на сервер по ключам надо отредактировать файл /etc/sshd_config.
Добавить или поменять следующие настройки
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
И перезапустить сервер SSH:
service sshd restart