Когда возникает необходимость использования различных SSH-ключей для работы с разными репозиторями нужно делать следующее (на Windows так точно, на Linux думаю также но не проверял): [далее будет показано на примере github]

Скопировать ключ в ~/.ssh:

$ mv id_rsa ~/.ssh/id_rsa.github

В файл ~/.ssh/config записать следующие строки (если файла нет то нужно его создать):

Host gitserv

Hostname github.com

IdentityFile ~/.ssh/id_rsa.github

IdentitiesOnly yes

Здесь IdentitiesOnly yes нужно для того чтобы предотвратить изначально отправку SSH ключа по умолчанию

После этого можно добавлять репозиторий:

$ git remote add origin git@gitserv:username/repo.git