ssh的Server refused our key的問題 - Linux

我的ssh使用的是rsa的key來登入
主機那邊的autorized_keys已經設成600了，ssh的資料夾也設成700

現在的情況是，如果這個帳號沒人登入，那我登入的時候就會出現
Server refused our key
如果在有人登入的情況下(用密碼登入)，我再登入的時候server就會接受我的key

有人有遇過這種奇怪的情況嗎?
我查看ssh的auth.log都沒有錯誤訊息...

--
鉛華洗盡,偎江感雲

--