ChallengeResponseAuthentication yesになってませんか？
これは noにしないと駄目です。
こことか参照してください: http://www.unixuser.org/~euske/doc/openssh/book/chap5.html#disable-password-auth-systemwide

UsePAM よりは ChallengeResponseAuthentication no の方が本質的なので、
必ず ChallengeResponseAuthentication no とする必要があります。