王族こそ敵国の城なんて政治絡みの理由付けで簡単に行き来できるでそ
騎士もそういう関係の護衛とかで随伴してる設定で行ける
一番むずかしいのは他国民だろうぬ