原因

rmdir によるディレクトリ削除などのディレクトリ操作は、空ディレクトリに対してのみ実行できます。