クローラは、コード・セットを使用してクロールしたURLの結果を示します。標準のHTTPステータス・コードに加え、HTTP以外の場合には独自のコードを使用します。ステータスが200のURLのみ索引付けされます。
URLのステータス・コードを次の表に示します。
| コード | 説明 |
|---|---|
| 200 | URL OK |
| 400 | 不正なリクエスト |
| 401 | 認可が必要 |
| 402 | 支払が必要 |
| 403 | アクセス禁止 |
| 404 | 見つからない |
| 405 | メソッド使用不可 |
| 406 | 受入れ不可 |
| 407 | プロキシ認証が必要 |
| 408 | リクエスト・タイムアウト |
| 409 | 矛盾 |
| 410 | 存在しない |
| 414 | リクエストURIが長すぎる |
| 500 | 内部サーバー・エラー |
| 502 | 不正なゲートウェイ |
| 503 | サービスが使用できない |
| 504 | ゲートウェイ・タイムアウト |
| 505 | HTTPバージョンがサポートされていない |
| 902 | ドキュメントの読込みタイムアウト |
| 903 | フィルタリングの失敗 |
| 904 | メモリー不足エラー |
| 905 | URL処理中のIOEXCEPTION |
| 906 | 接続が拒否された |
| 907 | ソケット・バインド例外 |
| 908 | フィルタを使用できない |
| 909 | 重複したドキュメントが検出された |
| 910 | 重複したドキュメントが無視された |
| 911 | 空のドキュメント |
| 951 | URLがクロールされない(特定のドキュメントに索引付けしないようにrobots.txtが指定されている場合に発生することがある) |
| 952 | URLがクロールされた |
| 953 | メタ・タグ・リダイレクション |
| 954 | HTTPリダイレクション |
| 955 | ブラック・リストURL |
| 956 | URLが一意でない |
| 957 | 監視URL(プレース・ホルダーとしてのURL) |
| 958 | ドキュメントの読取りエラー |
| 959 | フォーム・ログインの失敗 |
| 1001 | データ型がTEXT/HTMLでない |
| 1002 | ネットワーク・データ・ストリームが壊れている |
| 1003 | HTTPリダイレクト・ロケーションが存在しない |
| 1004 | 関連URLが不正 |
| 1005 | HTTPエラー |
| 1006 | HTTPヘッダーの解析エラー |
| 1007 | 無効なURL列名 |
| 1008 | JDBCドライバがない |
| 1009 | テキスト・ドキュメントとしてレポートされたバイナリ・ドキュメント |
| 1010 | 無効な表示URL |