有時候有一些網頁不希望被搜尋引擎與爬衝進行索引，像是後台管理入口、訂單資訊等等不希望被索引的頁面。其實可以透過 HTML 中繼標籤來告知搜尋引擎爬蟲不要進行索引。當然如果可以，直接擋下權限是必要的手段，如果有一些不方便或業務邏輯上無法透過登入權限進行阻擋，那麼可以參考以下幾種方法：