Robots.txt Generator
免費 Robots.txt 產生器
無需從頭編寫代碼，即可為您的網站建立合適的 robots.txt 檔案。
這個免費工具可助您建立規則，告訴搜尋引擎機械人（bots）您網站哪些部分可以檢索（crawl），哪些區域應該略過。填寫選項、產生檔案，然後將其上載到您網站的根目錄（root directory）即可。
什麼是 robots.txt 檔案？
Robots.txt 是一個簡單的文字檔案，放置在您網站的根資料夾中（例如：https://yoursite.com/robots.txt）。
當 Google 等搜尋引擎造訪您的網站時，它們會尋找此檔案，以了解針對不同機械人提供的檢索指示。
您可以用它來：
- 允許檢索重要頁面
- 封鎖私人、管理員或重複的區域
- 引導機械人前往您的 XML 網站地圖（sitemap）
- 減少大型網站上不必要的檢索
它不會向用戶隱藏頁面，也不是安全工具。它僅提供遵守規定的搜尋引擎機械人可能會遵循的檢索指示。
為什麼您可能需要 Robots.txt 檔案
並非每個小型網站都需要複雜的 robots.txt，但在以下情況下它會非常有用：
- 您有不想被檢索的管理員或登入頁面
- 您的網站產生了許多重複或經過篩選的網址（URLs）
- 您想管理測試或預備（staging）區域的檢索
- 您經營一個大型網站並希望管理檢索活動
- 您使用 WordPress 並希望管理某些系統資料夾的存取權限
一個編寫得當的 robots.txt 檔案可以幫助搜尋引擎將檢索重點放在您希望它們存取的網站區域上。
如何使用此產生器
- 為所有機械人選擇預設行為（允許或拒絕）。
- 如果需要，請新增檢索延遲（crawl-delay，選填）。
- 如果您有網站地圖（sitemap），請輸入其網址。
- 如果您需要不同的規則，請選擇特定的搜尋引擎。
- 新增您想要封鎖的任何目錄或路徑。
- 產生檔案。
- 複製文字並另存為
robots.txt。 - 將檔案上載到您網站的根目錄。
上載後，在瀏覽器中開啟 https://yourdomain.com/robots.txt，檢查檔案是否載入正確。您也可以使用 Google Search Console 的網址檢查工具來檢查 Google 是否可以存取特定網址。請記住，robots.txt 控制的是檢索，並不會直接將頁面從 Google 的搜尋結果中移除。
需要記住的重要事項
- 小小的失誤可能會封鎖重要頁面，令其無法被檢索。
- 上載前務必仔細雙重檢查產生的規則。
- 切勿使用 robots.txt 來隱藏敏感內容。請改用適當的密碼保護或適當的 noindex 控制項。
- Robots.txt 與 XML 網站地圖（sitemaps）相輔相成，但用途不同。
- 上載新的 robots.txt 後，請給予搜尋引擎一些時間來注意到這些變更。
常見指令簡單說明
| 指令 (Directive) | 作用 |
|---|---|
| User-agent | 指定此規則適用於哪一個機械人。 |
| Disallow | 封鎖某個頁面或資料夾，不允許檢索。 |
| Allow | 允許存取某個頁面或路徑，可用於設定例外情況。 |
| Sitemap | 告訴搜尋引擎機械人您的 XML 網站地圖位於何處。 |
| Crawl-delay | 建議機械人發出請求之間的暫停時間。不同搜尋引擎的支援程度可能會有所不同。 |
相關免費工具
附註
此產生器會根據您所選的選項建立標準的 robots.txt 檔案。發佈之前，請務必仔細檢閱最終代碼。不正確的規則可能會阻止搜尋引擎存取您網站上的重要內容。