Robots.txt Generator
免費 Robots.txt 產生器
無需從頭編寫程式碼，即可為您的網站建立正確的 robots.txt 檔案。
這個免費工具可協助您建立規則，告訴搜尋引擎機器人您網站的哪些部分可以檢索，以及哪些區域應該略過。填入選項、產生檔案，然後將其上傳到您網站的根目錄。
什麼是 robots.txt 檔案？
Robots.txt 是一個簡單的文字檔案，位於您網站的根資料夾中（例如：https://yoursite.com/robots.txt）。
當 Google 等搜尋引擎造訪您的網站時，它們會尋找這個檔案，以了解針對不同機器人提供的檢索指示。
您可以使用它來：
- 允許檢索重要頁面
- 封鎖私人、管理員或重複的區段
- 引導機器人前往您的 XML 網站地圖
- 減少大型網站上不必要的檢索
它不會向使用者隱藏頁面，也不是安全工具。它僅提供可能被合規的搜尋引擎機器人遵循的檢索指示。
為什麼您可能需要 Robots.txt 檔案
並非每個小型網站都需要複雜的 robots.txt，但在以下情況下它會非常有用：
- 您有不想被檢索的管理員或登入頁面
- 您的網站產生許多重複或篩選過的 URL
- 您想要管理測試或預備區域的檢索
- 您經營一個大型網站並希望管理檢索活動
- 您使用 WordPress 並希望管理對某些系統資料夾的存取權
一個編寫良好的 robots.txt 檔案可以幫助搜尋引擎將檢索重心放在您希望它們存取的網站區域上。
如何使用此產生器
- 選擇所有機器人的預設行為（允許或不允許）。
- 如果需要，請新增檢索延遲（選填）。
- 如果您有網站地圖 URL，請輸入它。
- 如果您想要不同的規則，請選擇特定的搜尋引擎。
- 新增您想要封鎖的任何目錄或路徑。
- 產生檔案。
- 複製文字並將其儲存為
robots.txt。 - 將檔案上傳到您網站的根目錄。
上傳後，在瀏覽器中開啟 https://yourdomain.com/robots.txt 並檢查檔案是否正確載入。您也可以使用 Google Search Console 的網址檢查工具來檢查 Google 是否可以存取特定的 URL。請記住，robots.txt 控制的是檢索，並不會直接從 Google 的搜尋結果中移除頁面。
需要記住的重要事項
- 一個小錯誤可能會封鎖重要頁面使其無法被檢索。
- 上傳前請務必再次檢查產生的規則。
- 切勿使用 robots.txt 來隱藏敏感內容。請改用適當的密碼保護或適當的 noindex 控制項。
- Robots.txt 與 XML 網站地圖相輔相成，但用途不同。
- 上傳新的 robots.txt 後，請給搜尋引擎一些時間來注意到這些變更。
常用指令簡單說明
| 指令 | 其作用 |
|---|---|
| User-agent | 指定規則適用於哪個機器人。 |
| Disallow | 封鎖頁面或資料夾以防止檢索。 |
| Allow | 允許存取頁面或路徑，這對例外情況很有用。 |
| Sitemap | 告訴搜尋引擎機器人您的 XML 網站地圖位於何處。 |
| Crawl-delay | 建議在檢索器請求之間暫停。支援程度可能因搜尋引擎而異。 |
相關免費工具
注意事項
此產生器根據您所選的選項建立標準的 robots.txt 檔案。在發布之前，請務必仔細審查最終的程式碼。不正確的規則可能會阻止搜尋引擎存取您網站上的重要內容。