Robots.txt 文件應(yīng)放在哪里？

robots.txt 文件必須放在網(wǎng)站的根目錄。

放在子目錄的 Robots.txt 文件搜索引擎不能爬取到，所以不會起任何作用。

如：

http://m.carpetcleaningfresno-tx.com/robots.txt    是有效的。

http://m.carpetcleaningfresno-tx.com/a/robots.txt  是無效的。

以下3種情況需要注意：

1、如果手機網(wǎng)站采用的是m.的二級域名，要給手機網(wǎng)站設(shè)置robots.txt的話，robots.txt要放在m. 這個二級域名的根目錄下，而不是www的根目錄。

2、給網(wǎng)站添加了一個站內(nèi)站，如果要屏蔽某鏈接，是在www根目錄下的robots里屏蔽，而不是給站內(nèi)站創(chuàng)建獨立的robtos.txt文件。

3、網(wǎng)站有多個二級域名的話，應(yīng)該每個二級域名設(shè)置一個robots.txt。搜外問答的例子，點擊查看。

擴展閱讀：

robots.txt概念和10條注意事項