對於SEO的處理上,在robots.txt的寫法中有一些技巧，今天我也才注意到。
比如有一個論壇，不希望蜘蛛去抓取內容，希望之允許蜘蛛爬首頁，這樣要如何做呢？
原先我就是一個簡單的句子，把所有的蜘蛛都遮罩在外，什麼頁面也不允許。
User-agent: *
Disallow: /
在學習了Google的幫助檔案後，瞭解到可以使用通配符來作模式匹配，以更好的達到目的。
就是用（*）做通配符，括弧內的星號。
User-agent: *
Disallow: /*?
上面這個寫法就可以，所有以域名開頭，斜杠後跟一串字元，中間有問號之後再由一串字元的網址都不允許抓取。
因為這個論壇使用的是phpbb，沒有使用什麼特別的靜態處理，所以各種網址中都含有問號，這樣就都遮罩了。而首頁是沒有問號的，就是一個功
能變數名稱，所以就會通過，可以抓取。
就是這樣，有問題，查看Google網站管理員的幫助檔會找到正式的答案。