robots爬蟲協議(yì)，相(xiàn'γπ∏g)信很(hěn)多(duō)SEOer或個(gè)人(ré♦®£n)站(zhàn)長(cháng)都(dōu)不(bù)會♦≤₽(huì)感到(dào)陌生(shēng)，即使剛入行(xí↔÷ng)的(de)SEO小(xiǎo)白(bái)也(ε yě)略有(yǒu)耳聞。對(duì)于SEO←₩小(xiǎo)白(bái)來(lái)說(shuō)，隻是(shì)聽(tīn≈¶↔g)過robots爬蟲協議(yì)并不(bù)了(le)解robots協議(©'∞yì)真正意義和(hé)用(yòng)法。
　　什(shén)麽是(shì)robots☆α協議(yì)
　　robots(中文(wén)翻譯為(wèi)機←₹(jī)器(qì)人(rén))，robots協÷≥↕∏議(yì)即搜索引擎爬蟲協議(yì)，它是(shì)搜索引擎☆✘∞≈爬蟲與網站(zhàn)站(zhàn)點溝通(tōng)的(de)“÷≠橋梁”。網站(zhàn)站(zhàn)點通(tōngσ₽)過robots文(wén)件(jiàn)中的(de)聲明(€♦¥míng)規則明(míng)确告知(zhī)搜索引擎爬蟲哪些₹∑(xiē)文(wén)件(jiàn)/目錄可(kě)以抓取，哪¶α ¶些(xiē)文(wén)件(jiàn)/目錄不(♣÷bù)可(kě)以抓取。
　　注意：如(rú)果網站(zhàn)站(zhàn)點¶ ♦ 存在不(bù)希望搜索引擎爬蟲抓取收錄的(d÷ e)內(nèi)容是(shì)，才有(yǒu)必要(yào)創 •建robots.txt文(wén)件(jiàn);如(rú)果您希望搜索引₽÷ §擎收錄網站(zhàn)上(shàng)所有(yǒu €)內(nèi)容，則無需建立robots.txt文(wén)件(jiàn)。
 
 
　　robots.txt文(wén)件(jiàn)的(de)存放(fà ÷↑γng)位置
　　通(tōng)常，網站(zhàn)的(​§&¶de)robots.txt文(wén)件(jiàn)放☆£(fàng)置在網站(zhàn)根目錄下♠≤£¥(xià)，便于搜索引擎爬蟲第一(yī)時(shí)間(jiān)抓取ε€λ該文(wén)件(jiàn)。
 
　　robots.txt文(wén)件(jiàn)格式
　　1、robots文(wén)件(jiàn)通₹₹'(tōng)常包含以一(yī)條或多(duō)條☆€÷™User-agent開(kāi)始，後面‍÷>加上(shàng)若幹條Disallow或Allow。
 
　　2、User-agent:用(yòng)來($•×‌lái)描述搜索引擎robot的(de)名字。
 
　　3、如(rú)果存在多(duō)條User-agent✔₽♣φ記錄說(shuō)明(míng)有(yǒu)多(du♠₽εō)個(gè)robot會(huì)受到α→(dào)"robots.txt≠₹€"的(de)限制(zhì)，至少(shǎo)要(yào)有(y©β∏ǒu)一(yī)條User-agent記錄。
 
　　4、如(rú)果User-agent的(de)值設為(wèi<§©)*，則對(duì)任何robot均有(yǒu)效，且"User-aδΩ"gent:*"這(zhè)樣的(de)記錄隻能(néng)有(yǒ‍↕®u)一(yī)條。
 
　　5、如(rú)果有(yǒu)"Useσ≤  r-agent:SomeBot"和(hé)若幹Disal★'π♠low、Allow行(xíng)，那(nà)麽搜索引擎爬蟲名為(wèi)σ "SomeBot"隻受到(dào)"User✘★‍↔-agent:SomeBot"後♠ε<∑面的(de) Disallow和(hé)Allow行(xíng)的(de)限制↑α(zhì)。
 
　　6、Disallow:用(yòng)來(lái)描述不♠÷₽$(bù)希望被訪問(wèn)的(de)一(yī)組U ✘RL。
 
　　7、這(zhè)個(gè)值可(kě©$±♦)以是(shì)一(yī)條完整的(de)路(lε→↔ù)徑，也(yě)可(kě)以是(shì)÷ ®路(lù)徑的(de)非空(kōng)前綴，以Disallow項的(de)值開±®εδ(kāi)頭的(de)URL不(bù)會(huì)被 robot訪 ₩‌∏問(wèn)。
 
　　8、比如(rú)："Disallow:/he©™lp"這(zhè)條規則表示的(de)是(shì)禁止ro÷↔bot訪問(wèn)/help.html、/helpabc.htm≠γ‌l、/help/index.html等。
 
　　9、比如(rú)："Disallow:/help/"♣®  ;這(zhè)條規則表示的(de)是(shì)允許ro≥>‌bot訪問(wèn)/help.html、/he">lpabc.html，不(bù)能(néng)訪問(wèn)/hel✔↓§p/index.html。
 
　　10、"Disallow:"說('↓$§shuō)明(míng)允許robot訪問(wèn)該網站(zhàn)>÷Ω的(de)所有(yǒu)url，robots.txt文(wén)件(j≈€÷iàn)中，至少(shǎo)要(yào)有(yǒu)©α∑©一(yī)條Disallow記錄。
 
　　11、武漢網絡營銷如(rú)果網站(zhàn)根目錄下(xià)robots.txΩΩ↑αt不(bù)存在或者為(wèi)空(kōng)文(wén)件(ji× <∏àn)，則對(duì)于所有(yǒu)的(de)搜索引擎爬蟲來(lái)說↔★(shuō)，該網站(zhàn)都(dō£₩↓≥u)是(shì)開(kāi)放(fàng)的(de)。∞γ
 
　　12、Allow:用(yòng)來(lái)描述希望被訪問(wèn)¥$•的(de)一(yī)組URL。
　　13、與Disallow項相(xiàng)似，這(zhè)個(φε•gè)值可(kě)以是(shì)一(yī)條完整的(de)路(lù)徑，'≥也(yě)可(kě)以是(shì)路(lù±γ)徑的(de)前綴，以Allow項的(d<↓©∏e)值開(kāi)頭的(de)URL 是(shì)允許rob♣®∏αot訪問(wèn)的(de)。
 
　　14、比如(rú)："Allow:/hibaidu±©★Ω"這(zhè)條規則表示的(de)是(sγσhì)允許robot訪問(wèn)/hiba& €™idu.htm、/hibaiducom.html、/hibβσaidu/com.html。一(yī)個(gè)網站(zhàn)的λλ(de)所有(yǒu)URL默認是(shì)All↓₩γ₩ow的(de)，所以Allow通(tōng)常與D✘♠isallow搭配使用(yòng)，實現(xiàn)允許訪問©♣(wèn)一(yī)部分(fēn)網頁同時(sh≠✔®í)禁止訪問(wèn)其它所有(yǒu)URL的​∏$(de)功能(néng)。
 
　　15、使用(yòng)"*"and&qu♦≠ot;$"：Baiduspider支"↓σ持使用(yòng)通(tōng)配符"Ω±;*"和(hé)"$"©♠'來(lái)模糊匹配url("*" 匹配0或多(<≈duō)個(gè)任意字符，"€φ$" 匹配行(xíng)結束符)‍♦§。