Ի՞նչ է robots.txt ֆայլը

robots.txt ֆայլը հատուկ տեքստային ֆայլ է, որը տեղադրվում է կայքի արմատային թղթապանակում և օգտագործվում է որոնողական համակարգերի բոտերին (օրինակ՝ Googlebot) հրահանգներ տալու համար՝ որ էջերն ու թղթապանակներն են պետք կամ պետք չէ ինդեքսավորել։

Ինչո՞ւ է անհրաժեշտ robots.txt ֆայլը

1. Կայքի որոշ մասերը որոնման համակարգերին անհասանելի դարձնելու համար (օրինակ՝ ադմինիստրատիվ էջեր)
2. Սերվերի ծանրաբեռնվածությունը նվազեցնելու համար՝ սահմանափակելով որոշակի բոտերի հասանելիությունը
3. Կրկնվող կամ ոչ պիտանի բովանդակության ինդեքսավորումը կանխելու համար

robots.txt ֆայլի հիմնական սինտաքսը

Ֆայլի ձևաչափը պարզ է և բաղկացած է հետևյալ հրահանգներից․

    User-agent: *
    Disallow: /admin/
    Allow: /public/

1. User-agent: որոշում է, թե որ բոտին են ուղղված հրահանգները։ * նշանակում է՝ բոլոր բոտերին։
2. Disallow: սահմանում է այն ուղիները, որոնք արգելվում են բոտերին։
3. Allow: թույլ է տալիս կոնկրետ էջեր կամ թղթապանակներ, որոնք կարող են ինդեքսավորվել, նույնիսկ եթե վերևում կա Disallow հրահանգ։

Հիմնական օրինաչափություններ

Բոլոր բոտերին արգելել ամբողջ կայքի ինդեքսավորումը

    User-agent: *
    Disallow: /

Թույլ տալ բոլոր բոտերին ամբողջությամբ ինդեքսավորել կայքը

User-agent: * Disallow:

Արգելել որոշակի թղթապանակներ

    User-agent: *
    Disallow: /private/
    Disallow: /temp/

Թույլատրել որոշակի էջեր, արգելելով մնացածը

    User-agent: *
    Disallow: /
    Allow: /index.html

Հատուկ հրահանգներ միայն Googlebot-ի համար

    User-agent: Googlebot
    Disallow: /no-google/

Sitemap-ի ընդգրկումը robots.txt-ում

Եթե ունեք XML Sitemap, կարող եք այն նշել robots.txt ֆայլում՝ որոնողական համակարգերին տեղեկացնելու համար․

    Sitemap: https://example.com/sitemap.xml

Ինչպե՞ս ստուգել robots.txt ֆայլը

1. Google Search Console – Google-ի «Robots Testing Tool»-ը թույլ է տալիս ստուգել, արդյոք ձեր robots.txt ֆայլը ճիշտ է աշխատում։
2. Բրաուզեր – Պարզապես բացեք ձեր կայքի robots.txt-ը․ https://example.com/robots.txt