د روبټو.txt فایل ستاسو د ویب پاڼې په جریان کې ذخیره شوي ویب پاڼې به د روبوټونو په څیر وپلټي لکه د لټون انجن مکالرونه کوم چې لارښوونې او فایلونه یې دوی ته لیږدول کیږي. د روبوټ.txt فایل څخه کار اخیستل آسان دي، مګر داسې شیان شته چې تاسو باید په یاد ولرئ:
- د تور ټایټ ویب روبوټ به ستاسو د robots.txt دوتنې غفلت کړي. تر ټولو عام ډولونه د مالوایټ بوټونه دي او روبوټونه د پوست لپاره د بریښنالیک پتې په لټه کې دي.
- ځینې نوي پروګرام کونکي به روبوټونه ولیکي کوم چې د روبوټ.txt فایل فلسفه کوي. دا عموما په غلطي سره ترسره کیږي.
- هرڅوک ستاسو د روبوټ.txt فایل وګورئ. دوی تل د روبوټس.txt په نامه یاديږي او تل د ویب پاڼې ریډ کې ذخیره کیږي.
- په پای کې، که څوک د یوې دوتنې یا ډایرکټر سره اړیکه ونیسي کوم چې د یوې پاڼې څخه د خپل robots.txt فایل لخوا لرې شوی وي چې د دوی د روبوټ.txt فایل لخوا نه ویستل شوي، د لټون انجن ممکن دا هم ومومي.
د هر څه مهم پټولو لپاره د robots.txt فایلونو کارول مه کوئ. پرځای یې، تاسو باید مهم معلومات د خوندي پاسورډونو تر شا وساتئ او یا یې په بشپړه توګه ویب وتړئ.
د دې نمونې دوتنې کارولو څرنګوالي
د نمونې څخه متن چې د هغه څه چې تاسو یې غواړئ نږدې وي، او دا په خپل robots.txt فایل کې پیټ کړئ. د غوره غوره تغیر سره د سمون لپاره د روبوټ، ډایرکټر، او فایل نومونه بدل کړئ.
دوه بنسټیز روبوټ.txt دوتنه
د کارن - استازی: *
رد کول: /
دا دوسیه وايي چې هر روبوب (د کارن-استازی: *) چې دا لاس رسی لري په دې پاڼه کې هر مخ بې برخې کړئ (Disallow: /).
د کارن - استازی: *
رد کول:
دا دوتنه وايي چې روبوب (User-agent: *) چې دا لاس رسی لري په دې سایټ کې هره پاڼه لیدل کیږي (Disallow:).
تاسو کولی شئ دا د خپل روبوټ.txt فایل فایل پریښودلو یا ستاسو په سایټ کې په یو څوک کې نه پریښودلو سره وکولی شئ.
د روبوټ څخه ځانګړي ډیری ځایونه خوندي کړئ
د کارن - استازی: *
رد کول: / cgi-bin /
رد کول: / temp /
دا دوتنه وايي چې روبوب (د کارن -:: *) کوم چې دا لاس رسی لري دا لارښودونه / Cgi-bin / and / temp / (Disallow: / cgi-bin / disallow: / temp /) لرې کړئ.
د روبوټو څخه ځانګړي پاڼې خوندي کړئ
د کارن - استازی: *
رد کړئ: /jennsstst.htm
رد کړئ: /private.php
دا دوتنې وايي چې روبوب (User-agent: *) کوم چې دا لاس رسی لري باید دوتنې /jennsstst.htm.htm او /private.php (Disallow: /jenns-stuff.htm رد کړئ: /private.php).
ستاسو د سایټ د لاسرسی څخه د ځانګړي روبوټ څخه مخنیوی وکړئ
د کارن - استازي: Lycos / xx
رد کول: /
دا دوسيه وايي چې د Lycos بوټ (د کارن-استازو: Lycos / xx) اجازه نشته چې په هرځای کې لاسرسي لاس ته راوړي (Disallow: /).
یوازې یو ځانګړی روبوټ لاس ته اجازه ورکړه
د کارن - استازی: *
رد کول: /
د کارن - استازي: Googlebot
رد کول:
دا فايل لومړی ټول روبوټونه لکه لکه چې پورته یې پورته کړل، مننه کوي، او بیا په واضح ډول Googlebot ته اجازه ورکوي (د کارن-استازی: Googlebot) هرڅه ته لاس رسی لري (Disallow:).
د هر اړخیزې پایلې ترلاسه کولو لپاره ډیری لیکو سره یوځای کړئ
پداسې حال کې چې دا د غوره کاروونکي نمايندګۍ خورا پراخه کرښه کاروي، لکه د کارن - استازو په څیر: *، تاسو کولی شئ ستاسو په څیر مشخص وي. په ياد ولرئ چې روبوټ د فايل په ترتيب لوستل کيږي. نو که چیرې لومړی کرښه ووایی چې ټول روبوټونه د هر شی څخه تړل شوي، او بیا وروسته په دوتنه کې وایي چې ټول روبوټونه هر څه ته لاسرسی لري، روبوټ به هر څه ته لاسرسۍ ولري.
که تاسو ډاډه نه یاست چې آیا تاسو د خپل robots.txt فایل په سمه توګه لیکلي یاست، تاسو کولی شئ د Google's Webmaster Tools وکارئ ترڅو خپل robots.txt فایل وګورئ یا نوی ولیکئ.