آموزش سئو و بهينه سازي سايت

سئو در مشهد در دامنه خود به اين آدرس برويد: http://domain.com/robots.txt اگر نمي توانيد اين آدرس را پيدا كنيد، اين فايل دستوري را نداريد و بايد اين فايل را در هاست خود ايجاد كنيد. به بخش public_html ميزبان خود. و يك فايل متني با نام robots.txt ايجاد كنيد.
فايل robots.txt حاوي دستورالعمل‌هايي است كه به موتورهاي جستجو مي‌گويد به كدام بخش‌هاي وب‌سايت اجازه دسترسي دارند Ùˆ كدام‌ها مجاز نيستند. موتورهاي جستجوي معروف مانند Ú¯ÙˆÚ¯Ù„ØŒ بينگ Ùˆ ياهو از فايل هاي ربات پشتيباني مي كنند Ùˆ محتوا را بررسي مي كنند. خواندن اين راهنما اطلاعات زيادي در مورد نحوه ايجاد فايل robots.txt وب سايت Ùˆ فايل ربات وب سايت شما ارائه مي دهد. از جمله اهميت آن در سئو، مطالعه اين مقاله به شما كمك مي كند تا فايل robots.txt وب سايت خود را ايجاد Ùˆ بررسي كنيد Ùˆ آن را مطابق با ساختار وب سايت خود تغيير دهيد.
فايل ربات سايت كجاست؟
فايل robots.txt هميشه در پوشه اصلي وب سايت شما (Public_html) قرار دارد. بنابراين اگر سايت شما www.example.com است، فايل robots.txt بايد در example.com/robots.txt پيدا شود. به عنوان مثال، فايل robots.txt براي وب سايت Digital Ladder Group در اينجا قابل مشاهده است.
نمايه سازي بهينه سازي بودجه: معمولاً اعتقاد بر اين است كه وقتي ربات هاي موتورهاي جستجو دوباره از سايت شما بازديد مي كنند، مي توانند تعداد محدودي صفحه (منابع و زمان محدود) را ببينند. اين ارزش اعتباري تعداد صفحات سايت شما است. كارشناسان سئو اين محدوديت را بودجه نمايه سازي مي نامند.
اگر فكر مي كنيد بودجه خزيدن سايت شما با مشكل مواجه شده است، مي توانيد از خزيدن موتورهاي جستجو در قسمت هاي كمتر مهم سايت شما جلوگيري كنيد تا بودجه خزيدن شما را از دست بدهند. با بهينه سازي فايل ربات، موتورهاي جستجو از جمله گوگل به جاي صفحات كم اهميت، شروع به بررسي صفحات مهم وب سايت مي كنند.
معايب robots.txt چيست؟
نوشتن ليستي از سايت هاي مسدود شده امكان پذير است: در حالي كه مي توان با ايجاد تغييراتي در فايل robots.txt به خزنده هاي موتورهاي جستجو گفت كه به كدام قسمت از سايت اجازه دسترسي ندارد، شما نمي توانيد فايل robots.txt را تغيير دهيد. txt از نمايش سايت هاي ممنوعه در نتايج جستجوي گوگل جلوگيري كنيد. در صورت وجود لينك به صفحات ممنوعه در صفحات ديگر يا وب سايت هاي ديگر، صفحه مربوطه نمايش داده مي شود، اما از آنجايي كه طبق فايل robots.txt، خزنده گوگل به محتواي صفحه دسترسي ندارد، صفحه درخواستي نمايش داده مي شود. بدون هيچ توضيحي در نتايج جستجو مانند تصوير زير نمايش داده مي شود.
اگر قصد داريد صفحه اي را با خيال راحت از نتايج جستجو حذف كنيد، بايد از تگ noindex در صفحه مورد نظر استفاده كنيد. براي ديدن اين تگ، بايد به موتور جستجو اجازه دهيد تا صفحه را بخزد و اين تگ را ببيند، بنابراين بهتر است صفحه را در robots.txt مسدود نكنيد.
جمع بندي
عدم توانايي در توزيع اعتبار لينك: اگر موتور جستجو نتواند سايت را ايندكس كند، امكان توزيع اعتبار لينك به لينك هاي آن سايت وجود ندارد. هنگامي كه يك سايت در فايل robots.txt مسدود مي شود، نتيجه نهايي براي روبات هاي موتور جستجو مي شود و اعتبار پيوند نمي تواند به سايت و ساير صفحات پيوند شده از سايت مسدود شده توزيع شود.
دستور block يكي از پركاربردترين دستورات در فايل robots.txt است. اين قانون صفحه يا صفحاتي را مشخص مي كند كه مرورگرهاي وب نمي توانند به آنها دسترسي داشته باشند. بايد تكرار كنيم كه استفاده از اين قانون فقط صفحات را مخفي مي كند تا ربات ها نتوانند آنها را پيدا كنند و كاربر با كليك بر روي لينك اين صفحات به سايت مراجعه كند يا اين صفحات نيز در نتايج جستجو ليست شوند.