صفحات یتیم با اسکریمینگ فراگ راحتتر از چیزی که فکر میکنید پیدا میشوند اما یک نکته مهم وجود دارد: خزش عادی سایت بهتنهایی کافی نیست. چون این صفحات لینک داخلی ندارند، خزنده ابزار هم ممکن است هیچ مسیری برای رسیدن به آنها پیدا نکند. به همین دلیل باید اطلاعات چند منبع مختلف را کنار هم قرار دهید.
صفحات یتیم با اسکریمینگ فراگ خیلی وقتها همان صفحاتی هستند که برایشان زمان گذاشتهاید اما نه کاربر بهراحتی به آنها میرسد و نه گوگل مسیر مشخصی برای پیدا کردنشان دارد. این صفحات ممکن است در سایتمپ باشند، بازدید بگیرند یا حتی ایندکس شده باشند اما چون لینک داخلی مناسبی ندارند، در ساختار سایت گم میشوند.
در این راهنما مسیر شناسایی صفحات یتیم با اسکریمینگ فراگ را از تنظیم نقشه سایت تا اتصال سرچ کنسول و گرفتن خروجی نهایی توضیح میدهیم. همچنین یاد میگیرید کدام آدرسها واقعا نیاز به لینکسازی دارند و کدام صفحات باید حذف، ادغام یا نوایندکس شوند. برای شناخت کامل این نوع صفحات میتوانید ((محتوای یتیم)) را نیز مطالعه کنید.
منطق شناسایی صفحات یتیم در اسکریمینگ فراگ
برای پیدا کردن صفحات یتیم با اسکریمینگ فراگ باید ابتدا بدانیم ابزار چگونه صفحات سایت را کشف میکند. «اسکریمینگ فراگ» (Screaming Frog) معمولا خزش را از صفحه اصلی آغاز میکند و با دنبالکردن لینکهای داخلی به صفحات دیگر میرسد. اگر هیچ مسیر قابلخزشی به یک آدرس وجود نداشته باشد، آن صفحه در خزش عادی دیده نمیشود.
نکته مهم در بررسی صفحات یتیم با اسکریمینگ فراگ این است که یک صفحه میتواند از صفحه یتیم دیگری لینک داشته باشد و باز هم یتیم شناخته شود. معیار ابزار، وجود مسیر لینکدهی از نقطه شروع خزش است. برای کشف چنین آدرسهایی باید دادههای نقشه سایت اکسامال (XML Sitemap)، گوگل آنالیتیکس و سرچ کنسول را به خزش اضافه کرد.
پیشنیازهای شروع بررسی سایت
پیش از شروع کار روی صفحات یتیم با اسکریمینگ فراگ بهتر است نرمافزار را بهروز کنید و به نسخه دارای لایسنس دسترسی داشته باشید. نسخه رایگان در هر خزش تا ۵۰۰ آدرس را بررسی میکند و قابلیتهایی مانند اتصال به رابط برنامهنویسی کاربردی یا API و تنظیمات پیشرفته در آن محدود هستند.
همچنین باید به نقشه سایت، حساب «گوگل سرچ کنسول» (Google Search Console) و در صورت نیاز «گوگل آنالیتیکس» (Google Analytics) دسترسی داشته باشید. قبل از خزش مطمئن شوید نسخه درست دامنه را انتخاب کردهاید. تفاوت بین HTTP و HTTPS یا نسخه دارای www و بدون www میتواند گزارش را ناقص یا اشتباه کند.
فعالکردن نقشه سایت XML
اولین قدم عملی برای صفحات یتیم با اسکریمینگ فراگ اضافهکردن نقشه سایت به منابع خزش است. از مسیر Configuration > Spider > Crawl گزینه Crawl Linked XML Sitemaps را فعال کنید. ابزار میتواند آدرس نقشه سایت را از فایل robots.txt پیدا کند یا شما میتوانید آدرس آن را بهصورت دستی وارد کنید.
در بررسی صفحات یتیم با اسکریمینگ فراگ نقشه سایت نقش یک فهرست کمکی را دارد. گوگل توضیح میدهد که این فایل اطلاعات صفحات مهم و ارتباط میان فایلهای سایت را در اختیار موتور جستوجو قرار میدهد. بنابراین آدرسی که در نقشه سایت وجود دارد اما طی خزش داخلی کشف نمیشود، یکی از گزینههای احتمالی برای بررسی است.
برای انجام این مرحله، موارد زیر را کنترل کنید:
- گزینه خزش نقشه سایت فعال باشد.
- آدرس سایتمپ به نسخه اصلی دامنه مربوط باشد.
- فایل نقشه سایت بدون خطای دسترسی باز شود.
- آدرسهای قدیمی و ریدایرکتشده از سایتمپ حذف شده باشند.
اتصال دادهها برای صفحات یتیم با اسکریمینگ فراگ
برای کاملشدن فهرست صفحات یتیم با اسکریمینگ فراگ از مسیر Configuration > API Access به گوگل سرچ کنسول متصل شوید. پراپرتی درست سایت را انتخاب کنید و گزینه Crawl New URLs Discovered In Google Search Console را فعال کنید. بهتر است بازه زمانی گزارش حداقل یک ماه باشد تا صفحاتی که ایمپرشن یا کلیک کمی دارند نیز شانس دیدهشدن پیدا کنند.
منبع دیگر برای صفحات یتیم با اسکریمینگ فراگ دادههای گوگل آنالیتیکس است. پس از اتصال حساب، گزینه Crawl New URLs Discovered In Google Analytics را فعال کنید. برای تمرکز بر ورودی گوگل میتوانید بخش ترافیک ارگانیک را انتخاب کنید. این دادهها صفحاتی را نشان میدهند که بازدید گرفتهاند اما ابزار از مسیر لینکهای داخلی به آنها نرسیده است.
استفاده همزمان از این منابع احتمال جاافتادن آدرسهای مهم را کاهش میدهد:
- لینکهای داخلی قابلخزش سایت
- نقشه سایت XML
- دادههای عملکرد سرچ کنسول
- صفحات دارای بازدید در گوگل آنالیتیکس
اجرای خزش برای صفحات یتیم با اسکریمینگ فراگ
پس از انجام تنظیمات، آدرس صفحه اصلی را در کادر Enter URL to spider وارد کنید و روی Start بزنید. برای تهیه فهرست صفحات یتیم با اسکریمینگ فراگ باید اجازه دهید خزش و دریافت دادههای API به صد درصد برسد. متوقفکردن زودهنگام فرایند میتواند باعث شود بخشی از آدرسها در گزارش ظاهر نشوند.
بعد از پایان خزش، از منوی Crawl Analysis گزینه Start را انتخاب کنید. سه فیلتر مربوط به آدرسهای یتیم در تبهای Sitemaps، Analytics و Search Console تنها پس از این تحلیل تکمیل میشوند. اگر گزارشی نمیبینید، از مسیر Crawl Analysis > Configure بررسی کنید که هر سه منبع فعال باشند.
خروجی صفحات یتیم با اسکریمینگ فراگ را میتوانید به دو روش ببینید. روش اول مراجعه به فیلتر Orphan URLs در هر تب است. روش دوم استفاده از مسیر Reports > Orphan Pages برای دریافت یک گزارش ترکیبی است. ستون Source نیز مشخص میکند هر آدرس از سایتمپ، آنالیتیکس یا سرچ کنسول پیدا شده است.
تحلیل صفحات یتیم با اسکریمینگ فراگ
پس از استخراج صفحات یتیم با اسکریمینگ فراگ نباید همه آدرسها را بدون بررسی به مقالات دیگر لینک کنید. ابتدا کد وضعیت، تگ کنونیکال، قابلیت ایندکس، کیفیت محتوا و میزان کلیک یا ایمپرشن هر صفحه را بررسی کنید. وجود یک URL در گزارش فقط به معنی نبود مسیر لینک داخلی است و بهتنهایی نشان نمیدهد صفحه ارزش نگهداری دارد.
برای هر آدرس یکی از تصمیمهای زیر را بگیرید:
- لینکسازی داخلی: برای صفحهای که محتوای مفید و هدف جستوجوی مشخص دارد.
- بهروزرسانی محتوا: برای صفحهای قدیمی که هنوز ارزش سئویی دارد.
- ادغام و ریدایرکت: برای صفحات ضعیف یا بسیار مشابه.
- نوایندکسکردن: برای صفحهای که باید در دسترس باشد اما نباید وارد نتایج شود.
- حذف از سایتمپ: برای آدرس منقضیشده، خطادار یا غیرقابل ایندکس.
اگر صفحه مهم است، از یک مقاله مرتبط و قابلخزش به آن لینک بدهید. انکر تکست باید موضوع مقصد را واضح نشان دهد. برای تصمیمگیری دقیقتر درباره نگهداری یا حذف این آدرسها، ((راهنمای کامل محتوای یتیم)) میتواند به شما کمک کند.
اشتباهات رایج هنگام تهیه گزارش
در پروژه صفحات یتیم با اسکریمینگ فراگ یکی از خطاهای رایج این است که کاربر فقط سایت را خزش میکند و منتظر گزارش آدرسهای یتیم میماند. خزنده نمیتواند صفحهای را که هیچ لینکی به آن نرسیده است بهتنهایی کشف کند. نقشه سایت، سرچ کنسول یا آنالیتیکس باید آدرس ناشناخته را در اختیار ابزار قرار دهند.
اشتباه دیگر، تحلیلنکردن گزارش بعد از پایان Crawl است. فعالنبودن گزینه خزش URLهای جدید، انتخاب پراپرتی اشتباه سرچ کنسول و استفاده از بازه زمانی خیلی کوتاه نیز گزارش را ناقص میکند. همچنین هر URL موجود در گزارش یک محتوای ارزشمند نیست؛ بعضی آدرسها صفحات شغلی قدیمی، محصولات حذفشده، پارامترها یا نسخههای ریدایرکتشده هستند.
سخن آخر
پیدا کردن صفحات یتیم با اسکریمینگ فراگ زمانی نتیجه دقیقتری میدهد که دادههای خزش، سایتمپ، سرچ کنسول و آنالیتیکس را کنار هم قرار دهید. پس از اتصال منابع، خزش را کامل کنید و Crawl Analysis را اجرا کنید تا فیلترهای Orphan URLs پر شوند.
اگر بررسی صفحات یتیم با اسکریمینگ فراگ را دورهای انجام دهید، مقالههای فراموششده و آدرسهای قدیمی زودتر شناسایی میشوند. بعد از دریافت گزارش، ارزش هر صفحه را جداگانه بسنجید و براساس وضعیت آن لینکسازی، بهروزرسانی، ادغام یا حذف را انتخاب کنید. برای درک بهتر ریشه این مشکل نیز مطالعه ((محتوای یتیم)) پیشنهاد میشود.
سوالات متداول درباره پیدا کردن صفحات یتیم
در جدول زیر به مهمترین سوالهایی پاسخ دادهایم که معمولا هنگام تنظیم ابزار یا تحلیل خروجی ایجاد میشوند.
| سوال متداول | پاسخ تخصصی و کاربردی | اقدام پیشنهادی |
|---|---|---|
| چرا فیلتر Orphan URLs خالی است؟ | معمولا Crawl Analysis اجرا نشده یا منابع Sitemaps، Analytics و Search Console در تنظیمات تحلیل فعال نیستند. کاملشدن خزش عادی برای نمایش این فیلترها کافی نیست. | از Crawl Analysis > Configure منابع را فعال کنید و سپس Start را بزنید. |
| آیا نسخه رایگان برای این کار کافی است؟ | نسخه رایگان تا ۵۰۰ URL را خزش میکند اما اتصال API و بخشی از تنظیمات موردنیاز محدود است. برای سایتهای کوچک نیز شناسایی کامل صفحات یتیم با اسکریمینگ فراگ معمولا به نسخه لایسنسدار نیاز دارد. | پیش از شروع، تعداد آدرسها و دسترسی به امکانات نسخه خود را بررسی کنید. |
| چرا صفحهای با کد ۲۰۰ در گزارش یتیم دیده میشود؟ | کد ۲۰۰ فقط سالمبودن پاسخ سرور را نشان میدهد. ممکن است صفحه فعال و ایندکسپذیر باشد اما هیچ مسیر لینک داخلی از صفحه اصلی به آن وجود نداشته باشد. | ستون Inlinks و Crawl Depth را بررسی کنید و در صورت ارزشمندبودن صفحه به آن لینک بدهید. |
| آیا باید همه صفحات گزارش را لینکسازی کنیم؟ | خیر. بعضی آدرسها قدیمی، تکراری، ریدایرکتشده یا کمارزش هستند. لینکسازی برای چنین صفحاتی میتواند ساختار سایت را شلوغتر کند. | ابتدا هدف صفحه، وضعیت ایندکس و کیفیت محتوا را بسنجید و سپس تصمیم بگیرید. |
| هر چند وقت یکبار این گزارش را بگیریم؟ | زمانبندی به اندازه و سرعت انتشار سایت بستگی دارد. برای سایتهای محتوایی فعال، بررسی ماهانه یا پس از انتشار تعداد زیادی صفحه انتخاب مناسبی است. | یک خزش پایه ذخیره کنید و نتایج دورههای بعد را با آن مقایسه کنید. |
منابع
- راهنمای رسمی پیدا کردن صفحات یتیم در اسکریمینگ فراگ
- راهنمای رسمی گزارش Orphan URLs در سرچ کنسول و سایتمپ
- مستندات نقشه سایت در مرکز جستوجوی گوگل
- راهنمای فارسی صفحات یتیم در مجله فرادرس
- آموزش فارسی شناسایی صفحات یتیم در تریبون
