A Google क्रॉलर एक सॉफ्टवेयर है जो वेब पेजों और अन्य संसाधनों का अनुरोध करता है ताकि Google सामग्री को खोज और समझ सके। Googleबॉट Google खोज से जुड़ा मुख्य क्रॉलर है। Googleबॉट की यात्रा का अर्थ है Google को कुछ प्राप्त हुआ; इसका मतलब यह नहीं है कि पृष्ठ अनुक्रमित किया गया था या किसी विशेष क्वेरी के लिए रैंक किया जाएगा।
उपयोगी अनुक्रम खोज → क्रॉल → प्रक्रिया → सूचकांक → सेवा है। किसी साइट स्वामी के लिए, प्रत्येक चरण के लिए अलग-अलग साक्ष्य की आवश्यकता होती है। सटीक यूआरएल से शुरू करें, जांचें कि क्या इसे लाया जा सकता है, और इसके बारे में Google रिपोर्ट क्या है इसकी जांच करने के लिए अपनी खुद की सर्च कंसोल प्रॉपर्टी का उपयोग करें।
जब यह दौरा करता है तो Googleब��ट क्या करता है
एक क्रॉलर एक HTTP अनुरोध भेजता है, बिल्कुल उसी तरह जैसे कोई ब्राउज़र किसी पेज के लिए अनुरोध करता है। सर्वर एक स्थिति कोड, हेडर और, जब उपलब्ध हो, सामग्री लौटाता है। Google पेज को रेंडर करने के लिए आवश्यक संसाधन भी ला सकता है, जैसे जावास्क्रिप्ट और स्टाइलशीट। एक सर्वर लॉग अनुरोधों को रिकॉर्ड करता है; यह सामग्री के बारे में Google द्वारा लिए गए प्रत्येक बाद के निर्णय को प्रकट नहीं करता है।
Google Googlebot स्मार्टफोन और Googlebot डेस्कटॉप का वर्णन करता है। उनके उपयोगकर्ता-एजेंट हेडर क्रॉलर उपप्रकार की पहचान करते हैं, लेकिन दोनों robots.txt में समान Googleबॉट टोकन का उपयोग करते हैं। यह मत मान लें कि कोई पेज 15｠ के मोबाइल क्रॉलर क�� लिए सिर्फ इसलिए काम करता है क्योंकि यह आपके डेस्कटॉप ब्राउज़र में पूर्ण दिखता है। मोबाइल सामग्री और पहुंच स्थितियों का भी निरीक्षण करें।
खोज से खोज परिणाम तक पृष्ठ का अनुसरण करें
Google समूह क्रॉलिंग, इंडेक्सिंग और सर्विंग में खोजें। उस स्पष्टीकरण के भीतर खोज और प्रसंस्करण को अलग करने से आपको ��मस्या निवारण में मदद मिलती है। नीचे दिए गए चरण एक शिक्षण मॉडल हैं, यह कोई वादा नहीं है कि प्रत्येक खोजा गया यूआरएल उनके माध्यम से आगे बढ़ता है। Google की खोज कैसे काम करती है इसकी मार्गदर्शिका बताती है कि क्रॉलिंग, अनुक्रमणिका और परिणामों में उपस्थिति की गारंटी क्यों नहीं है।
| स्टेज | आपके लिए इसका क्या मतलब है पृष्ठ |
|---|---|
| Discover | Google सीखता है कि एक URL मौजूद है, उदाहरण के लिए एक लिंक के माध्यम से या साइटमैप. |
| क्रॉल | Google URL का अनुरोध करता है और एक्सेस होने पर प्रतिक्रिया प्राप्त करता है सफल होता है। यह. |
| सूचकांक | Google डुप्लिकेट सहित अपने खोजने योग्य सूचकांक के लिए सामग्री पर विचार करता है हैंडलिंग. |
| सर्व | Google किसी विशेष खोज के लिए परिणामों का चयन करता है। अनुक्रमित होना आपकी लक्षित क्वेरी के लिए दृश्यता की गारंटी नहीं देता है। |
मान लीजिए कि आपका ब्राउज़र एक नई मार्गदर्शिका सही ढंग से प्रदर्शित करता है। यह आपके ब्राउज़र की शर्तों के तहत एक सफल विज़िट स्थापित करता है। यह Google द्वारा खोज, Google के नेटवर्क से पहुंच, या इसके सूचकांक में समावेशन स्थापित नहीं करता है। जब आप अपने डेवलपर को कोई समस्या रिपोर्ट करते हैं तो उन प्रश्नों को अलग रखें।
सहायता Google वह यूआरएल ढूंढें जिसे आप वास्तव में अनुक्रमित करना चाहते हैं
प्रासंगिक, सुलभ पृष्ठों से महत्वपूर्ण पृष्ठों को उपयोगी आंतरिक लिंक दें। किसी स्थापित विषय से जुड़े गाइड की तुलना में नेविगेशन से छिपी हुई और संबंधित सामग्री से कभी लिंक न की गई गाइड को खोजना कठिन होता है। वर्णनात्मक लिंक टेक्स्ट का उपयोग करें ताकि पाठक ���ंतव्य को भी समझ सकें।
एक साइटमैप एक अन्य खोज पथ प्रदान करता है। Google कासाइटमैप दस्तावेज़ बड़ी साइटों, नई साइटों और सामग्री के लिए इसकी उपयोगिता बताता है जिन्हें लिंक के माध्यम से खोजना मुश्किल है। साइटमैप में शामिल करना अभी भी क्रॉलिंग या अनुक्रमण की गारंटी नहीं देता है।
जब आप कोई गाइड प्रकाशित करते हैं, तो जांच लें कि उसका पसंदीदा यूआरएल सही साइटमैप में दिखाई देता है और साइटमैप लाया जा सकता है। SearchVector का साइटमैप विश्लेषक साइटमैप की समीक्षा के लिए एक प्रारंभिक बिंदु है। इसके आउटपुट को साइटमैप साक्ष्य के रूप में मानें, फिर अलग-अलग पेज की अलग से जाँच करें। साइटमैप प्रविष्टि किसी अवरुद्ध पृष्ठ की मरम्मत नहीं कर सकती।
सही नियंत्रण चुनें: robots.txt, नोइंडेक्स या कैनोनिकल
ये नियंत्रण विभिन���न प्रश्नों का उत्तर देते हैं। उन्हें मिलाना एक सामान्य कारण है कि जानबूझकर प्रकाशन परिवर्तन से अप्रत्याशित खोज परिणाम उत्पन्न होता है।
- robots.txt क्रॉलिंग को नियंत्रित करता है। एक अस्वीकृत नियम एक अनुपालन क्रॉलर को मिलान सामग्री का अनुरोध न करने के लिए कहता है। एक अवरुद्ध URL अभी भी खोज में दिखाई दे सकता है यदि Google को इसके बारे में कहीं और पता चलता है।
- नोइंडेक्स अनुक्रमण को नियंत्रित करता है। किसी पृष्ठ या HTTP हेडर में Google को नोइंडेक्स निर्देश देखने के लिए, क्रॉलिंग की अनुमति होनी चाहिए। नोइंडेक्स जोड़ते समय यूआरएल को ब्लॉक करने से Google को निर्देश पढ़ने से रोका जा सकता है।
- एक कैनोनिकल एक पसंदीदा संस्करण की पहचान करता है। यह डुप्लिकेट या समान पृष्ठों के लिए एक संकेत है, न कि एक्सेस कंट्रोल और न ही कोई गारंटीकृत कमांड।
Google अपने नोइंडेक्स मार्गदर्शन में क्रॉल आवश्यकता और इसके कैनोनिकलाइज़ेशन गाइड में सिग्नल और चयन के बीच अंतर को दस्तावेज़ित करता है। जो सामग्री निजी होनी चाहिए उसे उचित पहुंच सुरक्षा की आवश्यकता है। robots.txt सार्वजनिक रूप से पढ़ने योग्य है और सुरक्षा सीमा नहीं है।
रोबोट नियम बदलने से पहले, सटीक URL और इच्छित क्रॉलर का परीक्षण करें। SearchVector का Robots.txt Tester उस समीक्षा का समर्थन कर सकता है। अनुक्रमणिका के प्रमाण के रूप में समग्र "अनुमत" परिणाम की व्याख्या करने के बजाय आप जिस नियम की जांच कर रहे हैं उसे रिकॉर्ड करें।
लेख दोबारा लिखने से पहले प्रतिक्रिया पढ़ें
एक पृष्ठ एक्सेस चरण में विफल हो सकता है, भले ही उसका लेखन उत्कृष्ट हो। रीडायरेक्ट और अंतिम गंतव्य की जाँच करें, न कि केवल पहली प्रतिक्रिया की। एक सफल HTTP स्थिति का अर्थ है कि अनुरोध उस स्तर पर सफल हुआ; यह पृष्ठ की उपयोगिता या अनुक्रमण पात्रता को प्रमाणित नहीं करता है।
Google का HTTP स्थिति मार्गदर्शन सफल प्रतिक्रियाओं, रीडायरेक्ट, क्लाइंट त्रुटियों और सर्वर त्रुटियों को अलग करता है। लगातार सर्वर विफलताएँ क्रॉलिंग को प्रभावित कर सकती हैं। सफल स्थिति के साथ लौटाया गया त्रुटि संदेश एक भ्रामक परिणाम भी बना सकता है, जिसे अक्सर सॉफ्ट 404 के रूप में वर्णित किया जाता है जब Google एक त्रुटि-जैसे पृष्ठ को पहचानता है।
एक केंद्रित प्रथम पास के लिए, क्रॉलबिलिटी संकेतों की समीक्षा करने के लिए SearchVector के वेब पेज क्रॉलर का उपयोग करें, फिर उनकी तुलना अपने सर्वर और Google साक्ष्य से करें। एक तृतीय-पक्ष क्रॉलर Googleबॉट नहीं है। नेटवर्क, उपयोगकर्ता एजेंट और रेंडरिंग में अंतर बता सकता है कि दो चेक असहमत क्यों हैं।
कार्य उदाहरण: एक गाइड लॉन्च के बाद भी अवरुद्ध है
यह एक काल्पनिक निदान अभ्यास है, ग्राहक क्रॉल लॉग नहीं। कल्पना कीजिए कि आप /guides/packing-list लॉन्च करते हैं, इसे अपने गाइड हब से लिंक करते हैं और इसे साइटमैप में जोड़ते हैं। आपका सामान्य ब्राउज़र इच्छित लेख प्राप्त करता है, लेकिन रोबोट नियम अभी भी /guides/ निर्देशिका को अस्वीकार करता है। पृष्ठ में तैयारी से बचा हुआ एक नोइंडेक्स निर्देश भी शामिल है।｟T4���
- इच्छित स्थिति लिखें। यह मार्गदर्शिका सार्वजनिक होनी चाहिए और अनुक्रमण के लिए योग्य होनी चाहिए। अन्य अधूरे गाइडों को अभी भी सुरक्षा की आवश्यकता हो सकती है।
- सटीक पथ की जाँच करें। पुष्टि करें कि प्रासंगिक रोबोट नियम इस URL से मेल खाता है। नोइंडेक्स के लिए पेज के रिस्पॉन्स हेडर और HTML को स्वतंत्र रूप से जांचें। एक गाइड को ठीक करने के लिए हर अधूरे पेज को व्यापक रूप से उजागर न करें। निर्देश.
- Google साक्ष्य के साथ पालन करें. अपनी सर्च कंसोल प्रॉपर्टी में, यूआरएल का निरीक्षण करें और एक लाइव परीक्षण चलाएं. यदि पृष्ठ योग्य है, तो ��प अनुक्रमण का अनुरोध कर सकते हैं। परिवर्तनों को रिकॉर्ड करें और समय सीमा का वादा किए बिना वापस जांचें।
निदान दो स्वतंत्र बाधाएं हैं, न कि “Google को अधिक कीवर्ड की आवश्यकता है।” केवल रोबोट ब्लॉक को हटाने से कोई इंडेक्स नहीं रह जाता है। केवल नोइंडेक्स पत्तियों को हटाने से Google पृष्ठ लाने में असमर्थ है। दोनों सुधारों के बाद भी, एक सफल परीक्षण यह गारंटी नहीं देता है कि Google इसे अनुक्रमित करेगा।
सत्यापित करें कि अनुरोध वास्तव में Google
से आया हैकोई भी इसके उपयोगकर्ता-एजेंट हेडर में Googleबॉट होने का दावा करते हुए अनुरोध भेज सकता है। यदि संदिग्ध ट्रैफ़िक आपकी साइट पर ओवरलोड कर रहा है, तो क्रॉलर-विशिष्ट फ़ायरवॉल नियम बनान��� से पहले उसके मूल को सत्यापित करें।
Google के अनुरोध-सत्यापन निर्देशों का पालन करें। मैन्युअल जांच के लिए, एक भरोसेमंद लॉग से स्रोत आईपी लें, रिवर्स डीएनएस लुकअप करें, उस क्रॉलर श्रेणी के लिए दस्तावेज़ित डोमेन के विरुद्ध परिणामी होस्टनाम को सत्यापित करें, फिर इसे आगे हल करें। आगे का परिणाम मूल आईपी ��े मेल खाना चाहिए। केवल "Google" युक्त नाम अपर्याप्त है।
स्वचालित सत्यापन के लिए, प्रासंगिक क्रॉलर या फ़ेचर श्रेणी के लिए Google की प्रकाशित श्रेणियों के विरुद्ध पते का मिलान करें। सभी Google-होस्टेड ट्रैफ़िक को Googleबॉट के रूप में न मानें। यदि आपकी साइट किसी प्रॉक्सी के पीछे बैठती है, तो उस पर कार्रवाई करने से पहले अपने बुनियादी ढांचे के मालिक से पूछें कि कौन सा लॉग फ़ील्ड सत्यापित ग्राहक पते का प्रतिनिधित्व करता है।
अगली कार्रवाई तय करने के लिए सर्च कंसोल का उपयोग करें
Google का URL निरीक्षण दस्तावेज़ Google की अनुक्रमित जानकारी को लाइव परीक्षण से अलग करता है। अनुक्रमित रिपोर्ट उस संस्करण को दर्शाती है जिसके बारे में 12｠ को पता है; एक लाइव परीक्षण वर्तमान पृष्ठ की संभावित पहुंच और अनुक्रमणिका की जांच करता है। न तो एक सफल लाइव परीक्षण और न ही कोई इंडेक्सिंग अनुरोध समावेशन की गारंटी देता है।
अपनी संपत्ति तक पहुंच वाले खाते का उपयोग करें। जहां उपलब्ध हो वहां निरीक्षण किए गए यूआरएल, अंतिम क्रॉल जानकारी, अनुक्रमण स्थिति और विहित जानकारी की तुलना करे��। एक ताज़ा सर्वर सुधार पुरानी अनुक्रमित जानकारी के साथ सह-अस्तित्व में हो सकता है। सुधार विफल होने पर निष्कर्ष निकालने से पहले तारीखों पर ध्यान दें।
एक साक्ष्य-आधारित कार्रवाई के साथ समाप्त करें: यदि यूआरएल खराब तरीके से जुड़ा हुआ है तो खोज में सुधार करें, यदि अनुरोध विफल हो जाते हैं तो पहुंच की मरम्मत करें, अनपेक्षित अनुक्रमण प्रतिबंध को हटा दें, या सामग्री और डुप्लिकेशन की जांच करें यदि Google ने पृष्ठ को क्रॉल किया है लेकिन इसे बाहर रखा है। यूआरएल, अवलोकन, परिवर्तन और अनुवर्ती कार्रवाई का संक्षिप्त रिकॉर्ड रखें। यह "Google हमें नह��ं मिला" को एक ऐसी समस्या में बदल देता है जिसकी आप वास्तव में जांच कर सकते हैं।
