robot.txt
3 (60%) 2 votes

(Introduction) परिचय यह एक अच्छी खबर है कि सर्च इंजन आपकी वेबसाइट को बार बार visit करता है और उसके  content को index करता है लेकिन कभी कभी ऐसा हो जाता है कि जिस ऑनलाइन content को आप index करना चाहते हैं उसकी जगह पर दूसरे content index हो जाते हैं | इसलिए robots.txt फाइल का इस्तेमाल करके हम सर्च इंजन को बता सकते है कि कौन सा वेबसाइट पेज हमें दुनिया को दिखाना है और कौन से sentitive एवं confidential पेज हमें नहीं दिखाना है | robots.txt फाइल इस विशेष गुण के कारण व्यापारियों के लिए बहुत ही लाभदायक सिद्ध हुयी है |

Robots.txt क्या है ?( what is robots.txt ?)

यह एक non-HTML, text फाइल है जिसके द्वारा आप सर्च इंजन को यह बता सकते हैं कि आपकी वेबसाइट का कौन सा पेज visit नहीं करना है और उसे confidential या गोपनीय रखना है | सरल शब्दों में हम यह कह सकते हैं कि सर्च इंजन आपकी वेबसाइट को crawl और index तो करेगा लेकिन robots.txt के निर्देश के अनुसार आपके confidential data तक नहीं पहुंचेगा और सर्च इंजन result में नहीं बताएगा |

आप अपने संवेदनशील data को सुरक्षित रखने के लिए robots.txt फाइल पर भरोसा कर सकते हैं |

robots.txt को हमें अपने server पर किस location पर रखना है यह बहुत महत्वपूर्ण होता है | इसे main directory में होना चाहिए तभी सर्च इंजन इसे ढूंढॅ सकता है और निर्देश का पालन कर सकता है |

Benifits of using robots.txt ( robots.txt फाइल उपयोग करने के फायदे)

robots.txt फाइल हमारे बहुत बड़े काम को एकदम आसान तरीके से करती है और इसका उद्देश्य यह है कि यह सर्च इंजन को यह निर्देश दे कि वह हमारी वेबसाइट के कुछ directories के content को ना पढ़े और दुनिया के सामने उसे result के रूप में ना दिखाए | इससे हम अपने गोपनीय data को आसानी से सुरक्षित रख सकते है | इसके निम्नलिखित फायदे हैं :

  • txt फाइल का होना इसलिए जरूरी है कि यह बिना किसी कारण के server log में दिखने वाली error या त्रुटि से हमें बचाता है और इसके कारण ही हम एक बड़ी bandwidth भी बचा सकते है | सुविधा के लिए इस फाइल को रखना आवश्यक हो जाता है भले ही हम उसमें कुछ content ना लिखें लेकिन इसको main directory में रख कर बहुत बड़े नुकसान से बचा जा सकता है |
  • इस फाइल की सहायता से हमें broken एवम orphan links का भी आसानी से पता लग जाता है |
  • हमें इस बात का भरोसा होता है कि हमारा confidential data सुरक्षित है |
  • हम इसका इस्तेमाल करके अपने customers को बहुत accurate या शुद्ध परिणाम तक पहुँचा सकते हैं |

How to generate robots.txt? (robots.txt को कैसे उत्पन्न करते है ?)

बहुत ही आसान तरिका अपना कर आप अपनी महत्वपूर्ण files और directories को गोपनीय रख सकते है | इसके लिए आप उन files और directories को चुनिए जिन्हें आप confidential या गोपनीय रखना चाहते है जिससे सर्च इंजन उन तक नहीं पहुँच पाए | इसके बाद आप एक text editor program का इस्तेमाल करके उस content को लिखिए जिन्हें आप block करना चाहते हैं | आप एक बार फाइल को check करें और इस बात की पुष्टि कर लें कि इसमें कोई error तो नहीं है, इसके बाद इस फाइल को अपने web server की main / root directory में upload कर दें |

आप को इस बात को check करना होगा कि वेबसाइट के जो pages/ directories / files robots.txt में हैं वह सर्च रिजल्ट में दिख तो नहीं रहे हैं |

अगर हम robots.txt के काम करने के तरीके के बारे में बात करें तो यह हमें यह जान लेना चाहिए कि पूरा WWW ( world wide web) links के द्वारा जुड़ा है और इस फाइल में आपकी वेबसाइट से सम्बंधित कुछ ऐसी links होती हैं जिन्ही आप छुपाना चाहते हैं | जब सर्च इंजन आपकी robots.txt फाइल तक पहुँचता है तो उसे यह जानकारी मिलती है कि सर्च इंजन को इन links को search result में नहीं दिखाना है | यह जानकारी इस बात पर निर्भर करती है कि उसे किस प्रकार configure किया गया है | आप जब भी चाहें, अपनी सुविधा के अनुसार robots.txt फाइल को update कर सकते हैं |

Conclusion (सारांश)

व्यापार के क्षेत्र में सावधानी रखने और अपने जरूरी data को सुरक्षित रखना एक बहुत बड़ी जिम्मेदारी होती है और robots.txt के उपयोग के द्वारा आप अपने content को दूसरे व्यापारियों के द्वारा copy होने से बचा सकते हैं | robots.txt, इन्टरनेट की दुनिया में बहुत फायदेमंद साबित हुयी है और इसका इस्तेमाल करना आपके व्यपार के लिए लाभदायक हो सकता है |

नोट – हम अपने सभी visitors से अनुरोध करते है की यदि आपके पास इस लेख से सम्बन्धित कोई प्रश्न या सुझाव है तो Comment Box में Comment करें और  अगर आप को ये ब्लॉग हेल्पफुल लगा हो तो अपने सभी मित्रो के साथ सांझा करे, हमारे नये लेख की जानकारी प्राप्त करने के लिए  Email Subscribe करें और हमारे Social Media Channels को भी Join करें और देखते रहे और सीखते रहे धन्यवाद्

2 COMMENTS

    • हमारे लेख को पढ़ने के लिए आपका बहुत-बहुत धन्यवाद नवीनतम जानकारी लगातर प्राप्त करने के लिए हमारे Newsletter को Subscribe करें।

LEAVE A REPLY

Please enter your comment!
Please enter your name here