String Utilities टूल अपडेट किया गया 3 दिन पहले

डुप्लीकेट लाइन रिमूवर

डुप्लीकेट लाइन रिमूवर प्रत्येक लाइन की पहली कॉपी को रखकर और बाकी को हटाकर लिस्ट को साफ करता है। ईमेल, आईडी, यूआरएल (URL), टैग या नामों का कॉलम पेस्ट करें, चुनें कि तुलना कितनी सटीक होनी चाहिए, और परिणाम को कॉपी करें।

विकल्प महत्वपूर्ण हैं। आप केस (case) को अनदेखा कर सकते हैं, आगे और पीछे के स्पेस को हटा सकते हैं, खाली लाइनों को हटा सकते हैं और आउटपुट को वर्णानुक्रम में व्यवस्थित कर सकते हैं। यह टूल उन अव्यवस्थित एक्सपोर्ट्स के लिए उपयोगी है जहां एक ही वैल्यू अलग-अलग कैपिटलाइजेशन या अतिरिक्त स्पेस के साथ दिखाई देती है।

सारा काम आपके ब्राउज़र में होता है। लिस्ट अपलोड नहीं की जाती है, और पेज कोई हिस्ट्री (इतिहास) नहीं रखता है।

Duplicate Remover Remove Repeated Lines Clean Text Unique Lines

उपयोग करें डुप्लीकेट लाइन रिमूवर

मूल पाठ
इनपुट टर्मिनल
0
साफ़ किया गया पाठ
तैयार
0
0
प्रसंस्करण सेटिंग्स
टूल लिंक
क्लिपबोर्ड पर कॉपी हो गया।
इस उपकरण को बेहतर बनाने में मदद करें
100
उपयोग किया गया समय
96
कुल उपयोगकर्ता
5+ वर्ष
परोसा गया
अंतिम समीक्षा 1 सप्ताह पहले. में की गई थी। उपयोग संख्याएँ आवधिक ऑडिट के दौरान ताज़ा की जाती हैं। (से रिपोर्टिंग21 Feb 2022)
अनुपालनहीनता की रिपोर्ट करें

सामग्री पढ़ें

जानें कि यह उपकरण कैसे काम करता है और इसका उपयोग कब करना है।

यह टूल क्या करता है

इस पेज में एक इनपुट क्षेत्र और एक आउटपुट क्षेत्र है। अपनी पंक्तियाँ पेस्ट करें, 'Remove Duplicates' पर क्लिक करें, और आउटपुट में मूल क्रम में विशिष्ट पंक्तियाँ दिखाई देंगी, जब तक कि आप सॉर्टिंग सक्षम न करें। एक आँकड़ा पंक्ति (stats row) कुल पंक्तियों, विशिष्ट पंक्तियों और हटाए गए डुप्लिकेट की रिपोर्ट करती है।

प्रत्येक पंक्ति को एक अलग रिकॉर्ड माना जाता है। यह टूल कॉमा या टैब पर विभाजित नहीं होता है, इसलिए एक CSV पंक्ति एक पंक्ति ही रहती है। यदि आपको स्प्रेडशीट के किसी एक कॉलम से डुप्लिकेट हटाने हैं, तो पूरी शीट के बजाय केवल उस कॉलम को कॉपी करें।

आउटपुट केवल पढ़ने के लिए (read-only) है। इसे क्लिपबोर्ड पर डालने के लिए 'Copy' का उपयोग करें, या 'unique-lines.txt' नामक प्लेन-टेक्स्ट फ़ाइल को सहेजने के लिए 'Download .txt' का उपयोग करें। त्वरित वर्कफ़्लो के लिए 'Paste' और 'Clear' शॉर्टकट दिए गए हैं।

विकल्पों का विवरण

  • केस इनसेंसिटिव (Case Insensitive): डिफ़ॉल्ट रूप से चालू। “Apple” और “apple” एक ही पंक्ति मानी जाती हैं। जब केस (बड़ा/छोटा अक्षर) पहचानकर्ता का हिस्सा हो, तो इसे बंद कर दें।
  • आगे/पीछे के खाली स्थान (whitespace) को हटाएँ: डिफ़ॉल्ट रूप से चालू। तुलना करते समय किनारों पर मौजूद स्पेस या टैब को नज़रअंदाज़ कर दिया जाता है और आउटपुट से हटा दिया जाता है।
  • खाली पंक्तियाँ हटाएँ: डिफ़ॉल्ट रूप से चालू। खाली पंक्तियों को एक खाली प्रविष्टि के रूप में रखने के बजाय छोड़ दिया जाता है।
  • वर्णानुक्रम में A-Z सॉर्ट करें: डिफ़ॉल्ट रूप से बंद। चालू होने पर, विशिष्ट पंक्तियों को ब्राउज़र की लोकेल-अवेयर (locale-aware) तुलना के साथ सॉर्ट किया जाता है।

पहली उपस्थिति मान्य होती है। यदि “apple” से पहले “Apple” आता है और केस को नज़रअंदाज़ किया जाता है, तो आउटपुट “Apple” को उसी स्थान पर रखता है जहाँ वह पहली बार दिखाई दिया था। यह तब उपयोगी होता है जब आप मूल क्रम और पहले रिकॉर्ड की मूल वर्तनी को सुरक्षित रखना चाहते हैं।

सूची को कैसे साफ़ करें

  1. अपनी पंक्तियाँ इनपुट बॉक्स में पेस्ट करें।
  2. तय करें कि केस और खाली स्थान मायने रखते हैं या नहीं।
  3. यदि खाली पंक्तियाँ शोर (noise) पैदा कर रही हैं, तो 'Remove Empty Lines' चालू रहने दें।
  4. यदि आप एक अनुमानित वर्णानुक्रम चाहते हैं, तो 'Sort' चालू करें।
  5. 'Remove Duplicates' पर क्लिक करें।
  6. आँकड़ों की जाँच करें और अपेक्षित मानों के लिए आउटपुट को स्कैन करें।
  7. परिणाम को कॉपी करें या इसे .txt फ़ाइल के रूप में डाउनलोड करें।

यदि आउटपुट उम्मीद से छोटा दिखता है, तो जाँचें कि क्या केस-इनसेंसिटिव मिलान ने उन मानों को मिला दिया है जिन्हें आप अलग मानते हैं। इसे बंद करें और सूची को फिर से चलाएँ।

सामान्य उपयोग

  • ईमेल सूचियाँ: आयात करने से पहले बार-बार आने वाले पतों को हटाएँ।
  • URL सूचियाँ: क्रॉल या साइटमैप से एकत्रित लिंक से डुप्लिकेट हटाएँ।
  • उत्पाद SKU: सप्लायर एक्सपोर्ट को साफ़ करें।
  • टैग और कीवर्ड: रिसर्च लिस्ट को विशिष्ट प्रविष्टियों तक सीमित करें।
  • लॉग: पहली उपस्थिति को बनाए रखते हुए बार-बार आने वाली स्टेटस लाइनों को हटाएँ।
  • लेखन: सूची से दोहराए गए नाम या वाक्यांश हटाएँ।

ऑर्डर नंबर या कूपन कोड जैसे पहचानकर्ताओं के लिए, केस सेंसिटिविटी चालू रखें। लोअरकेस और अपरकेस वर्ज़न वास्तव में अलग-अलग मान हो सकते हैं, और उन्हें मिलाने से सूची अमान्य हो सकती है।

खाली पंक्तियाँ, गणना और लाइन एंडिंग्स

डुप्लिकेट गणना की गणना कुल पंक्तियों में से आउटपुट पंक्तियों को घटाकर की जाती है। यदि 'Remove Empty Lines' चालू है, तो हटाई गई खाली पंक्तियाँ उस संख्या में शामिल की जाती हैं, इसलिए “हटाए गए डुप्लिकेट” का आँकड़ा दोहराए गए मानों की संख्या से बड़ा हो सकता है। इसे “हटाई गई पंक्तियाँ” के रूप में पढ़ें, न कि केवल “डुप्लिकेट मान”।

टूल न्यूलाइन कैरेक्टर (newline character) पर विभाजित होता है। विंडोज़-स्टाइल CRLF इनपुट किसी पंक्ति के अंत में कैरिज रिटर्न (carriage return) छोड़ सकता है यदि ट्रिमिंग बंद है। यदि मिलान काम नहीं कर रहा है, तो ट्रिमिंग चालू करें या पहले टेक्स्ट एडिटर में लाइन एंडिंग्स को सामान्य (normalize) करें।

बिना न्यूलाइन वाली एक एकल पंक्ति केवल तभी मान्य इनपुट है जब वह खाली न हो। पूरी तरह से खाली टेक्स्ट एरिया खाली परिणाम देने के बजाय एक संदेश दिखाता है।

बड़ी सूचियाँ और गोपनीयता

डीडुप्लिकेशन (Deduplication) सिंक्रोनस है। जब ब्राउज़र सेट बनाता है और आउटपुट को फिर से लिखता है, तो बहुत अधिक डेटा पेस्ट करने से टैब अनरिस्पॉन्सिव (unresponsive) हो सकता है। दसियों हज़ार पंक्तियों के लिए, सूची को छोटे बैचों में बाँट लें या sort -u जैसे कमांड-लाइन टूल का उपयोग करें।

सूची आपके ब्राउज़र में रहती है। पेज इसे अपलोड नहीं करता है, न ही कोई अकाउंट बनाता है या कोई कॉपी सहेजता है। डाउनलोड एक लोकल ब्लॉब (local blob) है, और क्लिपबोर्ड कॉपी ब्राउज़र द्वारा नियंत्रित की जाती है। यदि सूची में संवेदनशील पते हैं, तो क्लिपबोर्ड साफ़ करें।

टूल सामग्री को प्रमाणित नहीं करता है। यदि कोई अमान्य ईमेल या टूटा हुआ URL विशिष्ट है, तो यह उसे बनाए रखेगा। डुप्लिकेट हटाने के बाद प्रारूप को अलग से साफ़ करें।

एक्सपोर्ट और स्ट्रक्चर्ड टेक्स्ट से डुप्लिकेट हटाना

कई एक्सपोर्ट प्रति पंक्ति एक-मान वाली साफ़ सूची नहीं होते हैं। CSV फ़ाइल में हेडर और कॉमा से अलग किए गए फ़ील्ड होते हैं, और लॉग फ़ाइल में हर पंक्ति पर टाइमस्टैम्प दोहराया जा सकता है। टूल पूरी पंक्तियों की तुलना करता है, इसलिए केवल टाइमस्टैम्प में भिन्न दो रिकॉर्ड डुप्लिकेट नहीं होते हैं।

CSV कॉलम के लिए, फ़ाइल को स्प्रेडशीट में इम्पोर्ट करें, कॉलम को कॉपी करें और टूल में केवल वही कॉलम पेस्ट करें। लॉग के लिए, पहले टाइमस्टैम्प को हटाएं या सामान्य करें, फिर मैसेज लाइनों से डुप्लिकेट हटाएं। ट्रेलिंग डेलीमिटर वाली लिस्ट के लिए, तुलना करने से पहले तय करें कि डेलीमिटर वैल्यू का हिस्सा है या नहीं।

यदि आपको डेटा पंक्तियों से डुप्लिकेट हटाते समय हेडर को सुरक्षित रखने की आवश्यकता है, तो टूल को केवल डेटा पंक्तियों पर चलाएं और बाद में हेडर को वापस जोड़ें। पूरी फ़ाइल पर इसे चलाने से वह डेटा पंक्ति हट सकती है जो गलती से हेडर टेक्स्ट से मेल खाती हो।

व्हाइटस्पेस और लाइन एंडिंग्स

कई इंटरफेस में शुरुआती और अंतिम स्पेस अदृश्य होते हैं, लेकिन वे स्ट्रिंग तुलना के लिए मायने रखते हैं। इसी कारण से ट्रिमिंग डिफ़ॉल्ट रूप से चालू रहती है। यदि आप इसे बंद कर देते हैं, तो “value” और “value ” अलग-अलग लाइन बन जाते हैं, और परिणाम ऐसा लग सकता है जैसे यह डुप्लिकेट हटाने में विफल रहा।

Windows फ़ाइलें अक्सर CRLF लाइन एंडिंग्स का उपयोग करती हैं। यह टूल LF पर विभाजित होता है, इसलिए प्रत्येक लाइन के अंत में कैरिज रिटर्न रह सकता है। ट्रिमिंग बंद होने पर, वह छिपा हुआ कैरेक्टर मिलान को रोक सकता है। ट्रिमिंग चालू करें, या पेस्ट करने से पहले टेक्स्ट एडिटर में फ़ाइल को LF में बदलें।

लाइन के अंदर के टैब (Tabs) सुरक्षित रखे जाते हैं। टैब-सेपरेटेड पंक्ति अभी भी एक लाइन है, कई फ़ील्ड नहीं। टूल से स्प्रेडशीट कॉलम समझने की अपेक्षा न करें।

परिणाम का सत्यापन करना

डुप्लिकेट हटाने के बाद, कुल और अद्वितीय (unique) संख्या की तुलना करें। यदि कुल 100 है और यूनिक संख्या 100 है, तो कुछ भी नहीं हटाया गया। यदि संख्या दिखाई देने वाले रिपीट की संख्या से अधिक कम हो गई है, तो खाली-लाइन और केस विकल्पों की जांच करें। एक बड़ी गिरावट का मतलब यह भी हो सकता है कि लिस्ट में कई खाली पंक्तियाँ थीं।

पहली और आखिरी कुछ पंक्तियों को स्कैन करें। पहली उपस्थिति रखी जाती है, इसलिए शेष वैल्यू का क्रम मूल क्रम से मेल खाना चाहिए जब तक कि सॉर्टिंग चालू न हो। यदि कोई वैल्यू अलग-अलग कैपिटलाइज़ेशन के साथ दिखाई देती है, तो पहली उपस्थिति वाली स्पेलिंग ही रखी जाती है।

परिणाम डाउनलोड करें और इसे स्रोत से अलग रखें। पेज अनडू (undo) की सुविधा प्रदान नहीं करता है, इसलिए आउटपुट पर दोबारा प्रक्रिया चलाना ही अलग विकल्प सेट लागू करने का एकमात्र तरीका है। मूल फ़ाइल को सुरक्षित रखने से आप लिस्ट को फिर से तैयार किए बिना फिर से शुरू कर सकते हैं।

अक्सर पूछे जाने वाले प्रश्न

अक्सर पूछे जाने वाले प्रश्न

परिणाम पर भरोसा करने से पहले उपयोगकर्ताओं द्वारा पूछे जाने वाले प्रश्नों के संक्षिप्त उत्तर।

यह पहली उपस्थिति को रखता है और बाद की प्रतियों को हटा देता है। जब तक आप सॉर्टिंग सक्षम नहीं करते, तब तक मूल क्रम सुरक्षित रहता है।

नहीं। केस इनसेंसिटिव (Case Insensitive) डिफ़ॉल्ट रूप से चालू है, इसलिए “Apple” और “apple” को एक ही लाइन माना जाता है। केस-सेंसिटिव आइडेंटिफायर्स के लिए इसे बंद करें।

हाँ, जब Remove Empty Lines चालू हो। यह विकल्प डिफ़ॉल्ट रूप से सक्षम रहता है।

इस संख्या में खाली-लाइन विकल्प द्वारा हटाई गई खाली लाइनें भी शामिल हैं। यह हटाई गई लाइनों की कुल संख्या है, न कि केवल दोहराए गए वैल्यू की।

हाँ। डुप्लिकेट हटाने से पहले Sort alphabetically A-Z सक्षम करें। इसके बाद अद्वितीय लाइनों को स्थानीय-भाषा आधारित तुलना के साथ सॉर्ट किया जाता है।

नहीं। डुप्लिकेशन हटाने की प्रक्रिया आपके ब्राउज़र में चलती है और पेज इनपुट को स्टोर नहीं करता है।

टिप्पणियाँ (0)

उपयोगकर्ता चर्चा, असामान्य परिस्थितियाँ, और अनुवर्ती सुझावों के लिए।
टिप्पणी करें
आपकी टिप्पणी सबमिट करने के बाद सार्वजनिक रूप से दिखाई देगी।
अभी तक कोई टिप्पणी नहीं। टिप्पणी करने वाले पहले व्यक्ति बनें!
हमें बताएं!
इस उपकरण में समस्या की रिपोर्ट करें

आपको जो समस्या आई, उसका वर्णन करें ताकि हम इसकी जांच कर सकें और टूल में सुधार कर सकें।

सबसे ज्यादा मदद क्या करता है
इनपुट, अपेक्षित परिणाम, वास्तविक परिणाम, ब्राउज़र/डिवाइस, और जब सहायक हो तो एक स्क्रीनशॉट शामिल करें।
स्क्रीनशॉट बटन ब्राउज़र में पृष्ठ को कैप्चर करता है और उत्पन्न छवि को इस फॉर्म से संलग्न करता है।
पूरे पेज का स्क्रीनशॉट
आपके ब्राउज़र में newisty के साथ कैप्चर किया गया।
अभी तक कोई स्क्रीनशॉट नहीं लिया गया है।
उपकरण रिपोर्ट