টেক্সট ক্লিনার

প্রতিটি অপারেশন কী করে

এটি কীভাবে কাজ করে

টেক্সট ক্লিনার আপনার বেছে নেওয়া অপারেশনগুলো একটি নির্দিষ্ট, অনুমেয় পাইপলাইনে প্রয়োগ করে যাতে একই ইনপুট ও একই সেটিং সবসময় একই ফলাফল দেয়। প্রথমে এটি ঐচ্ছিকভাবে HTML ট্যাগ সরায়, তারপর লাইন-ধরে-ধরে কাজ করে (ট্যাব/স্পেস বদলানো, স্পেসের ধারা সংকুচিত করা এবং প্রান্ত ট্রিম করা), তারপর খালি ও ডুপ্লিকেট লাইন সরায়, সাজায় বা উল্টায়, কোনো প্রিফিক্স/সাফিক্স যোগ করে, লাইনে নম্বর দেয়, এবং শেষে আপনার বেছে নেওয়া সেপারেটর দিয়ে সেগুলো আবার জোড়া দেয়। কিছুই কোনো সার্ভারে পাঠানো হয় না — পুরো ব্যাপারটি আপনার ডিভাইসে চলা সাধারণ JavaScript, তাই এটি অফলাইনে কাজ করে এবং ব্যক্তিগত টেক্সটের জন্য নিরাপদ।

সাধারণ ব্যবহার

• ইমেল, কীওয়ার্ড, URL বা ID-এর কোনো তালিকা থেকে ডুপ্লিকেট সরান ও সাজান।
• PDF, স্প্রেডশিট বা চ্যাট থেকে পেস্ট করা টেক্সট পরিষ্কার করুন (অতিরিক্ত স্পেস ও খালি লাইন)।
• কোনো কপি করা ওয়েব স্নিপেট থেকে HTML ট্যাগ সরিয়ে সাধারণ টেক্সট পান।
• মানের একটি কলামকে কমা-বিভক্ত তালিকায় বদলান (বা আবার লাইনে)।
• প্রতিটি লাইনে বুলেট চিহ্ন, উদ্ধৃতি বা কমা যোগ করুন, অথবা কোনো তালিকায় নম্বর দিন।
• ট্যাবকে স্পেসে (বা এর উল্টো) বদলে ইনডেন্টেশন স্বাভাবিক করুন।

পেস্ট করা টেক্সট কেন অদৃশ্য আবর্জনায় ভরা থাকে

টেক্সট খুব কমই পরিষ্কার আসে। আপনি যখন Microsoft Word, Google Docs, কোনো PDF, ইমেল ক্লায়েন্ট বা ওয়েব পেজ থেকে কপি করেন, তখন দৃশ্যমান শব্দের সঙ্গে ফরম্যাটিং অক্ষরের একটি স্তর আসে যা আপনি কখনো দেখেন না। ওয়ার্ড প্রসেসর নীরবে নন-ব্রেকিং স্পেস, কার্লি কোট ও সফট হাইফেন ঢুকিয়ে দেয়; ওয়েব পেজ   এনটিটি এবং লেআউটের জন্য ব্যবহৃত বিপথগামী জিরো-উইড্‌থ অক্ষর যোগ করে; এবং PDF সবচেয়ে বড় অপরাধী, কারণ তাদের টেক্সট আসলে অবস্থান-নির্দিষ্ট গ্লিফের একটি সমষ্টি। কোনো PDF থেকে কপি করলে প্রায়ই বাক্যের মাঝখানে শক্ত লাইন-ব্রেক, সারিবদ্ধ কলাম থেকে থেকে যাওয়া হাইফেনেশন, "fi"-এর বদলে fi-এর মতো লিগেচার, এবং টেবিল কলামের জায়গা নেওয়া স্পেসের ধারা পাওয়া যায়। এর যেকোনোটি কোনো কোড এডিটর, স্প্রেডশিট, ডেটাবেস ফিল্ড বা সার্চ বক্সে পেস্ট করুন এবং এটি এমন উপায়ে ভেঙে পড়তে পারে যা ডিবাগ করা পাগল করে দেওয়ার মতো, ঠিক এই কারণেই যে অপরাধী অদৃশ্য। টেক্সট পরিষ্কার করা মূলত সেই লুকানো স্তরকে খুলে সাধারণ, অনুমেয় অক্ষরে নামিয়ে আনার শিল্প।

লাইন এন্ডিং: LF, CRLF ও পুরনো Mac CR

টেক্সটের প্রতিটি লাইন একটি অদৃশ্য নিয়ন্ত্রণ অক্ষরে শেষ হয়, এবং তিনটি আলাদা রীতি আজও সক্রিয় ব্যবহারে আছে। Unix, Linux, macOS ও আধুনিক ওয়েব একটি একক লাইন ফিড, LF (\n, U+000A) ব্যবহার করে। Windows ও DOS একটি ক্যারেজ রিটার্নের পরে লাইন ফিড, CRLF (\r\n, U+000D U+000A) ব্যবহার করে — সেই একই জোড়া যা HTTP হেডার এবং অনেক ইন্টারনেট প্রোটোকল বাধ্যতামূলক করে। ক্লাসিক Mac OS, সংস্করণ 9 পর্যন্ত, একাকী ক্যারেজ রিটার্ন, CR (\r) ব্যবহার করত। এগুলো মেশালে আসল সমস্যা হয়: বিপথগামী ক্যারেজ রিটার্নযুক্ত ফাইল ডিফ এবং কিছু এডিটরে ^M হিসেবে দেখায়, ইন্টারপ্রেটার লাইনে "command not found" ত্রুটি দিয়ে শেল স্ক্রিপ্ট ভেঙে দেয়, এবং ভার্সন কন্ট্রোলে দুটি দৃশ্যত অভিন্ন ফাইলকে ভিন্ন হিসেবে তুলনা করাতে পারে। এই ক্লিনার অন্য যেকোনো কিছুর আগে তিনটি রীতিকেই একটি একক লাইন ফিডে স্বাভাবিক করে দেয়, যাতে বাকি পাইপলাইন প্রতিটি লাইনকে একইভাবে গণ্য করতে পারে।

অদৃশ্য ও একই-রকম-দেখতে জিনিস যা গোলযোগ ঘটায়

মুষ্টিমেয় কিছু ইউনিকোড অক্ষর হয় সম্পূর্ণ অদৃশ্য অথবা একটি সাধারণ স্পেস থেকে দৃশ্যত অভিন্ন, তবু সেগুলো সেই অক্ষর নয় যা কোনো কম্পিউটার প্রত্যাশা করে। যেহেতু আপনি সেগুলো দেখতে পান না, সেগুলো কপি-পেস্টে টিকে যায় এবং নীরবে সঠিক-মিল সার্চ, স্প্রেডশিট লুকআপ, CSV ইমপোর্ট, ফর্ম যাচাই এবং কোডে স্ট্রিং তুলনা ভেঙে দেয় — শব্দ "total" এবং শেষে একটি লুকানো জিরো-উইড্‌থ স্পেসযুক্ত শব্দ "total" মোটেই সমান নয়।

এগুলোর অধিকাংশই সেসব ওয়েব পেজ ও ওয়ার্ড প্রসেসর থেকে আসে যারা এগুলো টাইপসেটিংয়ের জন্য ব্যবহার করে। এগুলো সরিয়ে দেওয়া বা কোনো সাধারণ স্পেস দিয়ে বদলে দেওয়া একটি ক্লিনারের সবচেয়ে মূল্যবান কাজগুলোর একটি, কারণ উপসর্গ — "আমার লুকআপ বলছে এই দুটি সেল আলাদা যখন সেগুলো একই দেখায়" — আপনাকে প্রায় কোনো সূত্র দেয় না কোথায় খুঁজতে হবে।

স্মার্ট কোট ও ড্যাশ বনাম তাদের ASCII যমজ

Word, Google Docs ও অনেক প্রকাশনা সিস্টেম আপনি টাইপ করার সঙ্গে সঙ্গে আপনার টাইপোগ্রাফি স্বয়ংক্রিয়ভাবে "সংশোধন" করে দেয়: সোজা উদ্ধৃতি কার্লি হয়ে যায় এবং দ্বৈত হাইফেন ড্যাশ হয়ে যায়। গদ্যের জন্য এটি পরিশীলিত দেখায়, কিন্তু এমন কিছুর জন্য যা কোনো যন্ত্রকে পার্স করতে হবে, এটি রহস্যময় ব্যর্থতার একটি বারবার ঘটা উৎস। আপনার কিবোর্ডের সোজা অ্যাপোস্ট্রফি ও উদ্ধৃতি-চিহ্ন ASCII U+0027 ও U+0022; তাদের টাইপোগ্রাফিক প্রতিস্থাপন হলো বাম ও ডান একক উদ্ধৃতি U+2018 ও U+2019 এবং বাম ও ডান দ্বৈত উদ্ধৃতি U+201C ও U+201D। একইভাবে সাধারণ হাইফেন-মাইনাস U+002D প্রায়ই এন ড্যাশ U+2013 বা এম ড্যাশ U+2014 দিয়ে বদলানো হয়।

মুশকিল হলো এই একই-রকম-দেখতে জিনিসগুলো কোডে বিনিময়যোগ্য নয়। উদাহরণস্বরূপ, JSON-এর প্রতিটি কী ও স্ট্রিং মানের চারপাশে সোজা দ্বৈত উদ্ধৃতি U+0022 প্রয়োজন; তার জায়গায় কার্লি উদ্ধৃতি পেস্ট করুন এবং পার্সার পুরো ডকুমেন্টটি প্রত্যাখ্যান করে। কোনো কনফিগারেশন ফাইল, CSV, URL বা ডেটাবেস শনাক্তকারীতে পড়ে যাওয়া একটি এম ড্যাশ সাধারণত দৃশ্য পর্যালোচনায় টিকে যায় — এটি হাইফেনের মতো পড়া যায় — কিন্তু সেই মুহূর্তেই ব্যর্থ হয় যখন সফটওয়্যার একে আক্ষরিকভাবে গণ্য করে। সমাধান হলো টেক্সট কোডে পৌঁছানোর আগে স্মার্ট বিরামচিহ্নগুলোকে তাদের ASCII সমতুল্যে বদলে দেওয়া, অথবা আগে থেকেই যন্ত্র-নির্দিষ্ট টেক্সট কোনো সাধারণ এডিটরে রচনা করা। কার্লি উদ্ধৃতিকে সোজা উদ্ধৃতি দিয়ে, এবং এন বা এম ড্যাশকে সাধারণ হাইফেন দিয়ে বদলানো কোনো প্রোগ্রামের দিকে যাওয়া যেকোনো টেক্সটের জন্য একটি নিয়মিত, নিরাপদ স্বাভাবিকীকরণ।

ইউনিকোড নরমালাইজেশন: NFC, NFD, NFKC ও NFKD

একই দৃশ্যমান টেক্সট কোড পয়েন্টের বিভিন্ন অনুক্রম হিসেবে সংরক্ষিত হতে পারে। উচ্চারণ-চিহ্নিত অক্ষর é একটি একক প্রাক-রচিত অক্ষর (U+00E9) হতে পারে অথবা একটি সাধারণ "e" যার পরে একটি সংযোজক তীব্র উচ্চারণ-চিহ্ন (U+0301) থাকে। সেগুলো অভিন্ন দেখায় ও একই অর্থ বহন করে, কিন্তু বাইট-প্রতি-বাইট সেগুলো ভিন্ন স্ট্রিং, তাই কোনো সার্চ বা তুলনা একটিকে মিস করতে পারে যখন অন্যটির সঙ্গে মিলে যায়। ইউনিকোড নরমালাইজেশন, যা Unicode Standard Annex #15 সংজ্ঞায়িত করে, টেক্সটকে চারটি ক্যানোনিকাল রূপের একটিতে পুনরায় লেখে যাতে সমতুল্য স্ট্রিং অভিন্ন হয়ে যায়।

"K" (সঙ্গতি) রূপগুলো শক্তিশালী কিন্তু ক্ষতিকর (lossy): NFKC, fi যুক্তাক্ষরকে "fi"-তে, পূর্ণ-প্রস্থ Ａ কে সাধারণ "A"-তে এবং সুপারস্ক্রিপ্ট ² কে "2"-তে বদলে দেয়। আলগা মিল ও সার্চের জন্য এটাই আপনি চান, কিন্তু এটি ফরম্যাটিং পার্থক্য মুছে দেয়, তাই Unicode Consortium যথেচ্ছ টেক্সটে NFKC বা NFKD অন্ধভাবে প্রয়োগের বিরুদ্ধে সতর্ক করে। অধিকাংশ পরিষ্কারের কাজের জন্য NFC নিরাপদ পছন্দ; NFKC কেবল তখনই বেছে নিন যখন আপনি বিশেষভাবে সেই সঙ্গতি অক্ষরগুলো সমতল করতে চান।

হোমোগ্লিফ ও ইউনিকোড স্পুফিং

কিছু অক্ষর অদৃশ্য নয় বরং একই-রকম-দেখতে, এবং এটি পরিপাটির মতোই একটি নিরাপত্তা সমস্যা। ল্যাটিন, সিরিলিক ও গ্রিক বর্ণমালার প্রতিটিতে এমন অক্ষর আছে যা প্রায় প্রতিটি ফন্টে একই-রকম উপস্থাপিত হয়: ল্যাটিন "a" (U+0061) ও সিরিলিক "а" (U+0430) পর্দায় অভিন্ন, তেমনি ল্যাটিন "o" (U+006F) ও সিরিলিক "о" (U+043E)। একটিকে অন্যটি দিয়ে বদলানোকে হোমোগ্লিফ (homoglyph) আক্রমণ বলা হয়। এর সবচেয়ে পরিচিত রূপ, আন্তর্জাতিকীকৃত-ডোমেন-নাম হোমোগ্রাফ আক্রমণে, একজন রেজিস্ট্রার একই-রকম-দেখতে অক্ষর দিয়ে একটি ওয়েব ঠিকানা তৈরি করে যাতে কোনো ক্ষতিকর সাইট apple.com পড়তে দেখায় অথচ আসলে এটি Punycode-এ এনকোড করা একটি ভিন্ন ডোমেন হয় (সেই xn-- উপসর্গ যা আপনি মাঝে মাঝে দেখেন)। 2017 সালের একটি ব্যাপকভাবে উদ্ধৃত প্রদর্শন এমন একটি ডোমেন নিবন্ধন করেছিল যা কিছু ব্রাউজার "apple.com" হিসেবে দেখাত।

একই কৌশল ঠিকানা-বার থেকে বহু দূরেও দেখা যায়: কোনো ইউজারনেম, কুপন কোড, স্প্রেডশিট কী বা সোর্স-কোড শনাক্তকারীতে লুকানো একটি সিরিলিক অক্ষর দুটি "অভিন্ন" মানকে যাচাই থেকে বাঁচাতে পারে বা নীরবে মিল না হতে দিতে পারে। টেক্সটকে কোনো পরিচিত বর্ণমালায় সীমাবদ্ধ করা, অথবা অন্তত মিশ্র-লিপি বিষয়বস্তু চিহ্নিত করা, প্রতিরক্ষা — এবং প্রথম পদক্ষেপ সবসময় সেই লুকানো অক্ষরগুলো দৃশ্যমান করা, ঠিক যা টেক্সট পরিষ্কার করা আপনাকে করতে দেয়।

কোন পরিষ্কার প্রয়োগ করবেন তা বেছে নেওয়া

পরিষ্কার করা একটি অপারেশন নয় বরং একটি টুলবক্স, এবং সঠিক পছন্দ সম্পূর্ণভাবে নির্ভর করে টেক্সট কোথায় যাচ্ছে তার উপর। যে রূপান্তর কোনো এলোমেলো তালিকা বাঁচায়, তা কোনো কোড ফাইলকে নীরবে নষ্ট করতে পারে, তাই অপারেশনকে গন্তব্যের সঙ্গে মেলানো লাভজনক।

• HTML ট্যাগ সরান যখন আপনি কোনো কপি করা ওয়েব স্নিপেট বা ইমেল স্বাক্ষর থেকে পাঠযোগ্য টেক্সট চান। এটি ভুল পদক্ষেপ যদি আপনার আসলে মার্কআপ প্রয়োজন হয় — কোনো টেমপ্লেট বা ইমেল বডি থেকে ট্যাগ সরানো সেই কাঠামোই ফেলে দেয় যা আপনি রাখতে চেয়েছিলেন।
• ইমোজি ও চিহ্ন সরান সেসব ফিল্ডের জন্য যেগুলো যন্ত্র-পরিষ্কার থাকতে হবে: ইউজারনেম, ফাইল নাম, প্রোডাক্ট SKU, CSV কী ও URL। সাধারণ গদ্য, সোশ্যাল ক্যাপশন বা চ্যাট লগের জন্য, এগুলো সরানো সাধারণত পরিপাটি করার বদলে অর্থ নষ্ট করে।
• খালি লাইন সংকুচিত করুন — কয়েকটি খালি সারিকে একটিতে কমানো — PDF বা ইমেল থেকে পেস্ট করা গদ্য পরিপাটি করার জন্য, যেখানে বিপথগামী অনুচ্ছেদ-ব্রেক জমে যায়। এমন ফরম্যাট নিয়ে সতর্ক থাকুন যেখানে খালি লাইন অর্থপূর্ণ, যেমন Markdown (অনুচ্ছেদ বিভাজক) বা নির্দিষ্ট-প্রস্থ ডেটা।
• স্পেসের ধারা সংকুচিত করুন এমন টেক্সট ঠিক করতে যেখানে ট্যাব বা সারিবদ্ধকরণ-স্পেসিং দীর্ঘ ফাঁকে সমতল হয়ে গেছে। এটি সোর্স কোডে কখনো প্রয়োগ করবেন না, যেখানে ইনডেন্টেশন গুরুত্বপূর্ণ, অথবা স্পেস দিয়ে কলাম-সারিবদ্ধ কোনো কিছুতে।
• কেস ফোল্ডিং — সবকিছু ছোট বা বড় হাতের অক্ষরে করা — অক্ষর-অসংবেদনশীল তুলনা কী তৈরি ও তালিকা থেকে ডুপ্লিকেট সরানোর জন্য, প্রদর্শন-টেক্সটের জন্য নয়, যেখানে এটি যথাযথ বিশেষ্য, সংক্ষিপ্তরূপ ও বাক্য-শুরুর বড় হাতের অক্ষর নষ্ট করবে।

সোনালি নিয়ম হলো অনেক যন্ত্র-ফরম্যাটে স্পেস ও কেস গুরুত্বপূর্ণ। Python ও YAML সঠিক ইনডেন্টেশনের উপর নির্ভর করে, Makefiles-এর আসল ট্যাব অক্ষর প্রয়োজন, এবং Markdown খালি লাইন ও সামনের স্পেসকে কাঠামো হিসেবে গণ্য করে। যখন টেক্সট এদের কোনোটির জন্য তৈরি, তখন সেই অদৃশ্য ও একই-রকম-দেখতে জিনিসগুলো পরিষ্কার করুন যা সত্যিই বাগ সৃষ্টি করে — জিরো-উইড্‌থ অক্ষর, নন-ব্রেকিং স্পেস, স্মার্ট কোট, অমিল লাইন এন্ডিং — কিন্তু অর্থপূর্ণ স্পেস স্পর্শ করবেন না। যেহেতু এই টুল তার ধাপগুলো একটি নির্দিষ্ট ক্রমে প্রয়োগ করে এবং ফলাফল তাৎক্ষণিক দেখায়, আপনি একবারে একটি অপারেশন টগল করে ঠিক দেখতে পারেন প্রতিটি পরিবর্তন কী করে, আউটপুটে ভরসা করার আগেই।

প্রায়শই জিজ্ঞাসিত প্রশ্ন

টেক্সট ক্লিনার কী করে?

এটি সবচেয়ে সাধারণ লাইন ও স্পেস পরিষ্কারের কাজগুলো একটি পাসে একত্র করে: ডুপ্লিকেট ও খালি লাইন সরানো, স্পেস ট্রিম ও সংকুচিত করা, HTML ট্যাগ সরানো, লাইন সাজানো বা উল্টানো, ট্যাব ও স্পেস বদলানো, প্রিফিক্স বা সাফিক্স যোগ করা, লাইনে নম্বর দেওয়া এবং সবকিছু একত্র করা। আপনার প্রয়োজনীয় অপারেশনগুলো চালু করুন এবং পরিষ্কার করা ফলাফল তাৎক্ষণিক আপডেট হয়।

অপারেশনগুলো কোন ক্রমে প্রয়োগ হয়?

সবসময় একই অনুমেয় ক্রমে যাতে ফলাফল পুনরাবৃত্তিযোগ্য থাকে: ১) HTML সরান, ২) প্রতি লাইনে — ট্যাব/স্পেস বদলান, স্পেস সংকুচিত করুন, তারপর ট্রিম করুন, ৩) খালি লাইন সরান, ৪) ডুপ্লিকেট সরান, ৫) সাজান বা উল্টান, ৬) প্রিফিক্স/সাফিক্স যোগ করুন, ৭) লাইনে নম্বর দিন, ৮) জোড়া দিন। যেহেতু ক্রম নির্দিষ্ট, একই ইনপুট ও একই সেটিং সবসময় একই আউটপুট দেয়।

“ডুপ্লিকেট লাইন সরান” কীভাবে ঠিক করে কোনটি ডুপ্লিকেট?

এটি আগের ধাপগুলো চলার পর সম্পূর্ণ লাইনের তুলনা করে (অর্থাৎ ট্রিমিং ও সংকোচন আগে হয়)। কোনো লাইন প্রথমবার এলে সেটি রাখা হয়; পরের যেকোনো অভিন্ন লাইন বাদ দেওয়া হয়, ক্রম বজায় থাকে। “অক্ষর-অসংবেদনশীল” নির্বাচন করলে “Apple” ও “apple”-কে একই লাইন হিসেবে ধরা হয়।

এটি কি আমার লাইনের ক্রম বদলাবে?

না — যদি না আপনি কোনো সাজানোর বিকল্প বা “ক্রম উল্টান” নির্বাচন করেন। সাজানো “কোনোটি নয়”-তে সেট থাকলে প্রতিটি অপারেশন মূল লাইন-ক্রম বজায় রাখে (ডুপ্লিকেট যথাস্থানে সরে, খালি লাইন যথাস্থানে সরে)।

সাজানো কি সংখ্যা সঠিকভাবে সামলায়?

হ্যাঁ। সাজানো সংখ্যা-সচেতন, তাই “file2” সাধারণ টেক্সট-ক্রমের বদলে “file10”-এর আগে আসে, যা অন্যথায় “file10”-কে আগে রাখত। সাজানোর সময় বড়-ছোট হাতের অক্ষর উপেক্ষা করতে এটি “অক্ষর-অসংবেদনশীল”-এর সঙ্গে মেলান।

আমার টেক্সট কি কোথাও আপলোড হয়?

না। প্রতিটি অপারেশন সম্পূর্ণভাবে আপনার ব্রাউজারে JavaScript ব্যবহার করে চলে — আপনার টেক্সট কখনো আপনার ডিভাইস থেকে বাইরে যায় না। আপনি টুলটি অফলাইনে এবং সংবেদনশীল বিষয়বস্তুতে কোনো গোপনীয়তা ঝুঁকি ছাড়াই ব্যবহার করতে পারেন।

সম্পর্কিত টুল

• ওয়ার্ড কাউন্টার
• কেস কনভার্টার
• টেক্সট ডিফ চেকার
• সংখ্যাকে শব্দে রূপান্তর
• রেগেক্স টেস্টার
• HTML এনটিটি এনকোডার / ডিকোডার