বাংলাদেশ প্রযুক্তি

এআই বাংলাকে বলে ‘স্বল্প-সম্পদের ভাষা’ — কারণটা সহজ, আমরা অনলাইনে যথেষ্ট বাংলা লিখিনি

মডেলগুলো বাংলার প্রতি বিরূপ নয়; বাংলা পায়নি বলেই দুর্বল। অর্থাৎ সমাধানের একটি অংশ তাঁদেরই হাতে, যাঁরা ইন্টারনেটে শুদ্ধ বাংলা লেখেন।

এআই বাংলাকে বলে ‘স্বল্প-সম্পদের ভাষা’ — কারণটা সহজ, আমরা অনলাইনে যথেষ্ট বাংলা লিখিনি

বাংলা পৃথিবীর অন্যতম বহুল ব্যবহৃত ভাষা। অথচ কৃত্রিম বুদ্ধিমত্তার জগতে একে নিয়মিতই বলা হয় স্বল্প-সম্পদের ভাষা বা লো-রিসোর্স ল্যাঙ্গুয়েজ। দুটি কথাই সত্যি, আর কারণটি একেবারেই সাদামাটা: মডেল শেখে বিপুল পরিমাণ লেখা পড়ে, আর ইন্টারনেটে ইংরেজির তুলনায় ডিজিটাল বাংলা লেখা এখনো অনেক কম।

ঘাটতিটি দেখতে কেমন

প্রথম আলো ছোট ও চেনা একটি উদাহরণ দিয়েছে। এক সন্ধ্যায় ব্যস্ততার মধ্যে তামান্না বাংলায় এআইকে বলেছিলেন মেয়ের জন্য একটি চিঠি লিখে দিতে। চিঠি এসেছিল ঠিকই—কিন্তু অনেক বাক্য ছিল যান্ত্রিক, আর কোথাও কোথাও শব্দের ব্যবহারও খাপ খায়নি।

কম তথ্য থেকে শেখার ফল এটিই: ভুল বানান, আড়ষ্ট গঠন, কারিগরিভাবে ঠিক কিন্তু সুরে বেঠিক অনুবাদ। মডেল বাংলাকে প্রত্যাখ্যান করছে না। সে কেবল কম পড়েছে, আর যা পড়েছে তার বড় অংশই ইংরেজি থেকে অনুবাদ করা—বাংলায় ভেবে লেখা নয়।

বেশি টোকেন, বেশি খরচ
ইংরেজি ধরে বানানো টোকেনাইজারে বাংলা প্রতি শব্দে অনেক বেশি টোকেনে ভাঙে, তাই একই প্রশ্ন বাংলায় করলে খরচ বেশি। গ্রাফিক: টেক বিডি।

যে খরচের কথা কেউ বলে না

দ্বিতীয় একটি জরিমানার কথাও জানা দরকার, কারণ তা বিলের মধ্যেই দেখা যায়। মডেল লেখাকে ভাগ করে টোকেনে, আর বড় মডেলগুলোর পেছনের টোকেনাইজারগুলো মূলত ইংরেজি ধরে বানানো। ইংরেজির তুলনায় বাংলা লিপি প্রতি শব্দে অনেক বেশি টোকেনে ভেঙে যায়। ফলে একই প্রশ্ন বাংলায় করলে খরচ বেশি, মডেলের প্রেক্ষাপটে কম ইতিহাস ধরে, আর চলেও ধীরে।

অর্থাৎ বাংলায় পণ্য বানানো একজন বাংলাদেশি ডেভেলপারের প্রতি ব্যবহারকারীতে খরচ হয় বেশি, একই পণ্য ইংরেজিতে বানানো কারও চেয়ে। এটি কারও নীতি নয়; টোকেনাইজার কাদের লেখা দিয়ে তৈরি হয়েছে, এটি তারই পার্শ্বফল। তবু এটি বাস্তব বাণিজ্যিক অসুবিধা—আর স্থানীয় ভাষার চাহিদার তুলনায় স্থানীয় ভাষার পণ্য কম কেন, সেই প্রশ্নের উত্তরে কথাটি বলা দরকার।

যা বদলাচ্ছে

দেশে-বিদেশে গবেষকেরা বিশেষভাবে বাংলার জন্য মডেল তৈরি করছেন, আর বাংলাদেশের খসড়া জাতীয় কৃত্রিম বুদ্ধিমত্তা নীতিমালা (২০২৬–২০৩০) দায়িত্বশীল ও সবাইকে নিয়ে চলার মতো এআই উন্নয়নের কথা বলছে। নীতিমালার নথি প্রশিক্ষণের তথ্য তৈরি করে না, তবে এটি ঠিক করে দেয় সরকারি লেখাগুলো—ফরম, আদালতের রায়, পাঠ্যবই, আর্কাইভ—যে কারও প্রশিক্ষণের জন্য উন্মুক্ত হবে কি না। এআইয়ে বাংলার জন্য ওই একটি সিদ্ধান্তই যেকোনো অঙ্গীকারের বিবৃতির চেয়ে বেশি কাজে দেবে।

ততক্ষণ পর্যন্ত করণীয়

ছোট ও পরিষ্কার বাক্যে প্রশ্ন করুন। যা ফিরে আসে তা নিজে পড়ে ঠিক করে নিন—চাকরির আবেদন, আইনি কাগজ ও অফিসের চিঠিতে তো অবশ্যই, যেখানে একটি আড়ষ্ট বাক্য বা ভুল শব্দের মূল্য দিতে হয়। গুরুত্বপূর্ণ কোথাও এআইয়ের লেখা বাংলা চিঠি একবার জোরে পড়ে না দেখে বসিয়ে দেবেন না।

আর যে কথাটি শুনতে আবেগি, কিন্তু যান্ত্রিকভাবেও সত্যি: ভাষা যত বেশি ব্যবহৃত হবে, যন্ত্র তত ভালো শিখবে। অনলাইনে লেখা প্রতিটি শুদ্ধ বাংলা—একটি ব্লগ পোস্ট, পণ্যের বিবরণ, একটি মন্তব্য, নথিপত্রের একটি পাতা—পরের প্রজন্মের মডেলের প্রশিক্ষণ-তথ্য হয়ে ওঠে। প্রশ্নটি কেবল এই নয় যে এআই বাংলা শিখবে কি না। প্রশ্নটি হলো, শেখার মতো কিছু থাকার জন্য আমরা যথেষ্ট পরিমাণে, যথেষ্ট ভালো বাংলা লিখব কি না।

যে কাজটি না করাই ভালো

বাংলা উত্তর দুর্বল হলে অনেকেই ইংরেজিতে নির্দেশ লিখে বাংলায় উত্তর চান। এতে বাক্য সাধারণত মসৃণ হয়—আর সমস্যাটি সেখানেই। যা ফিরে আসে তা বাংলার পোশাকে ইংরেজি চিন্তা: বাগ্‌ধারা বেঠিক, বাক্যের ক্রম বিদেশি, আর লেখাটি অনুবাদের মতো শোনায়, কারণ সেটি অনুবাদই। যাঁরা অনুবাদ চাননি এমন বাংলাভাষী পাঠকের জন্য লেখা যেকোনো কিছুতে বরং বাংলা নির্দেশ থেকে পাওয়া আড়ষ্ট খসড়াটিই নিয়ে নিজে ঠিক করে নেওয়া ভালো।

আরেকটি বাস্তব পরামর্শ: এআইকে দিয়ে বাংলা বানান বা যুক্তাক্ষর ঠিক করাতে গেলে ফল যাচাই না করে নেবেন না। স্বল্প-সম্পদের ভাষায় মডেল আত্মবিশ্বাসের সঙ্গে ভুল করে—আর ভুলটি এমন জায়গায় হয়, যেখানে পাঠক তা ধরে ফেলেন, কিন্তু লেখক ধরেন না।

সম্পর্কিত: বাংলায় চাকরির সাক্ষাৎকার নেওয়া এআই।

সূত্র: প্রথম আলো

লিখেছেন

Tech BD

টেক বিডি ঢাকাভিত্তিক একটি স্বাধীন প্রযুক্তি প্রকাশনা, প্রকাশিত হয় বাংলা ও ইংরেজিতে। লেখাগুলো আলাদা লেখকের নামে নয়, প্রকাশনার নামেই প্রকাশিত হয়; সংশোধন বা সূত্র নিয়ে প্রশ্ন পাঠানো যায় info@tech-bd.com ঠিকানায়।