হালনাগাদ, অক্টোবর ২০২৬ — নিচের বক্তব্যের ছয় সপ্তাহ পর ক্লাউডফ্লেয়ার সেই অনুযায়ী পদক্ষেপ নেয়: ২০২৫ সালের ১ জুলাই থেকে নতুন ডোমেইনগুলোতে এআই ক্রলার ডিফল্টভাবেই আটকে দেওয়া হয়, আর পে-পার-ক্রল বিটা ত্রিশ বছর অব্যবহৃত পড়ে থাকা একটি এইচটিটিপি স্ট্যাটাস কোডকে ফিরিয়ে আনে। কী বদলাল, আর কী বদলাল না — মূল লেখার পরেই।
ম্যাথিউ প্রিন্স চালান ক্লাউডফ্লেয়ার, যে কোম্পানির সার্ভার বিশ্বের প্রায় এক-পঞ্চমাংশ ওয়েবসাইটের সামনে বসে থাকে—তাই ওয়েব ট্রাফিকের কী হচ্ছে, তা তিনি বর্ণনা করেন নিজের ড্যাশবোর্ড থেকে পড়ে। এ মাসে কাউন্সিল অন ফরেন রিলেশনসে তিনি বর্ণনা করলেন একটি ব্যর্থ হতে থাকা ব্যবস্থা: পনেরো বছর ধরে উন্মুক্ত ওয়েবের খরচ জোগানো বিনিময়টি আর দাম দেয় না।
পুরোনো চুক্তি
ওয়েবের অর্থনীতি চলেছে সার্চে। একটি সাইট গুগলকে তার পাতা কপি করতে দিত; বিনিময়ে গুগল সেখানে পাঠক পাঠাত; পাঠকেরা বিজ্ঞাপন দেখতেন বা সাবস্ক্রিপশন কিনতেন; সেই টাকায় পরের লেখা হতো। ‘এটি ছিল ন্যায্য লেনদেন,’ প্রিন্স বলেন। এর প্রতিটি অংশ নির্ভর করত ক্লিকে—যে মুহূর্তে পাঠক গুগল ছেড়ে উৎসে পৌঁছান।
ক্লিকগুলো গেল কোথায়
গুগল এখনো সব কপি করে। যা আর একই হারে করে না, তা মানুষকে এগিয়ে পাঠানো। প্রিন্স সংখ্যা দিলেন: ৭৫ শতাংশ প্রশ্নের উত্তর এখন গুগলের নিজের ফলাফল পাতাতেই—একটি স্নিপেট, একটি নলেজ প্যানেল, একটি এআই ওভারভিউ—আর অনুসন্ধানকারী কখনো বেরোন না। দশ বছর আগে গুগল প্রতি একজন দর্শক পাঠাতে প্রায় দুটি পাতা ক্রল করত; আজ ক্লাউডফ্লেয়ারের মাপে দর্শকপ্রতি ছয় পাতা। বিজ্ঞাপন, সদস্যতা বা সরল পাঠকসংখ্যায় বেঁচে থাকা সাইটগুলো তাদের খাওয়ানো ট্রাফিক হারিয়েছে।
এআইয়ের অনুপাত
এআই কোম্পানিগুলো মাত্রায় আরও খারাপ, কারণ তারা কনটেন্ট নেয় প্রশিক্ষণ ও উত্তরের জন্য, আর প্রায় কাউকে ফেরত পাঠায় না। ক্লাউডফ্লেয়ারের হিসাব: ওপেনএআই প্রতি একজন দর্শক পাঠাতে প্রায় ২৫০ পাতা ক্রল করে; অ্যানথ্রপিক প্রায় ৬ হাজার। মডেলগুলো গড়া হয় ওয়েবের লেখা থেকে, তারপর ওয়েবে যাওয়ার কারণটিই প্রতিস্থাপন করে। প্রিন্সের উপসংহার স্পষ্ট: প্রকাশকেরা আয় করতে না পারলে প্রকাশ থামান, আর এআই কোম্পানিগুলো নিজেরাই যে ব্যবস্থার ওপর নির্ভরশীল, তা ভাঙে।
এখানে এর মানে
বাংলা ভাষার সাইট এটি দ্বিগুণ টের পায়। তাদের বিজ্ঞাপনের হার এমনিতেই বিশ্বের সর্বনিম্নের মধ্যে, তাই সার্চ ট্রাফিকের ৩০ শতাংশ হারানো চাপ নয়, বন্ধ হয়ে যাওয়া; আর বাংলা প্রশিক্ষণ-তথ্য দুর্লভ বলে এআই ক্রলার বাংলা কনটেন্টকে দাম দেয় বেশি, বাংলা পাঠক পাঠায় কোথাও না। সাড়া দেওয়ার পথ অন্যত্রের মতোই—robots.txt ও ক্লাউডফ্লেয়ারের বট নিয়মে ক্রলার আটকানো, প্রবেশে মূল্য নেওয়া, সার্চে না ঝুলে অ্যাপ, ইমেইল ও সামাজিক চ্যানেলে সরাসরি পাঠক গড়া। কোনোটিই আরামের নয়। কিন্তু প্রিন্স যে লেনদেনের বর্ণনা দেন, তা ফিরছে না, আর এখন তা ঘিরে পরিকল্পনা করা প্রকাশক ক্লিকের অপেক্ষায় থাকা প্রকাশকের চেয়ে ভালো জায়গায়।
সূত্র: ইন্ডিয়া টুডে, প্রথম আলোর বরাতে।
২০২৫ সালের ১ জুলাই ক্লাউডফ্লেয়ার যা করল
প্রিন্স একটি সমঝোতা ভেঙে পড়ার কথা বলেছিলেন। এরপর তাঁর কোম্পানি সেই সমঝোতার একটি শর্ত বদলে দেয় — পরিবর্তনটি শুনতে যত ছোট, ফলাফলে তার চেয়ে অনেক বড়।
ডিফল্ট উল্টে গেল। এআই ক্রলার আটকানো ক্লাউডফ্লেয়ারের যেকোনো গ্রাহকের জন্য আগেও সম্ভব ছিল; সেটিংটি এক বছরের বেশি সময় ধরেই ছিল। ২০২৫ সালের ১ জুলাই থেকে নতুন নিবন্ধিত ডোমেইনে এটি চালু অবস্থায় থাকে, অর্থাৎ ক্রলারকে স্পষ্টভাবে নিষেধ করার বদলে স্পষ্টভাবে অনুমতি দিতে হয়।
নীতিগত পরিবর্তন বলতে এটুকুই, আর এটি গুরুত্বপূর্ণ ডিফল্টের স্বভাবের কারণে। ডিফল্ট প্রায় কেউই বদলায় না। যে অনুমতি চেয়ে নিতে হয় তা কদাচিৎ নেওয়া হয়; যে অনুমতি কেড়ে নিতে হয় তা কদাচিৎ কাড়া হয়। এক বছর ধরে সরঞ্জামটি ছিল, তবু ওয়েব ক্রলারের জন্য খোলাই থেকেছে, কারণ সেটিংয়ে হাত না দেওয়াই মানুষের স্বভাব। ওয়েবের প্রায় এক-পঞ্চমাংশের সামনে বসে থাকা একটি কোম্পানি যখন সেটিং কোন দিকে তাক করা থাকবে তা উল্টে দেয়, তখন এক বছরের প্রচারের চেয়ে বেশি কাজ হয়।
পে পার ক্রল। সঙ্গে ক্লাউডফ্লেয়ার একটি ব্যক্তিগত বিটা চালু করে, যেখানে প্রকাশকেরা ক্রলারের প্রবেশের দাম ঠিক করে দিতে পারেন। এটি দাঁড় করানো হয়েছে এইচটিটিপি ৪০২ পেমেন্ট রিকোয়ার্ড-এর ওপর — মূল এইচটিটিপি নির্দেশনায় এমন এক লেনদেন ব্যবস্থার জন্য সংরক্ষিত স্ট্যাটাস কোড, যা কখনো তৈরিই হয়নি, এবং যা তিন দশক অব্যবহৃত পড়ে ছিল। অর্থ না দিয়ে পাতা চাওয়া ক্রলার পায় ৪০২ আর একটি দাম; যে দেয়, সে পায় পাতাটি।
প্রকাশকেরা পাশে দাঁড়ান: নাম-ঘোষিত সমর্থকদের মধ্যে ছিল অ্যাসোসিয়েটেড প্রেস, দ্য আটলান্টিক, টাইম, ফরচুন, স্কাই নিউজ, বাজফিড, রেডিট, পিন্টারেস্ট ও অ্যাডউইক।
যা এতে মেটে না
তিনটি জিনিস, আর কোনোটিই ছোট নয়।
নাগাল। ক্লাউডফ্লেয়ার কেবল তার নিজের আড়ালে থাকা সাইটেই এটি কার্যকর করতে পারে। সেটি ওয়েবের বড় অংশ, তবে পুরোটা নয় — আর ক্রলারের কাছে যে অংশটির গুরুত্ব সবচেয়ে বেশি, অর্থাৎ সস্তা শেয়ার্ড হোস্টিংয়ে থাকা অসংখ্য ছোট সাইটের লম্বা লেজ, সেটিই কোনো সিডিএনের আড়ালে থাকার সম্ভাবনা সবচেয়ে কম।
শনাক্তকরণ। আটকানোর জন্য জানতে হয় কোন অনুরোধটি ক্রলারের। যে ক্রলার ইউজার-এজেন্টে সৎভাবে নিজের পরিচয় দেয়, তাকে ঠেকানো সহজ। যে দেয় না, তাকে ধরতে হয় আচরণ ও নেটওয়ার্ক ফিঙ্গারপ্রিন্ট দেখে — যা শেষহীন এক অস্ত্রপ্রতিযোগিতা, আর প্রতিপক্ষ সেসব কোম্পানি যাদের প্রকৌশলীর সংখ্যা তাদের ঠেকাতে চাওয়া লোকদের চেয়ে বেশি।
দাম। বাজার তৈরি হতে দুই পক্ষকেই আসতে হয়। প্রকাশক একটি অঙ্ক বলতে পারেন; কিন্তু কোনো এআই কোম্পানিকে তা দিতেই হবে এমন বাধ্যবাধকতা নেই — একই তথ্য সস্তা কোথাও থেকে সংগ্রহ করে শিখে নেওয়া যায়, আর সংবাদ প্রতিবেদনের তথ্য কপিরাইটযোগ্য নয়, যদিও তার প্রকাশভঙ্গি হতে পারে। একটি ক্রলের মূল্য কত, তা এখনো মীমাংসিত নয়; আর মীমাংসা না হওয়া পর্যন্ত ৪০২ হলো বাজারবিহীন একটি কৌশল।
প্রকাশকের অবস্থান এখন কোথায়
প্রিন্সের বক্তব্যের পর অবস্থান সত্যিই বদলেছে — একটি খোলা প্রশ্ন থেকে দুটি সিদ্ধান্তযোগ্য প্রশ্নে।
প্রথমটি, আটকাবেন কি না। এর সৎ হিসাবটি প্রচারণার তুলনায় কম স্বস্তিদায়ক। ক্রলার আটকালে এআইয়ের উত্তরে উদ্ধৃত হওয়া থেকে যেটুকু পরিচিতি আসত তা হারাতে হয়, অথচ কোনো আয় ফিরে আসে না — কারণ ফিরে আসার মতো আয় ছিলই না। এটি একধরনের বাজি: আজ আটকে রাখা লেখার দাম পরে পাওয়া যাবে। বাজিটি ঠিকও হতে পারে। তবু বাজিই, আর ছোট প্রকাশক এতে খরচ দেন এখনই, আর ফেরত পান — যদি পান — অনেক পরে।
দ্বিতীয়টি, বদলে কী গড়বেন। এখানে কোনো অস্পষ্টতা নেই। এই পরিস্থিতিতে যে উত্তরগুলো টেকে — সরাসরি পাঠক, ইমেইল, অ্যাপ, সদস্যপদ, ইচ্ছে করে সাইটে আসার একটি কারণ — তার সবই যেকোনো অবস্থাতেই একজন প্রকাশকের চাওয়ার কথা। সার্চ থেকে আসা রেফারেল আর ক্রলারের ক্ষতিপূরণ, দুটোই প্রকাশকের নিয়ন্ত্রণের বাইরে। কেউ না পাঠালেও যে পাঠক ফিরে আসেন, তিনি নন।
