স্ট্যানফোর্ডের NCM আর্কিটেকচার: এলএলএম কি মৃত? টোকেন-বাই-টোকেন বনাম কনসেপ্ট মডেলিং বিশ্লেষণ

আজকের দিনে চ্যাটজিপিটি, ক্লড কিংবা জেমিনির মতো এআই টুলস আমাদের দৈনন্দিন জীবনের অবিচ্ছেদ্য অংশ হয়ে উঠেছে। আমরা কোড লিখছি, জটিল গবেষণার সারাংশ বের করছি এবং নিত্যনতুন সমস্যার সমাধান নিচ্ছি। কিন্তু এআই প্রযুক্তির ভেতরের আর্কিটেকচার নিয়ে প্রযুক্তিবিদদের মনে দীর্ঘদিন ধরেই এক অস্বস্তিকর প্রশ্ন ঘুরপাক খাচ্ছে: বর্তমানে আমরা যে লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) ব্যবহার করছি, এটিই কি এআই-এর চিরস্থায়ী রূপ? নাকি এর চেয়েও বহুগুণ দ্রুতগতির, বিদ্যুৎসাশ্রয়ী ও দক্ষ কোনো নতুন আর্কিটেকচার আসতে যাচ্ছে? সম্প্রতি যুক্তরাষ্ট্রের বিখ্যাত স্ট্যানফোর্ড বিশ্ববিদ্যালয়ের গবেষকরা একটি সম্পূর্ণ নতুন এআই আর্কিটেকচার উন্মোচন করেছেন, যার নাম ‘নেক্সট কনসেপ্ট মডেলিং’ বা এনসিএম (NCM)।^[১] তাদের গবেষণার বেঞ্চমার্কে কিছু অবিশ্বাস্য উল্লম্ফন দেখা গেছে। কিন্তু এনসিএম আসলে কী, এটি কীভাবে কাজ করে এবং সবচেয়ে বড় কথা, এর ফলে কি বর্তমান এলএলএম বিলুপ্ত হতে চলেছে?

ট্রেডিশনাল এলএলএমের টোকেন-বাই-টোকেন প্রতিবন্ধকতা

এনসিএম বোঝার আগে বর্তমান এলএলএমের ভেতরের ইঞ্জিন কীভাবে কাজ করে তা পরিষ্কার হওয়া প্রয়োজন। চ্যাটজিপিটি বা জেমিনির মতো মডেলগুলো হলো অটো-রিগ্রেসিভ ল্যাঙ্গুয়েজ মডেল (Auto-regressive Models)। এরা বিপুল পরিমাণ টেক্সট ডাটা বিশ্লেষণ করে ভাষার প্যাটার্ন শিখে নিয়েছে। সহজ কথায়, একটি মডেল পূর্ববর্তী শব্দের ওপর ভিত্তি করে পরবর্তী শব্দ কী হতে পারে, তার সম্ভাব্যতা (Probability) হিসাব করে আউটপুট দেয়।

এখানে মূল একক হলো ‘টোকেন’ (Token)। একটি টোকেন একটি পূর্ণাঙ্গ শব্দ, শব্দের ভগ্নাংশ বা কখনো কোনো বিরামচিহ্নও হতে পারে। ধরুন, আপনি মডেলকে একটি জটিল টেকনিক্যাল প্রশ্ন করলেন এবং মডেলটি ১,০০০ টোকেনের একটি উত্তর তৈরি করবে। প্রচলিত অটো-রিগ্রেসিভ মডেলগুলো একবারে একটি একক টোকেন প্রেডিক্ট করে। অর্থাৎ ১,০০০ টোকেন লিখতে মডেলটিকে পর্যায়ক্রমে প্রায় ১,০০০টি পৃথক সিকোয়েনশিয়াল জেনারেশন স্টেপ পার হতে হয়।^[২]

প্রতিটি নতুন স্টেপ তার পূর্বের সব টোকেনের কনটেক্সট প্রসেস করতে বাধ্য থাকে। আধুনিক এআই মডেলে কেভি-ক্যাশ (KV Cache) বা ব্যাচিংয়ের মতো বহু ইনফারেন্স অপটিমাইজেশন থাকলেও, টোকেন-বাই-টোকেন জেনারেশনের এই ধীরগতির সিকোয়েনশিয়াল মেকানিজম এক বিশাল টেকনিক্যাল ও বাণিজ্যিক বোঝা। প্রতিটি স্টেপের পেছনে বিপুল জিপিইউ কম্পিউটেশন, মেমোরি ব্যান্ডউইথ এবং বিদ্যুৎ খরচ হয়, যা এআই কোম্পানিগুলোর ক্লাউড পরিচালন ব্যয় আকাশচুম্বী করে তুলছে।

দুই শিক্ষার্থীর লেখার রূপক ও এনসিএমের মূল দর্শন

এনসিএমের মূল ভাবনা সহজে বোঝার জন্য একটি সহজ উদাহরণ দেওয়া যেতে পারে। ধরুন, পরীক্ষায় একটি প্রবন্ধ লিখতে বলা হলো।

প্রথম শিক্ষার্থী (ট্রেডিশনাল এলএলএম): খাতার প্রথম শব্দ থেকে লেখা শুরু করল। একটি শব্দ লিখে তারপর ভাবল পরের শব্দটি কী হবে। এভাবে কোনো পূর্বপরিকল্পনা ছাড়াই একটির পর একটি শব্দ জোড়া দিয়ে পুরো প্রবন্ধ শেষ করল।

দ্বিতীয় শিক্ষার্থী (এনসিএম আর্কিটেকচার): সে হুট করে লিখতে শুরু করল না। প্রথমে সে পুরো প্রবন্ধের মূল ভাব বা কোর কনসেপ্ট ঠিক করল। তারপর বিভিন্ন পরিচ্ছেদে ভাগ করল, প্রতিটি সেকশনে পয়েন্ট যুক্ত করল এবং সবশেষে বাক্যগুলোকে পলিশ করে ফাইনাল টেক্সট দাঁড় করাল।

স্ট্যানফোর্ডের নেক্সট কনসেপ্ট মডেলিং ঠিক এই দ্বিতীয় শিক্ষার্থীর কৌশলে কাজ করে। গবেষণার ভাষায় একে বলা হয় ‘কোর্স-টু-ফাইন জেনারেশন’ (Coarse-to-Fine Generation)। অর্থাৎ একবারে শব্দ ধরে দৌড়ানোর পরিবর্তে মডেলটি হায়ারারকিক্যাল স্তরে বিভিন্ন ধাপে তথ্য তৈরি করে।^[৩]

এনসিএম কীভাবে লেয়ার-বাই-লেয়ার কাজ করে?

ট্রেডিশনাল এলএলএমের মতো এনসিএম প্রথম শব্দ থেকে শেষ শব্দ পর্যন্ত লিনিয়ারভাবে এগোয় না। গবেষকরা এতে একটি মাল্টি-লেভেল হায়ারারকিক্যাল কোড রিপ্রেজেন্টেশন ব্যবহার করেছেন:

1. লেভেল ১ (কোর্স রিপ্রেজেন্টেশন): প্রশ্নের মূল উত্তর বা আইডিয়ার একটি প্রাথমিক রাফ আর্কিটেকচার বা ব্লুপ্রিন্ট তৈরি হয়।
2. লেভেল ২ (ডিটেইলিং): সেই রাফ কাঠামোর ভেতরে প্রয়োজনীয় প্রাসঙ্গিক তথ্য ও যুক্তির কাঠামো যুক্ত হয়।
3. লেভেল ৩ (রিফাইনমেন্ট): তথ্যের ভেতরে থাকা ফাঁকফোকর ও ভাষার জটিলতা সমন্বয় করা হয়।
4. ফাইনাল লেভেল (ডিকোডিং): পুরো হায়ারার্কি থেকে ডিকোডার স্বয়ংক্রিয়ভাবে একটি চমৎকার পূর্ণাঙ্গ টেক্সট তৈরি করে দেয়।

এনসিএমের সবচেয়ে যুগান্তকারী উদ্ভাবন হলো এর প্যারালাল প্রেডিকশন (Parallel Prediction) ক্ষমতা। একটি নির্দিষ্ট লেভেলে যখন মডেল কাজ করে, তখন সেই লেভেলের অসংখ্য কোড সিকোয়েনশিয়ালি না করে একযোগে সমান্তরালে প্রসেস করা যায়। এর ফলে সামগ্রিক সিকোয়েনশিয়াল জেনারেশন স্টেপসের সংখ্যা নাটকীয়ভাবে কমে আসে।

স্ট্যানফোর্ড রিসার্চের অভাবনীয় বেঞ্চমার্ক ফলাফল

স্ট্যানফোর্ডের গবেষক দল এনসিএম আর্কিটেকচারকে বিভিন্ন জটিল টেক্সট জেনারেশন ও লজিক্যাল রিজনিং টাস্কে পরীক্ষা করেছেন। পরীক্ষায় প্রাপ্ত ফলাফল গবেষকদের চোখ কপালে তুলে দিয়েছে:

বিশেষ করে হার্ড সুডোকু পাজল সমাধানের ফলাফলটি সবচেয়ে আলোড়ন সৃষ্টি করেছে। যেখানে প্রচলিত অটো-রিগ্রেসিভ মডেল মাত্র ১ শতাংশ পাজল মেলাতে পেরেছে, সেখানে এনসিএম একলাফে ৮৬ শতাংশ নির্ভুল সমাধান দিয়েছে।^[১] কারণ সুডোকুর মতো জটিল গাণিতিক ও লজিক্যাল খেলায় একটি সংখ্যার ওপর পুরো বোর্ডের বাকি সংখ্যার ভবিষ্যৎ নির্ভর করে, যা টোকেন-বাই-টোকেন অন্ধভাবে লেখার চেয়ে পুরো বোর্ডের গ্লোবাল স্টেট ধারণ করে এমন এনসিএম মডেলে শতগুণ নিখুঁতভাবে সম্ভব।

ট্রেডিশনাল এলএলএম বনাম স্ট্যানফোর্ড এনসিএম তুলনা

প্রচলিত লার্জ ল্যাঙ্গুয়েজ মডেল এবং নতুন উদ্ভাবিত নেক্সট কনসেপ্ট মডেলিংয়ের মৌলিক পার্থক্যগুলো নিচের তুলনামূলক সারণিতে বিশ্লেষণ করা হলো:

সব কোম্পানি এখনই কেন এনসিএম ব্যবহার করছে না?

এনসিএমের এমন চোখ ধাঁধানো ফলাফল দেখে সাধারণ মানুষের মনে হতে পারে, ওপেনএআই বা গুগল এখনই চ্যাটজিপিটি বদলে এনসিএমে চলে যাচ্ছে না কেন? এর পেছনে প্রধান ৪টি বড় বাস্তব সীমাবদ্ধতা রয়েছে:

1. মডেলের আকার ও স্কেলেবিলিটি: স্ট্যানফোর্ডের এই পরীক্ষায় ব্যবহৃত মডেলগুলো জিপিটি-৪ বা ক্লড ৩.৫ সনেটের মতো ট্রিলিয়ন প্যারামিটারের ফ্রন্টিয়ার মডেলের তুলনায় একেবারেই ক্ষুদ্রাকার। এই আর্কিটেকচার বড় স্কেলে কেমন আচরণ করবে, তা এখনো প্রমাণিত নয়।
2. কম্পিউটের সামগ্রিক ভারসাম্য: এনসিএম সিকোয়েনশিয়াল স্টেপস কমালেও প্রতিটি লেভেলে হায়ারারকিক্যাল কোড সমন্বয়ে বাড়তি কম্পিউটেশন লাগে। তাই স্টেপ কম মানেই স্বয়ংক্রিয়ভাবে ক্লাউড খরচ কমে যাওয়া নয়।
3. বহুমাত্রিক কোয়ালিটি যাচাই: কোডিং, গণিত সমাধান, টুল কলিং (Tool Calling), রিয়েল-টাইম ফাংশন এক্সিকিউশন ও লাখ লাখ টোকেনের লং-কনটেক্সট হ্যান্ডেল করার ক্ষেত্রে এনসিএম কতটা নির্ভরযোগ্য হবে, তার বিস্তারিত পরীক্ষা এখনো হয়নি।
4. প্রোডাকশন নির্ভরযোগ্যতা: গবেষণাগারের বেঞ্চমার্কে সফল হওয়া আর রিয়েল-টাইমে প্রতিদিন কোটি কোটি মানুষের ট্রাফিক সামলানো এক জিনিস নয়।

তাহলে কি এলএলএম মৃত?

সরাসরি উত্তর হলো: না, এলএলএম এখনই মৃত নয়। অন্তত বর্তমান টেকনোলজিক্যাল এভিডেন্সের ভিত্তিতে এমন সিদ্ধান্তে আসা অবাস্তব। চ্যাটজিপিটি, ক্লড কিংবা জেমিনির মতো শক্তিশালী ফ্রন্টিয়ার এলএলএমগুলো আজ কোটি কোটি মানুষের কর্মসংস্থান ও জটিল ব্যবসায়িক সমস্যা সফলভাবে সমাধান করছে।

তবে স্ট্যানফোর্ডের এনসিএম আমাদের চোখ খুলে দিয়েছে। এটি প্রমাণ করেছে যে, ল্যাঙ্গুয়েজ মডেলিংয়ে টোকেন-বাই-টোকেন লিনিয়ার জেনারেশনই শেষ কথা নয়। অদূর ভবিষ্যতে আমরা হয়তো সম্পূর্ণ নতুন ধরনের কোনো হাইব্রিড মডেলিং দেখতে পাব, যেখানে এলএলএমের গভীর সাধারণ জ্ঞান এবং এনসিএমের হায়ারারকিক্যাল প্যারালাল গতির সমন্বয় ঘটবে।^[৪]

সামনের দিনে এআই ইন্ডাস্ট্রির নেতৃত্ব কেবল কার মডেল কত বড় তার ওপর নির্ভর করবে না; বরং কার মডেল কত বিদ্যুৎসাশ্রয়ী, কত কম লেটেন্সিযুক্ত এবং কত কম ক্লাউড খরচে চলতে পারে, তার ওপরই নির্ধারিত হবে ভবিষ্যৎ একচ্ছত্র আধিপত্য।^[৫]

সাধারণ প্রশ্নোত্তর (FAQ)

তথ্যসূত্র