জেমিনি টুলবক্স: গুগলের এআই অ্যাপ, টুল এবং এপিআই দিয়ে আজই যা যা করতে পারেন

হোম » সেরা অ্যাপস » জেমিনি টুলবক্স: গুগলের এআই অ্যাপস, টুলস এবং এপিআই দিয়ে আজই যা যা করতে পারেন

“জেমিনি টুলবক্স” এখন আর শুধু একটি আকর্ষণীয় শব্দগুচ্ছ নয়; এটি হলো অ্যাপ, টুল, এজেন্ট এবং এপিআই-এর একটি কার্যকরী সেট, যা গুগল নীরবে সাধারণ শিক্ষা থেকে শুরু করে এন্টারপ্রাইজ ওয়ার্কফ্লো পর্যন্ত সবকিছুর সাথে যুক্ত করছে। একটি একক বিশাল অ্যাসিস্ট্যান্টের পরিবর্তে, জেমিনি এখন একটি টুলবক্সের মতো কাজ করে, যেখানে প্রতিটি ফিচারই এক একটি নির্দিষ্ট উপকরণ: রিসার্চ ইঞ্জিন, টিউটর, কোড হেল্পার, মিটিং শিডিউলার, স্লাইড বিল্ডার এবং আরও অনেক কিছু।

আপনি যদি বুঝতে পারেন যে এই অংশগুলো—ক্যানভাস, গাইডেড লার্নিং, ল্যাবস, এজেন্ট, জেমিনি এন্টারপ্রাইজ এবং জেমিনি এপিআই—কীভাবে একসাথে কাজ করে, তাহলে আপনি জেমিনিকে একটি শখের চ্যাটবটের পরিবর্তে একটি সত্যিকারের কর্মঠ টুলে পরিণত করতে পারবেন। নিচে আপনি এই টুলবক্সটির একটি বিস্তারিত বিবরণ পাবেন: স্থিতিশীল “টুলস” অংশে কী কী রয়েছে, “ল্যাবস”-এ কী পরীক্ষা করা হচ্ছে, ছবি ও ভিডিও সহ একজন শিক্ষক হিসেবে জেমিনি কীভাবে কাজ করে, এবং বড় ধরনের অটোমেশনের জন্য ডেভেলপাররা কীভাবে এপিআই-কে গুগল ওয়ার্কস্পেসের সাথে সংযুক্ত করতে পারেন।

আজ জেমিনি টুলবক্সে ঠিক কী কী আছে?

জেমিনিকে মূলত এআই মডেলের ( ল্যাঙ্গুয়েজ মডেল কী? ) একটি পরিবার (যেমন জেমিনি ১.০, জেমিনি ১.৫, জেমিনি ৩ ইত্যাদি) হিসেবে বোঝা যায়, যা বিভিন্ন ফ্রন্ট-এন্ডের মাধ্যমে সরবরাহ করা হয়: ওয়েব, মোবাইল অ্যাপ, ওয়ার্কস্পেস ইন্টিগ্রেশন এবং একটি ডেভেলপার এপিআই। এই “টুলবক্স” ধারণাটি এসেছে জেমিনি ইন্টারফেসের ভেতরে, বিশেষ করে ওয়েবে, গুগল যেভাবে সুনির্দিষ্ট সক্ষমতাগুলোকে একত্রিত করে, সেই পদ্ধতি থেকে।

ওয়েবে, জেমিনির ভেতরের মূল পিকারটি দুটি প্রধান জোনে বিভক্ত: স্থিতিশীল ও উৎপাদনের জন্য প্রস্তুত কার্যকারিতার জন্য “টুলস” এবং এখনও পরিবর্তনশীল পরীক্ষা-নিরীক্ষার জন্য “ল্যাবস”। “টুলস”-কে আপনার সেই বিশ্বস্ত স্ক্রুড্রাইভার হিসেবে ভাবুন যা আপনি প্রতিদিন ব্যবহার করেন, আর “ল্যাবস” হলো সেই ট্রে যেখানে আপনি এমন প্রোটোটাইপগুলো রাখেন যেগুলোর রূপ আগামী সপ্তাহেই বদলে যেতে পারে।

মোবাইলে, জেমিনি অ্যাপগুলো এই একই টুলগুলোর অনেকগুলোই যোগ করছে – যেমন নির্দেশিত শিক্ষা, ক্যানভাসের মতো অভিজ্ঞতা, ছবি-সমৃদ্ধ সহায়তা – তবে এগুলো ধীরে ধীরে চালু করা হচ্ছে। আপনি যদি অ্যাপটিতে এখনও কোনো নির্দিষ্ট ফিচার দেখতে না পান, তাহলে গুগল স্পষ্টভাবে পরে আবার চেষ্টা করার অথবা ওয়েবে সর্বশেষ সংস্করণটি দেখতে gemini.google.com- এ যাওয়ার পরামর্শ দিচ্ছে।

অভ্যন্তরীণভাবে, এই সমস্ত সারফেস জেমিনি এপিআই (Gemini API) দ্বারা সমর্থিত, যা মাল্টিমোডাল মডেল এবং ফাংশন কলিংয়ের সুবিধা দেয়, ফলে আপনি কোডের মাধ্যমে কন্টেন্ট তৈরি করতে, ছবি বিশ্লেষণ করতে বা ওয়ার্কফ্লো পরিচালনা করতে পারেন। আমরা পরে যে ওয়ার্কস্পেস অটোমেশনগুলো নিয়ে আলোচনা করব, তার অনেকগুলোরই মেরুদণ্ড হলো এই এপিআই।

টুলস বনাম ল্যাবস: জেমিনি কীভাবে তার ফিচারগুলো সাজায়

জেমিনিতে আরও বাটন ও মোড যুক্ত হওয়ায়, গুগল “টুলস” এবং “ল্যাবস” নামক দুটি বিভাগের মাধ্যমে পরিণত ও পরীক্ষামূলক ফিচারগুলোর মধ্যে একটি সুস্পষ্ট বিভাজন তৈরি করেছে। এই পরিবর্তনটি ইতোমধ্যেই ওয়েব ইন্টারফেসে দেখা যাচ্ছে এবং এটি পর্যায়ক্রমে গুগলের সার্ভার থেকে প্রয়োগ করা হচ্ছে, তাই সব অ্যাকাউন্ট একই সময়ে একই লেআউট দেখতে পায় না।

“টুলস” সেকশনটি হলো এমন একটি জায়গা যেখানে গুগল দৈনন্দিন ব্যবহারের জন্য স্থিতিশীল এবং নির্ভরযোগ্য বলে বিবেচিত ফিচারগুলো রাখে। অ্যান্ড্রয়েড পুলিশ এবং ৯টু৫গুগল-এর মতো সূত্রের প্রতিবেদন থেকে জানা যায় যে, এই অংশে ডিপ রিসার্চ, ইমেজ জেনারেশন, ভিও (Veo)-এর মাধ্যমে ভিডিও তৈরি, ক্যানভাস, গাইডেড লার্নিং এবং ডিপ থিঙ্ক-এর মতো ফিচারগুলো অন্তর্ভুক্ত রয়েছে, যা কখনও কখনও গুগল এআই প্রো বা গুগল এআই আলট্রা-এর মতো নির্দিষ্ট সাবস্ক্রিপশন টায়ারের সাথে যুক্ত থাকে।

অন্যদিকে, “ল্যাবস” হলো একটি সুস্পষ্ট খেলার মাঠ: জেমিনি পিকারের ভিতরে একটি নির্দিষ্ট এলাকা যা পরীক্ষামূলক হিসেবে চিহ্নিত ফিচারগুলোকে একত্রিত করে। আপনি সাধারণত একটি ছোট ল্যাব ফ্লাস্ক সহ আইকন এবং জেমিনি এজেন্ট, ডাইনামিক ভিউ (যাকে ভিজ্যুয়াল লেআউটও বলা হয়) এবং পার্সোনাল ইন্টেলিজেন্সের মতো লেবেল দেখতে পাবেন। ল্যাবসের অধীনে কোনো কিছুতে ক্লিক করলে প্রত্যাশাটি সহজ: আচরণ সামান্য সতর্কতা ছাড়াই পরিবর্তিত হতে পারে, অদৃশ্য হয়ে যেতে পারে বা স্থান পরিবর্তন করতে পারে।

পণ্য-নকশার দৃষ্টিকোণ থেকে, বিশ্বাসযোগ্যতার জন্য এই বিভাজনটি গুরুত্বপূর্ণ। যখন একটি এআই অ্যাপ দ্রুত প্রসারিত হয়, তখন ঝুঁকিটি কেবল "অতিরিক্ত ফিচার" নয়, বরং "কোন ফিচারগুলোর ওপর নির্ভর করা যায়, সে সম্পর্কে কোনো ধারণা না থাকা"। দৈনন্দিন ব্যবহারের টুলগুলোকে একটি অংশে এবং পরীক্ষামূলক কাজগুলোকে অন্য অংশে রেখে, জেমিনি অনেকটা গাড়ির "নরমাল" বনাম "স্পোর্ট" মোডের মতোই ঝুঁকির সংকেত দিচ্ছে।

জেমিনির স্থিতিশীল টুলগুলো: ডিপ রিসার্চ, ক্যানভাস, গাইডেড লার্নিং এবং আরও অনেক কিছু।

বেশিরভাগ ব্যবহারকারীর জন্য জেমিনি টুলবক্সের মূল অংশটি “টুলস” (Tools) বিভাগের অধীনে থাকে, যেখানে আপনি এমন সব অভিজ্ঞতা পাবেন যেগুলোর ওপর ভিত্তি করে গুগল আপনাকে অভ্যাস গড়ে তুলতে উৎসাহিত করে। যদিও এর সঠিক বিন্যাস অ্যাকাউন্ট এবং সাবস্ক্রিপশন স্তর অনুযায়ী পরিবর্তিত হয়, তবে কয়েকটি উপাদান ইতিমধ্যেই কেন্দ্রীয় পর্যায়ে রয়েছে।

ডিপ রিসার্চ, জেমিনিকে একটি সাধারণ চ্যাট মডেলের পরিবর্তে একটি সুসংগঠিত গবেষণা সহকারীতে রূপান্তরিত করে। যখন আপনি এমন কোনো প্রশ্ন করেন যার উত্তর পেতে একাধিক উৎস ঘেঁটে দেখার প্রয়োজন হয়, তখন ডিপ রিসার্চ একটি আরও সুস্পষ্ট বহু-ধাপের প্রক্রিয়া অনুসরণ করে এবং একটি সামঞ্জস্যপূর্ণ কার্যপদ্ধতি তুলে ধরে, ফলে ব্যবহারকারীরা প্রতিবার এটি ব্যবহার করার সময় কী আশা করতে পারেন তা আগে থেকেই জানতে পারেন।

ছবি এবং ভিডিওর জন্য কন্টেন্ট তৈরির টুলগুলো – যার মধ্যে Veo দ্বারা চালিত ইন্টিগ্রেশনও রয়েছে – টুলস ড্রয়ারেই থাকে। যেসব ব্যবহারকারী ভিজ্যুয়াল কন্টেন্টের জন্য Gemini-র ওপর নির্ভর করেন, তাদের জন্য এই সুবিধাগুলো যেন সহজে খুঁজে পাওয়া যায় এবং যুক্তিসঙ্গতভাবে স্থিতিশীল থাকে, পরিবর্তনশীল এক্সপেরিমেন্টাল ফ্ল্যাগের আড়ালে যেন তা লুকিয়ে না থাকে।

ক্যানভাস হলো আরেকটি স্তম্ভ: এটি একটি ওয়ার্কস্পেস মোড, যেখানে আপনি সরাসরি একটি প্রম্পট থেকে কোনো ডকুমেন্ট বা কোডিং প্রজেক্ট শুরু করতে পারেন এবং তারপর জেমিনি ব্যবহার করে সেটিকে ক্রমাগত পরিমার্জন করতে পারেন। রিকোয়েস্ট বারের নিচে, আপনি “ক্যানভাস” নির্বাচন করে আপনার প্রম্পট টাইপ করার মাধ্যমে কন্টেন্ট বা কোডের জন্য একটি সূচনা বিন্দু তৈরি করতে পারেন এবং তারপর একটি ইন্টারেক্টিভ, পাশাপাশি লেআউটে সম্পাদনা চালিয়ে যেতে পারেন।

গাইডেড লার্নিং এবং ডিপ থিঙ্ক হলো আরও বেশি জ্ঞানভিত্তিক টুলগুলোর মধ্যে অন্যতম, বিশেষ করে সেইসব ব্যবহারকারীদের জন্য যারা জটিল বিষয়ে কাঠামোগত সাহায্য চান। গাইডেড লার্নিং একজন গৃহশিক্ষকের মতো কাজ করে আপনাকে ধাপে ধাপে ধারণাগুলো বুঝিয়ে দেয়, অন্যদিকে ডিপ থিঙ্ক কঠিন প্রশ্নগুলোর ক্ষেত্রে ধীর ও সুচিন্তিতভাবে ভাবতে উৎসাহিত করে।

ব্যক্তিগত গৃহশিক্ষক হিসেবে মিথুন রাশি: নির্দেশিত শিক্ষা, ছবি ও ভিডিও

জেমিনি টুলবক্সের সবচেয়ে ব্যবহার-বান্ধব দিকগুলোর মধ্যে একটি হলো ব্যক্তিগত শিক্ষকের মতো কাজ করার ক্ষমতা, যা নির্দেশিত অনুক্রমের সাথে চাক্ষুষ ব্যাখ্যাকে মিশ্রিত করে। একগাদা লেখা চাপিয়ে দেওয়ার পরিবর্তে, জেমিনি তার উত্তরে ছবি, স্কেচ এবং এমনকি ভিডিও অন্তর্ভুক্ত করতে পারে, যাতে ধারণাগুলো সহজে বোঝা যায়।

বাস্তবিক অর্থে, আপনি জেমিনিকে কোনো বিষয় ব্যাখ্যা করতে বলতে পারেন এবং স্পষ্টভাবে একটি ডায়াগ্রাম, দৃশ্যগত বিশ্লেষণ বা একটি দৃষ্টান্তমূলক ছবি চাইতে পারেন। উত্তরে সেই ছবিগুলো সরাসরি ব্যাখ্যার মধ্যে অন্তর্ভুক্ত থাকতে পারে, যা আপনাকে, ধরা যাক, কোনো গাণিতিক ধারণা, কর্মপ্রবাহ বা বৈজ্ঞানিক প্রক্রিয়াকে কল্পনা করতে সাহায্য করবে।

ভিডিও-ভিত্তিক শিক্ষাও সমর্থিত, যদিও এর বিস্তারিত বিবরণ অঞ্চল এবং চালুর পর্যায় অনুসারে ভিন্ন হয়। কিছু বিষয়ের জন্য, জেমিনি এমন ভিডিও দেখাতে বা উল্লেখ করতে পারে যা এর লিখিত উত্তরের পরিপূরক, এবং এর মাধ্যমে একটি আরও বহুমুখী শেখার পথ তৈরি হয় যেখানে আপনি একই ধারায় পড়েন, দেখেন এবং প্রশ্নগুলোর সাথে আলোচনা করেন।

এই টিচিং মোডটি মোবাইল জেমিনি অ্যাপগুলিতে পর্যায়ক্রমে চালু করা হচ্ছে, তাই আপনি হয়তো সঙ্গে সঙ্গে সব অপশন দেখতে পাবেন না। যখন এমনটা হবে, তখন বিকল্প হিসেবে ওয়েব অভিজ্ঞতা ব্যবহার করতে হবে, যেখানে পর্যায়ক্রমিক রোলআউটের সময় জেমিনির ফিচার সেট প্রায়শই আগে চলে আসে।

জেমিনি এন্টারপ্রাইজ অ্যান্ড ওয়ার্কস্পেস: দলগুলোর জন্য এআই এজেন্ট

ব্যক্তিগত ব্যবহারের বাইরেও, জেমিনি টুলবক্সটি জেমিনি এন্টারপ্রাইজ এবং গুগল ওয়ার্কস্পেস ইন্টিগ্রেশনের মাধ্যমে কর্মক্ষেত্রেও প্রসারিত হয়। এখানে, মনোযোগ এককালীন প্রম্পট থেকে সরে গিয়ে স্থায়ী এজেন্ট, ওয়ার্কফ্লো এবং বৃহৎ পরিসরে সহযোগিতার দিকে চলে যায়।

গুগল জেমিনি এন্টারপ্রাইজকে একটি উন্নত এজেন্ট প্ল্যাটফর্ম হিসেবে বর্ণনা করে, যা গুগলের সেরা এআই-কে প্রতিটি কর্মী ও কর্মপ্রবাহে নিয়ে আসে। বাস্তবে, এটি দলগুলোকে তাদের নিজস্ব কোম্পানির ডেটা দ্বারা সমর্থিত একটি সুরক্ষিত পরিবেশে এআই এজেন্ট আবিষ্কার, তৈরি, শেয়ার এবং পরিচালনা করতে দেয়, যা উন্নয়নের প্রতিবন্ধকতা হ্রাস করে এবং বিক্রয় বিশ্লেষণ, প্রক্রিয়া স্বয়ংক্রিয়করণ ও অভ্যন্তরীণ জ্ঞান অনুসন্ধানের মতো ব্যবহারের ক্ষেত্রগুলোকে সক্ষম করে তোলে।

গুগল ওয়ার্কস্পেস নিজেই জেমিনি দ্বারা চালিত একটি কোলাবোরেশন প্ল্যাটফর্ম হিসেবে কাজ করে, যেখানে জিমেইল, ডকস এবং মিট-এর মতো অ্যাপগুলোতে এআই সমন্বিত রয়েছে। আলাদা কোনো এআই টুল ব্যবহার করার পরিবর্তে, ব্যবহারকারীরা তাদের দৈনন্দিন প্রোডাক্টিভিটি অ্যাপের মধ্যেই জেমিনিকে ডেকে এনে কনটেন্টের খসড়া তৈরি করতে, তথ্যের সারসংক্ষেপ করতে বা প্রাসঙ্গিক ধারণা তৈরি করতে পারেন।

কিছু সেটআপে, আপনি গুগল ওয়ার্কস্পেস, মাইক্রোসফট ৩৬৫ এবং অন্যান্য সংযুক্ত সিস্টেমে সংরক্ষিত আপনার এন্টারপ্রাইজ ডেটার মাধ্যমে সরাসরি জেমিনির সাথে চ্যাটও করতে পারেন। এটি জেমিনিকে একটি কর্পোরেট নলেজ লেয়ারে পরিণত করে, যা আইটি দ্বারা কনফিগার করা অনুমতি এবং নিরাপত্তা সেটিংস সাপেক্ষে ইমেল, ডকুমেন্ট এবং ফাইলের উপর ভিত্তি করে প্রশ্নের উত্তর দিতে পারে।

জেমিনি এপিআই: ডেভেলপার টুলবক্সের মেরুদণ্ড

ব্যবহারকারী-মুখী জেমিনি অ্যাপগুলোর গভীরে রয়েছে জেমিনি এপিআই, যা ডেভেলপারদের তাদের নিজস্ব অ্যাপ্লিকেশনে অন্তর্ভুক্ত করার জন্য একই মূল মডেলগুলো উন্মুক্ত করে দেয়। এই এপিআই-তেই মাল্টিমোডালিটি, ফাংশন কলিং এবং কাস্টম ওয়ার্কফ্লো একত্রিত হয়ে ব্যাপক অটোমেশনের সুযোগ তৈরি করে, বিশেষ করে গুগল ওয়ার্কস্পেস এবং অ্যাপস স্ক্রিপ্টের সাথে।

জেমিনি মডেলগুলো হলো গুগলের সবচেয়ে শক্তিশালী এআই সিস্টেম, এবং এর এপিআই বিভিন্ন মডেল ভ্যারিয়েন্ট সরবরাহ করে – যেমন টেক্সট-কেন্দ্রিক এবং ভিশন-ভিত্তিক সংস্করণ – যার প্রতিটিরই নির্দিষ্ট সক্ষমতা ও সীমাবদ্ধতা রয়েছে। আপনি গুগল এআই স্টুডিও-তে এগুলোকে দৃশ্যমানভাবে অন্বেষণ করতে পারেন; এটি একটি হোস্টেড ইন্টারফেস, যার মাধ্যমে কোড না লিখেই বিভিন্ন প্রম্পট চেষ্টা করা, মডেলের সেটিংস পরিবর্তন করা এবং এমনকি কাস্টম মডেলও টিউন করা যায়।

এপিআই ব্যবহার শুরু করতে, আপনাকে গুগল এআই স্টুডিও বা অন্য কোনো সমর্থিত কনসোলের মাধ্যমে একটি এপিআই কী-এর জন্য অনুরোধ করতে হবে, তারপর একটি সাধারণ REST কলের মাধ্যমে এটি পরীক্ষা করতে হবে। উদাহরণস্বরূপ, আপনি আপনার কী-টি GOOGLE_API_KEY-এর মতো একটি এনভায়রনমেন্ট ভেরিয়েবলে এক্সপোর্ট করতে পারেন এবং উপলব্ধ মডেলগুলির তালিকা দেখানো এন্ডপয়েন্টটি কল করতে পারেন। সবকিছু সঠিকভাবে কনফিগার করা থাকলে, আপনি models/gemini-1.0-pro- এর মতো JSON ডেটা পাবেন।

সেখান থেকে, কন্টেন্ট তৈরি করার জন্য উপযুক্ত এন্ডপয়েন্টে, যেমন নির্বাচিত মডেলের generateContent মেথডে, একটি JSON পেলোড POST করতে হয়। একটি ন্যূনতম অনুরোধে টেক্সট অংশসহ একটি contents ফিল্ড থাকে, এবং ঐচ্ছিক generationConfig ও safetySettings আপনাকে তাপমাত্রা এবং সুরক্ষা ফিল্টারের মতো প্যারামিটারগুলো নিয়ন্ত্রণ করতে দেয়।

অ্যাপস স্ক্রিপ্ট থেকে জেমিনি এপিআই কল করা

জেমিনি টুলবক্সের সবচেয়ে শক্তিশালী প্যাটার্নগুলোর মধ্যে একটি হলো ওয়ার্কস্পেসের ভেতরে ওয়ার্কফ্লো স্বয়ংক্রিয় করতে এপিআই-কে গুগল অ্যাপস স্ক্রিপ্টের সাথে যুক্ত করা। এই পদ্ধতিটি আপনাকে একটি সম্পূর্ণ ব্যাকএন্ড তৈরি না করেই ড্রাইভ, ক্যালেন্ডার, জিমেইল, শিটস এবং স্লাইডসের মতো পরিষেবাগুলোর পাশাপাশি জেমিনিকে পরিচালনা করার সুযোগ দেয়।

স্ট্যান্ডার্ড সেটআপ শুরু হয় একটি অ্যাপস স্ক্রিপ্ট প্রজেক্ট দিয়ে (উদাহরণস্বরূপ, script.new-এর মাধ্যমে তৈরি), যেখানে আপনি আপনার জেমিনি এপিআই কী একটি স্ক্রিপ্ট প্রপার্টি হিসেবে সংরক্ষণ করেন। কোডে, আপনি সেই ভ্যালুটি গ্রহণ করেন এবং একটি নির্দিষ্ট মডেলের জন্য একটি এন্ডপয়েন্ট ইউআরএল তৈরি করেন, যা প্রায়শই gemini-1.0-pro-latest:generateContent হয়ে থাকে এবং এতে আপনার এপিআই কী একটি কোয়েরি প্যারামিটার হিসেবে পাস করা হয়।

callGemini(prompt, temperature)- এর মতো একটি হেল্পার ফাংশন সাধারণত একটি JSON পেলোড তৈরি করে, সেটি UrlFetchApp.fetch- এর মাধ্যমে পাঠায় এবং উৎপন্ন টেক্সটটি বের করার জন্য রেসপন্সটি পার্স করে। এই র‍্যাপারটি আপনার স্ক্রিপ্টের বিভিন্ন ইউটিলিটি থেকে API-এর বারবার ব্যবহারকে সহজ করে তোলে।

পরীক্ষা করা খুবই সহজ: আপনি একটি testGemini() ফাংশন তৈরি করতে পারেন যা একটি প্রম্পট নির্ধারণ করে, আপনার হেল্পারকে কল করে এবং ইনপুট ও আউটপুট উভয়ই এক্সিকিউশন লগে লগ করে। একবার এটি কাজ করলে, আপনি নিশ্চিত হতে পারবেন যে আপনার অ্যাপস স্ক্রিপ্ট এনভায়রনমেন্ট এবং জেমিনি এপিআই কী আরও উন্নত সিনারিওগুলির জন্য সঠিকভাবে সংযুক্ত হয়েছে।

ছবির জন্য জেমিনি ভিশন এন্ডপয়েন্ট ব্যবহার করা

মাল্টিমোডাল সাপোর্টের কল্যাণে জেমিনি টুলবক্স শুধু টেক্সটের মধ্যেই সীমাবদ্ধ নয়, বিশেষ করে একটি ভিশন-সক্ষম এন্ডপয়েন্টের মাধ্যমে ছবি প্রসেস করার ক্ষমতার জন্য। অ্যাপস স্ক্রিপ্টে, এটি সাধারণত একটি আলাদা এন্ডপয়েন্ট, যেমন gemini-1.0-pro-vision-latest:generateContent , যা আপনার এপিআই কী দ্বারা প্যারামিটারাইজড হয়।

callGeminiProVision(prompt, image, temperature)- এর মতো একটি সাধারণ হেল্পার একটি ইমেজ ব্লবকে base64-এ রূপান্তর করে, সেটিকে উপযুক্ত MIME টাইপ সহ inlineData হিসেবে এমবেড করে এবং একটি টেক্সচুয়াল প্রম্পটের সাথে পাঠিয়ে দেয়। এরপর মডেলটি এমন একটি টেক্সট রিটার্ন করে যা ইমেজ এবং প্রম্পট উভয় সম্পর্কে তার উপলব্ধিকে প্রতিফলিত করে।

সেটআপটি যাচাই করার জন্য, আপনি একটি ছোট testGeminiVision() ফাংশন লিখতে পারেন , যা একটি পাবলিক URL থেকে একটি নমুনা ছবি ডাউনলোড করে আপনার হেল্পারে পাঠাবে এবং Gemini Vision দ্বারা তৈরি একটি মজার তথ্য বা বিশ্লেষণ লগ করবে। এই ধরনের পরীক্ষা প্রমাণ করে যে আপনার পরিবেশে মাল্টিমোডাল ইনপুট সঠিকভাবে কাজ করছে।

একবার ভিশন ফ্লো স্থিতিশীল হয়ে গেলে, আপনি এটিকে উচ্চ-স্তরের অটোমেশনের ভিতরে পুনরায় ব্যবহার করতে পারেন, যেমন গুগল শিটসের চার্ট বা ড্রাইভে সংরক্ষিত ছবি বিশ্লেষণ করার ক্ষেত্রে। তখনই মাল্টিমোডালিটিকে একটি ডেমো কৌশলের পরিবর্তে টুলবক্সের একটি সত্যিকারের দরকারী অংশ বলে মনে হতে শুরু করে।

ফাংশন কলিং: জেমিনিকে টুলগুলিতে অ্যাক্সেস দেওয়া

জেমিনি টুলবক্সের আরেকটি গুরুত্বপূর্ণ উপাদান হলো ফাংশন কলিং, যা মডেলকে সিদ্ধান্ত নিতে দেয় কখন আপনার নিজস্ব টুল বা এপিআই (API) ব্যবহার করতে হবে। শুধু টেক্সট তৈরি করার পরিবর্তে, জেমিনি স্ট্রাকচার্ড functionCall অবজেক্ট রিটার্ন করতে পারে, যা বর্ণনা করে কোন ফাংশনটি কী আর্গুমেন্টের সাথে ব্যবহার করতে হবে।

অ্যাপস স্ক্রিপ্টে, আপনি callGeminiWithTools(prompt, tools, temperature)- এর মতো একটি হেল্পার সেট আপ করতে পারেন , যা ইউজার প্রম্পটের সাথে একটি টুলস স্পেসিফিকেশন পাঠায়। এই স্পেসিফিকেশনটি একটি FunctionDeclaration স্কিমা অনুসরণ করে, যেখানে আপনি ফাংশনের নাম, উদ্দেশ্য এবং JSON প্যারামিটারগুলো বর্ণনা করেন।

যখন জেমিনি কোনো টুল ব্যবহারের সিদ্ধান্ত নেয়, তখন এর প্রতিক্রিয়ায় একটি ফাংশন কল অবজেক্ট অন্তর্ভুক্ত থাকে, যা আপনি আপনার স্ক্রিপ্টে পার্স করে মূল ইমপ্লিমেন্টেশনে পাঠাতে পারেন। উদাহরণস্বরূপ, আপনি “datetime” নামে একটি স্টাব টুল তৈরি করতে পারেন যা বর্তমান তারিখ ও সময় রিটার্ন করে, এবং দেখতে পারেন কীভাবে জেমিনি ক্যালেন্ডার সংক্রান্ত হিসাব-নিকাশ সমাধানের জন্য সেই ফাংশনটি ব্যবহার করে।

ফাংশন কলিং বিশেষভাবে শক্তিশালী, কারণ এটি শুধু এককালীন অনুরোধের ক্ষেত্রেই নয়, বরং একাধিক পালা জুড়েও কাজ করতে পারে। এর মানে হলো, আপনি আরও জটিল ও কথোপকথনমূলক এজেন্ট ডিজাইন করতে পারেন, যারা নিজেরাই সিদ্ধান্ত নেয় কখন টুল কল করতে হবে, ফলাফল ব্যাখ্যা করে এবং সংলাপ চালিয়ে যায়।

ডেমো ইন্টিগ্রেশন: একটি ব্যবহারিক টুলবক্স হিসেবে জেমিনি + গুগল ওয়ার্কস্পেস

টেক্সট জেনারেশন, ভিশন ইনপুট এবং ফাংশন কলিং একত্রিত করলে, জেমিনি টুলবক্সটি ওয়ার্কস্পেস অটোমেশনের জন্য একটি কার্যকরী ইঞ্জিনে পরিণত হয়। গুগলের কোডল্যাবের উপকরণে বেশ কিছু বাস্তব উদাহরণ তুলে ধরা হয়েছে, যা থেকে বোঝা যায় কী কী করা সম্ভব।

উচ্চ স্তরে, ব্যবহারকারীর আগত প্রশ্নগুলো জেমিনিতে পাঠানো হয় বিভিন্ন কর্মপ্রবাহের প্রতিনিধিত্বকারী কিছু টুলের সাথে: যেমন মিটিংয়ের সময়সূচি নির্ধারণ, চার্ট থেকে ইমেলের খসড়া তৈরি এবং স্লাইড ডেক তৈরি। প্রশ্নের উপর ভিত্তি করে, জেমিনি সঠিক ফাংশনটি বেছে নেয় এবং সময়, ফাইলের নাম বা বিষয়ের মতো কাঠামোগত আর্গুমেন্টসহ একটি ফাংশন কল ফেরত পাঠায়।

আপনার অ্যাপস স্ক্রিপ্টে, আপনি একটি if…else চেইনের মধ্যে ফাংশন কলটিকে ব্যাখ্যা করেন এবং উপযুক্ত ওয়ার্কফ্লো চালু করেন – যেমন, setupMeeting() , draftEmail() বা createDeck() । মডেল রিজনিং এবং সুস্পষ্ট স্ক্রিপ্ট লজিকের এই সংমিশ্রণই জেমিনিকে একটি চ্যাট উইন্ডো থেকে আসল কাজের জন্য একটি টুলবক্সে পরিণত করে।

মিটিং স্বয়ংক্রিয়করণ: ড্রাইভ ফাইলগুলোকে ক্যালেন্ডার ইভেন্টে সংক্ষিপ্তকরণ

একটি ডেমোতে দেখানো হয়েছে, কীভাবে জেমিনি একটি ক্যালেন্ডার মিটিং সেট আপ করতে সাহায্য করতে পারে, যেখানে গুগল ড্রাইভে হোস্ট করা একটি টেক্সট ফাইলের সারাংশ স্বয়ংক্রিয়ভাবে অন্তর্ভুক্ত থাকে। ব্যবহারকারী হয়তো এরকম কিছু টাইপ করতে পারেন: “Gemini-blog.txt ফাইলের খবর নিয়ে আলোচনা করার জন্য আগামীকাল সকাল ১০টায় হেলেনের সাথে একটি মিটিং সেট আপ করুন।”

নেপথ্যে, টুলস স্পেকে “setupMeeting” নামের একটি ওয়ার্কস্পেস টুল ঘোষিত থাকে, যেখানে সময়, প্রাপক এবং ফাইলের নামের জন্য প্যারামিটার দেওয়া থাকে। যখন জেমিনি কোয়েরিটি বিশ্লেষণ করে, তখন এটি এই টুলটি বেছে নেয় এবং ওই আর্গুমেন্টগুলো পূরণ করে একটি ফাংশন কল ফেরত পাঠায়।

এরপর সংশ্লিষ্ট setupMeeting() ফাংশনটি Drive-এ নির্দিষ্ট ফাইলটি খুঁজে বের করে, তার বিষয়বস্তু পড়ে এবং একটি শিরোনাম ও সংক্ষিপ্ত সারাংশ সম্বলিত একটি ছোট JSON অবজেক্ট তৈরি করার নির্দেশনাসহ callGemini() ফাংশনের মাধ্যমে Gemini-তে পাঠায়। প্রাপ্ত প্রতিক্রিয়াটি ফরম্যাটিং ফেন্সের মধ্যে আবদ্ধ থাকতে পারে, যা আপনাকে JSON হিসেবে পার্স করার আগে বাদ দিতে হবে।

নিষ্কাশিত শিরোনাম এবং সারাংশ ব্যবহার করে, স্ক্রিপ্টটি CalendarApp-এর সাহায্যে একটি ক্যালেন্ডার ইভেন্ট তৈরি করে , এর বিবরণটি সারাংশে সেট করে এবং অ্যাডভান্সড ক্যালেন্ডার সার্ভিসের মাধ্যমে সোর্স ফাইলটি সংযুক্ত করে। এর ফলে, একটিমাত্র স্বাভাবিক ভাষার অনুরোধের মাধ্যমেই প্রাসঙ্গিক তথ্যসহ একটি নির্ধারিত মিটিং চালু হয়।

জেমিনি ভিশন ব্যবহার করে শীটস চার্ট থেকে ইমেলের খসড়া তৈরি করা

জেমিনি টুলবক্সের আরেকটি ওয়ার্কফ্লো হলো গুগল শিটসের একটি চার্ট বিশ্লেষণ করে তার উপর ভিত্তি করে একটি জিমেইল মেসেজের খসড়া তৈরি করা। ধরুন, আপনি কলেজের খরচের একটি স্প্রেডশিট রাখেন এবং মেরি নামের আপনার এক সহকর্মীকে চার্টটির সারসংক্ষেপ করে একটি ইমেল পাঠাতে চান।

ব্যবহারকারীর জিজ্ঞাসাটি এমন হতে পারে: “CollegeExpenses শীটের চার্ট থেকে পাওয়া তথ্যের ভিত্তিতে মেরির জন্য একটি ইমেলের খসড়া তৈরি করুন।” “draftEmail” নামের একটি টুল একটি শীটের নাম এবং প্রাপক গ্রহণ করার জন্য সংজ্ঞায়িত করা আছে, এবং এই ধরনের অনুরোধ দেখলে Gemini সেই টুলটিই বেছে নেয়।

draftEmail () ফাংশনটি ড্রাইভে অনুরোধ করা স্প্রেডশীটটি খুঁজে বের করে, প্রাসঙ্গিক শীটটি খোলে, এর প্রথম চার্টটি সংগ্রহ করে এবং সেই চার্টটিকে একটি ফাইল হিসাবে সংরক্ষণ করে (উদাহরণস্বরূপ, ExpenseChart.png)। এরপর এটি একটি প্রম্পট তৈরি করে, যা জেমিনিকে শুধুমাত্র চার্টের তথ্য ব্যবহার করতে, ঐতিহাসিক তুলনা এড়িয়ে চলতে এবং বার্তাটি সংক্ষিপ্ত রাখতে নির্দেশ দেয়।

`callGeminiProVision(prompt, expenseChart) ` কল করার মাধ্যমে , স্ক্রিপ্টটি প্রম্পট এবং চার্টের ছবি উভয়ই জেমিনি ভিশনে পাঠায়, যা একটি বিশেষভাবে তৈরি ইমেইলের মূল অংশ ফেরত পাঠায়। সবশেষে, স্ক্রিপ্টটি প্রাপকের ইমেইলে একটি জিমেইল ড্রাফট তৈরি করে, “College expenses”-এর মতো একটি বিষয় সেট করে এবং চার্টের ছবিটি সংযুক্ত করে।

এই প্যাটার্নটি কার্যকরভাবে মিথুন রাশিকে এমন একজন বিশ্লেষকে পরিণত করে, যিনি একটি চার্ট পড়ে তার মূল বিষয়বস্তু বের করে আনতে পারেন এবং আপনার হয়ে তা স্বাভাবিক ভাষায় প্রকাশ করতে পারেন। আপনি খসড়াটি পর্যালোচনা ও সংশোধন করলেও, বেশিরভাগ কঠিন কাজ স্বয়ংক্রিয়ভাবে সম্পন্ন হয়ে যায়।

জেমিনি এবং গুগল স্লাইডস দিয়ে স্বয়ংক্রিয়ভাবে স্লাইড ডেক তৈরি করা

এই টুলবক্সের তৃতীয় প্রধান ডেমো ওয়ার্কফ্লোটি ব্যবহারকারীর নির্দিষ্ট করা কোনো বিষয়ের ওপর স্বয়ংক্রিয়ভাবে একটি প্রাথমিক গুগল স্লাইডস প্রেজেন্টেশন তৈরি করে। উদাহরণস্বরূপ, আপনি জিজ্ঞাসা করতে পারেন: “জল সংরক্ষণ বিষয়ে একটি প্রেজেন্টেশন তৈরি করতে আমাকে সাহায্য করুন।”

“createDeck” নামক একটি টুলকে ‘topic’ নামক একটিমাত্র প্যারামিটার দিয়ে ডিক্লেয়ার করা হয় এবং জেমিনিকে স্লাইডের একটি সিরিজ বর্ণনা করে এমন একটি স্ট্রাকচার্ড JSON রিটার্ন করার নির্দেশ দেওয়া হয়। প্রম্পটটি জেমিনিকে বলে দেয় কতগুলো স্লাইড তৈরি করতে হবে (NUM_SLIDES-এর মতো একটি কনস্ট্যান্টের উপর ভিত্তি করে), সংক্ষিপ্ত শিরোনাম ও বুলেট পয়েন্ট চায় এবং স্পষ্টভাবে একটি বৈধ JSON অবজেক্ট চায় যাতে স্ক্রিপ্টটি নিরাপদে তা পার্স করতে পারে।

ওই প্রম্পট দিয়ে callGemini() কল করার পর , স্ক্রিপ্টটি যেকোনো ফরম্যাটিং ফেন্স সরিয়ে দেয়, JSON পার্স করে এবং তারপর SlidesApp ব্যবহার করে একটি নতুন প্রেজেন্টেশন তৈরি করে। প্রথম স্লাইডটিকে টাইটেল পেজ হিসেবে গণ্য করা হয়, এবং পরবর্তী স্লাইডগুলো একটি TITLE_AND_BODY লেআউট অনুসরণ করে, যেখানে স্ক্রিপ্টটি টাইটেল এবং বুলেট টেক্সট পূরণ করে দেয়।

কয়েক সেকেন্ডের মধ্যেই আপনি প্রতিটি স্লাইডের জন্য সুসংগঠিত আলোচ্য বিষয়সহ একটি প্রাথমিক ডেক পেয়ে যাবেন, যা আপনার পছন্দমতো সাজিয়ে নেওয়ার জন্য প্রস্তুত। যদিও এর ফলাফল ইচ্ছাকৃতভাবে সংক্ষিপ্ত রাখা হয়েছে, এই কর্মপ্রক্রিয়াটি দেখায় যে কীভাবে জেমিনি বিষয়বস্তুর কাঠামো তৈরিতে দ্রুত সাহায্য করতে পারে, যাতে আপনি ডিজাইন এবং সূক্ষ্মতার উপর মনোযোগ দিতে পারেন।

টুলবক্সের সম্প্রসারণ: চ্যাটবট, RAG এবং মাল্টি-টার্ন টুলস

উপরের উদাহরণগুলো কেবল একটি সূচনা মাত্র; এপিআই (API) এবং ফাংশন কলিং-এ অভ্যস্ত হয়ে গেলে জেমিনি (Gemini) টুলবক্সকে বিভিন্ন দিকে প্রসারিত করা যেতে পারে। গুগল স্পষ্টভাবে অনুসন্ধানের জন্য বেশ কয়েকটি পথের পরামর্শ দেয়।

এর একটি জনপ্রিয় ব্যবহার হলো জেমিনি এপিআই (Gemini API) ব্যবহার করে গুগল চ্যাটের (Google Chat) জন্য চ্যাটবট তৈরি করা। এক্ষেত্রেও একই পদ্ধতি প্রযোজ্য: আপনি টুলগুলো উপলব্ধ করেন, জেমিনিকে সিদ্ধান্ত নিতে দেন কখন সেগুলোকে কল করতে হবে এবং প্রাপ্ত প্রতিক্রিয়াগুলোকে চ্যাটের ভেতরের একটি কথোপকথনমূলক ইন্টারফেসে সংযুক্ত করেন; এই পুরো প্রক্রিয়াটি চ্যাট এপিআই (Chat API) এবং এর সাথে যুক্ত কোডল্যাব দ্বারা নিয়ন্ত্রিত হয়।

আরেকটি প্রধান দিক হলো Drive বা Keep-এর ব্যক্তিগত কন্টেন্টের উপর ভিত্তি করে রিট্রিভাল-অগমেন্টেড জেনারেশন (RAG)। একটিমাত্র টেক্সট ফাইলকে সংক্ষিপ্ত করার পরিবর্তে, আপনি Gemini API-কে একটি ভেক্টর ডেটাবেস এবং ঐচ্ছিকভাবে LangChain-এর মতো একটি অর্কেস্ট্রেশন ফ্রেমওয়ার্কের সাথে যুক্ত করতে পারেন। এর ফলে, সেই ডকুমেন্টগুলোর উপর ভিত্তি করে একটি রেসপন্স তৈরি করার জন্য Gemini-কে বলার আগে, পিডিএফ, ছবি এবং নোট থেকে প্রাসঙ্গিক অংশগুলো সংগ্রহ করা যায়।

মাল্টি-টার্ন ফাংশন কলিং আরও উন্নত এজেন্টদের ব্যবহারের সুযোগ করে দেয়, যারা পুনরাবৃত্তিমূলকভাবে সিদ্ধান্ত নিতে পারে যে কোন সরঞ্জামগুলো এবং কোন ক্রমে ব্যবহার করতে হবে। একটিমাত্র সিদ্ধান্তের পরিবর্তে, একজন এজেন্ট একটি ফাংশন কল করতে পারে, তার ফলাফল পরীক্ষা করতে পারে, তারপর আরেকটি ফাংশন কল করতে পারে বা কোনো স্পষ্টীকরণমূলক প্রশ্ন জিজ্ঞাসা করতে পারে—এই সবকিছুই একটি চলমান থ্রেডের মধ্যেই করা যায়।

অবশেষে, ওয়ার্কস্পেসের মধ্যেই থাকার কোনো বাধ্যবাধকতা নেই; একবার আপনি জেমিনি এপিআই প্যাটার্নগুলো আয়ত্ত করে ফেললে, মডেলটিকে বিস্তৃত ওয়েবের বিভিন্ন এক্সটার্নাল এপিআই-এর সাথে সংযুক্ত করতে পারবেন। এভাবেই জেমিনি একটি সীমাবদ্ধ কর্পোরেট সহকারী থেকে ডিজিটাল কাজের একটি সাধারণ-উদ্দেশ্যমূলক অর্কেস্ট্রেটরে রূপান্তরিত হয়।

সব মিলিয়ে, এই অংশগুলো – স্থিতিশীল টুলস, পরীক্ষামূলক ল্যাব, টিউটরিং ফিচার, এন্টারপ্রাইজ এজেন্ট এবং ডেভেলপার এপিআই – একটি সত্যিকারের সমৃদ্ধ জেমিনি টুলবক্স তৈরি করে যা সাধারণ শিক্ষার্থী এবং পাওয়ার ইউজার উভয়ের জন্যই উপযোগী। আপনি যদি জেমিনিকে একটি একক অ্যাপের চেয়ে বরং সুরারোপযোগ্য বাদ্যযন্ত্রের একটি ক্রমবর্ধমান সেট হিসেবে দেখেন, তাহলে প্রতিবার আপনার সম্পূর্ণ কর্মপ্রক্রিয়া নতুন করে না ভেবেই, গুগল পরবর্তীতে যা-ই যোগ করুক না কেন, তার সুবিধা নেওয়ার জন্য আপনি একটি শক্তিশালী অবস্থানে থাকবেন।