हमने दो फ्रंटियर मॉडल को ठीक वही पांच कोडिंग संकेत दिए और रिकॉर्ड किया कि प्रत्येक ने क्या बनाया है। कोई संपादन नहीं, कोई प्रयास नहीं, कोई चेरी पिकिंग नहीं। फुगु अल्ट्रा Sakana AI से और जीएलएम 5.2 Z.ai से प्रत्येक ने एक स्व-खेल क्षुद्रग्रह, एक स्व-खेल पोंग, एक प्लाज्मा क्षेत्र, एक वर्महोल सुरंग और एक हाइपरस्पेस स्टारफील्ड लिखा, हर एक बिना पुस्तकालयों के एक स्व-निहित HTML फ़ाइल लिखी। दोनों मॉडल एक OpenAI संगत API के पीछे EmpirioLabs पर चलते हैं, इसलिए यह मॉडल नाम की अदला-बदली के साथ एक अनुरोध निकाय था।
सभी पांच परीक्षण देखें
हमने इसे कैसे चलाया
प्रत्येक संकेत प्रत्येक मॉडल पर एक उपयोगकर्ता संदेश, एक शॉट के रूप में गया, और हमने वही प्रस्तुत किया जो बिना किसी संपादन के वापस आया। दोनों के लिए तर्क प्रयास अधिकतम करने के लिए सेट किया गया था। फुगु अल्ट्रा अपनी सोच को हमेशा चालू रखता है, और जीएलएम 5.2 अपने उच्चतम तर्क प्रयास पर चला। कोई तापमान ओवरराइड नहीं और कोई सिस्टम प्रॉम्प्ट नहीं। अधिकतम आउटपुट 32000 टोकन था। प्रत्येक संकेत ने सभी सीएसएस और जावास्क्रिप्ट इनलाइन के साथ एक स्व-निहित एचटीएमएल फ़ाइल के लिए कहा, कोई बाहरी पुस्तकालय नहीं, कोई सीडीएन लिंक नहीं, और कोई आयात नहीं।
परिणाम
दोनों मॉडलों ने पहली कोशिश में सभी पांच संकेतों पर कार्य कोड लौटाया। यहां प्रत्येक उत्तर का आकार है, जिसे अंतिम HTML फ़ाइल की पंक्तियों में मापा जाता है।
| परीक्षा | फुगु अल्ट्रा | जीएलएम 5.2 |
|---|---|---|
| स्व-खेल क्षुद्रग्रह | 948 लाइनें | 656 लाइनें |
| स्व-खेल पोंग | 486 लाइनें | 412 लाइनें |
| प्लाज्मा क्षेत्र | 298 लाइनें | 131 लाइनें |
| वर्महोल सुरंग | 255 लाइनें | 199 लाइनें |
| हाइपरस्पेस स्टारफील्ड | 241 लाइनें | 166 लाइनें |
हमने क्या देखा
हुड के नीचे दोनों मॉडल बहुत अलग तरीके से काम करते हैं, और परीक्षण इसे दिखाता है। फुगु अल्ट्रा एक मल्टी-एजेंट ऑर्केस्ट्रेशन मॉडल है: यह जवाब देने से पहले कई आंतरिक रीजनिंग पास चलाता है, इसलिए इसने प्रति कार्य बहुत अधिक समय बिताया और रास्ते में बहुत अधिक तर्क उत्पन्न किया। इसने हर प्रॉम्प्ट पर कोड की अधिक पंक्तियाँ भी लिखीं। जीएलएम 5.2 1M टोकन संदर्भ विंडो के साथ एक तेज़ सिंगल-पास मॉडल है, और इसने समय के एक अंश में सख्त फाइलें लौटा दीं। यहां कोई भी दृष्टिकोण विजेता नहीं है। वे अलग-अलग नौकरियों के लिए बनाए गए हैं, और सही चयन इस बात पर निर्भर करता है कि आप प्रति अनुरोध अधिकतम गहराई चाहते हैं या गति और मात्रा।
हम जानबूझकर किसी विजेता का नाम नहीं दे रहे हैं। क्लिप देखें, देखें कि प्रत्येक रेंडर कैसा दिखता है और व्यवहार करता है, और अपने स्वयं के उपयोग के मामले के लिए न्याय करें।
वही परीक्षण स्वयं चलाएँ
दोनों मॉडल OpenAI संगत चैट पूर्णता API की सेवा करते हैं, इसलिए उनके बीच स्विच करना एक पंक्ति का बदलाव है। बिंदु base_url पर https://api.empiriolabs.ai/v1 और मॉडल आईडी को सेट करें फुगु-अल्ट्रा या TOKEN।.
curl https://api.empiriolabs.ai/v1/chat/completions \ -H "प्राधिकरण: वाहक $EMPIRIOLABS_API_KEY" \ -h "सामग्री-प्रकार: application/json" \ -d '{ "मॉडल": "फुगु-अल्ट्रा", "संदेश": [{"भूमिका": "उपयोगकर्ता", "सामग्री": "एकल HTML फ़ाइल के रूप में एक स्व-खेल क्षुद्रग्रह गेम बनाएं, कोई पुस्तकालय नहीं।छोटे सिक्के "मॉडल": "फुगु-अल्ट्रा" सेवा मेरे "मॉडल": "glm-5-2" और इसे फिर से चलाएं। यह EmpirioLabs का पूरा बिंदु है: एक एपीआई के पीछे हर फ्रंटियर मॉडल, इसलिए आप बिना किसी चीज़ को रीवायरिंग किए अपने स्वयं के संकेतों पर उनकी तुलना कर सकते हैं। आप दोनों को साथ-साथ भी चला सकते हैं खेल।.
अक्सर पूछे जाने वाले प्रश्नों
किन मॉडलों का परीक्षण किया गया?
सकाना एआई से फुगु अल्ट्रा और Z.ai से जीएलएम 5.2, दोनों एक ओपनएआई संगत एपीआई के माध्यम से EmpirioLabs पर उपलब्ध हैं।
पांच कोडिंग कार्य क्या थे?
एक स्व-खेल क्षुद्रग्रह खेल, एक स्व-खेल पोंग गेम, एक डेमोसीन प्लाज्मा प्रभाव, एक अनंत वर्महोल टनल और एक हाइपरस्पेस स्टारफील्ड ताना। प्रत्येक को एक एकल स्व-निहित HTML फ़ाइल होनी चाहिए जिसमें कोई बाहरी पुस्तकालय न हो।
क्या कुछ संपादित या पुन: प्रयास किया गया था?
नहीं। प्रत्येक मॉडल को प्रति प्रॉम्प्ट एक शॉट मिला और हमने वही प्रस्तुत किया जो उसने लौटाया। हमने परिणाम को बनाए रखा चाहे वह अच्छा लग रहा हो या नहीं।
फुगु अल्ट्रा को अधिक समय क्यों लगता है?
फुगु अल्ट्रा एक मल्टी-एजेंट ऑर्केस्ट्रेशन मॉडल है जिसमें हमेशा तर्क होता है। यह उत्तर देने से पहले कई आंतरिक पास चलाता है, जो गहराई के लिए गति का व्यापार करता है। जीएलएम 5.2 एक ही पास में उत्तर देता है।
मैं दो मॉडलों के बीच कैसे स्विच करूं?
एक स्ट्रिंग बदलें। दोनों OpenAI चैट पूर्णता API की सेवा करते हैं https://api.empiriolabs.ai/v1, इसलिए आप मॉडल आईडी को फुगु-अल्ट्रा या TOKEN और बाकी सब कुछ वैसा ही रहता है।
इसे अजमाएं
खेल का मैदान खोलें (c) फुगु अल्ट्रा मॉडल पेज (c) जीएलएम 5.2 मॉडल पेज (c) मूल्य निर्धारण
