VisualGPT společnosti Microsoft vydává novou technologii „ VisualGPT “, což je pokrok v AI a odemyká možnosti pro atraktivnější a interaktivnější zážitky AI tím, že překlenuje propast mezi vizuálem a jazykem.
Co je VisualGPT?
VisualGPT je rozšířená verze ChatGPT, která je založena na modelech NLP (Natural Language Processing), ale ve VisualGPT se používá VFMS, který umí převádět textové dotazy do obrazové podoby. Je takový, že jde o kombinaci/integraci textových a obrázkových dotazů.
Účel VisualGPT
Po uvedení ChatGPT na trh, který jako jediný pracoval na textovém formátu, pro dosažení další úrovně pokroku existuje perfektní nástroj, který bude pracovat na textovém až grafickém formátu, po všech těchto důvodech a v závodě o AI. pokrok Microsoft vydává VisualGPT Hlavním účelem VisualGPT je vytvářet obrázky AI na žádost uživatele nebo analyzovat obrázek
Architektura VisualGPT
VisualGPT obsahuje User Query, Prompt Manager, Visual Foundation Models (VFM), systémový princip, historii dialogu, historii uvažování a střední odpověď.
Pokud konkrétně mluvíme o jeho modelu, tj. VFM (vizuální základní modely) “, používá se téměř 22 VFM, jako je BLIP (Bootstrapping Language-Image Pre-training) a Stable Diffusion.
Jak spustit Visual ChatGPT?
Chcete-li spustit Visual ChatGPT, zvažte následující kroky:
Krok 1: Vytvořte prostředí
Nejprve musíte vytvořit prostředí Pythonu verze 3.8:
import sys
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
Krok 2: Klonujte soubor Visual ChatGPT
Nyní naklonujte vizuální soubor ChatGPT z GitHubu pomocí následujícího příkazu:
! git klon https: // github.com / deepanshu88 / visual-chatgpt.git 
Krok 3: Nastavte nový adresář
Poté pomocí níže uvedeného příkazu nastavte nový adresář:
% CD visual-chatgptKrok 4: Nainstalujte požadované balíčky
Nyní nainstalujte požadované balíčky pomocí „ pip ”cmdlet:
! curl https: // bootstrap.pypa.io / get-pip.py -Ó get-pip.py! python3.8 get-pip.py
! python3.8 -m pip Nainstalujte -r požadavky.txt
Krok 5: Přístup k API OpenAI
Po instalaci úvodních balíčků získáte přístup k API OpenAI získáním klíče API z „platform.openai.com“ a provedením ověřených volání API:
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxKrok 6: Vyberte model
Nakonec, po přístupu k Openai vyberte model, existuje více než 20 modelů, které se používají ve visualGPT, můžete si vybrat podle svých požadavků:
! python3.8. / visual_chatgpt.py --zatížení Text2Image_cuda: 0Ve výše uvedeném příkazu „ Text2Image “ odpovídá použitému modelu. Další podrobnosti najdete v této službě Google Colab notebook .
Závěr
ChatGPT byl představen pro získání konkrétních odpovědí na jakýkoli dotaz a nyní Microsoft spustil VisualGPT, který je schopen pracovat s textovými i obrazovými daty. Je takový, že uživatel může jednoduše přidat své požadavky v textové podobě a získat jeho grafický výstup.