Jak používat vyrovnávací paměť tokenů konverzace v LangChain?

LangChain umožňuje vývojářům vytvářet modely pomocí strojového učení nebo hlubokého učení, které může trénovat modely pomocí datových sad. Tyto modely mohou získat různé vzory z dat nebo porozumět formě datové sady a jejímu jazyku pro extrakci informací. Velké jazykové modely nebo LLM lze konfigurovat nebo navrhovat pomocí rámců LangChain, které dokážou porozumět a generovat text v přirozených jazycích.

Tato příručka bude ilustrovat proces použití vyrovnávací paměti tokenů konverzace v LangChain.

Jak používat vyrovnávací paměť tokenů konverzace v LangChain?

The ConversationTokenBufferMemory knihovnu lze importovat z rámce LangChain pro uložení nejnovějších zpráv do vyrovnávací paměti. Tokeny lze nakonfigurovat tak, aby omezily počet zpráv uložených ve vyrovnávací paměti a dřívější zprávy budou automaticky vyprázdněny.

Chcete-li se naučit proces používání vyrovnávací paměti tokenů konverzace v LangChain, použijte následující příručku:

Krok 1: Nainstalujte moduly

Nejprve nainstalujte framework LangChain obsahující všechny požadované moduly pomocí příkazu pip:

pip install langchain

Nyní nainstalujte modul OpenAI pro vytváření LLM a řetězců pomocí metody OpenAI():

pip install openai

Po instalaci modulů jednoduše použijte klíč API OpenAI nastavit prostředí pomocí knihoven OS a getpass:

import vy

import getpass

vy . přibližně [ 'OPENAI_API_KEY' ] = getpass . getpass ( 'Klíč OpenAI API:' )

Krok 2: Použití vyrovnávací paměti tokenu konverzace

Po importu sestavte LLM pomocí metody OpenAI(). ConversationTokenBufferMemory knihovna z rámce LangChain:

z langchain. Paměť import ConversationTokenBufferMemory

z langchain. llms import OpenAI

llm = OpenAI ( )

Nakonfigurujte paměť pro nastavení tokenu, vyprázdní staré zprávy a uloží je do vyrovnávací paměti. Poté si uložte zprávy z konverzace a získejte ty nejnovější, abyste je mohli použít jako kontext:

Paměť = ConversationTokenBufferMemory ( llm = llm , max_token_limit = 10 )

Paměť. uložit_kontext ( { 'vstup' : 'Ahoj' } , { 'výstup' : 'Jak se máš' } )

Paměť. uložit_kontext ( { 'vstup' : 'Mám se dobře a co ty' } , { 'výstup' : 'ne moc' } )

Spusťte paměť, abyste získali data uložená ve vyrovnávací paměti pomocí metody load_memory_variables():

Paměť. load_memory_variables ( { } )

Krok 3: Použití vyrovnávací paměti tokenu konverzace v řetězci

Sestavte řetězce nakonfigurováním ConversationChain() metoda s více argumenty pro použití vyrovnávací paměti tokenu konverzace:

z langchain. řetězy import ConversationChain

konverzace_se_souhrnem = ConversationChain (
llm = llm ,
Paměť = ConversationTokenBufferMemory ( llm = OpenAI ( ) , max_token_limit = 60 ) ,
podrobný = Skutečný ,
)
konverzace_se_souhrnem. předpovědět ( vstup = 'Ahoj jak se máš?' )

Nyní rozjeďte konverzaci kladením otázek pomocí výzev napsaných v přirozeném jazyce:

konverzace_se_souhrnem. předpovědět ( vstup = „Právě pracujeme na projektu NLP“ )

Získejte výstup z dat uložených ve vyrovnávací paměti pomocí počtu tokenů:

konverzace_se_souhrnem. předpovědět ( vstup = 'Právě pracujeme na návrhu LLM' )

Vyrovnávací paměť se neustále aktualizuje s každým novým vstupem, protože předchozí zprávy jsou pravidelně vyplachovány:

konverzace_se_souhrnem. předpovědět (

vstup = 'LLM používá LangChain! Slyšeli jste o tom'

)

To je vše o použití vyrovnávací paměti tokenů konverzace v LangChain.

Závěr

Chcete-li použít vyrovnávací paměť tokenů konverzace v LangChain, jednoduše nainstalujte moduly pro nastavení prostředí pomocí klíče API z účtu OpenAI. Poté importujte knihovnu ConversationTokenBufferMemory pomocí modulu LangChain pro uložení konverzace do vyrovnávací paměti. Vyrovnávací paměť lze použít v řetězci k vyprázdnění starších zpráv s každou novou zprávou v chatu. Tento příspěvek se zabývá používáním vyrovnávací paměti tokenu konverzace v LangChain.

Jak používat vyrovnávací paměť tokenů konverzace v LangChain?