Bagaimana Menggunakan Memori dalam LLMChain Melalui LangChain?

Bagaimana Menggunakan Memori Dalam Llmchain Melalui Langchain



LangChain ialah rangka kerja yang boleh digunakan untuk mengimport perpustakaan dan kebergantungan untuk membina Model Bahasa Besar atau LLM. Model bahasa menggunakan memori untuk menyimpan data atau sejarah dalam pangkalan data sebagai pemerhatian untuk mendapatkan konteks perbualan. Memori dikonfigurasikan untuk menyimpan mesej terbaharu supaya model dapat memahami gesaan samar-samar yang diberikan oleh pengguna.

Blog ini menerangkan proses penggunaan memori dalam LLMChain melalui LangChain.







Bagaimana Menggunakan Memori dalam LLMChain Melalui LangChain?

Untuk menambah memori dan menggunakannya dalam LLMChain melalui LangChain, perpustakaan ConversationBufferMemory boleh digunakan dengan mengimportnya daripada LangChain.



Untuk mempelajari proses penggunaan memori dalam LLMChain melalui LangChain, ikuti panduan berikut:



Langkah 1: Pasang Modul

Mula-mula, mulakan proses menggunakan memori dengan memasang LangChain menggunakan arahan pip:





pip pasang langchain

Pasang modul OpenAI untuk mendapatkan kebergantungan atau perpustakaannya untuk membina LLM atau model sembang:



pip pasang openai

Sediakan persekitaran untuk OpenAI menggunakan kunci APInya dengan mengimport perpustakaan os dan getpass:

import kami
import getpass

os.environ['OPENAI_API_KEY'] = getpass.getpass('OpenAI API Key:')

Langkah 2: Mengimport Perpustakaan

Selepas menyediakan persekitaran, hanya import perpustakaan seperti ConversationBufferMemory daripada LangChain:

daripada langchain.chains import LLMChain
daripada langchain.llms import OpenAI

daripada langchain.memory import ConversationBufferMemory

daripada langchain.prompts import PromptTemplate

Konfigurasikan templat untuk gesaan menggunakan pembolehubah seperti 'input' untuk mendapatkan pertanyaan daripada pengguna dan 'sejarah' untuk menyimpan data dalam memori penimbal:

template = '''Anda ialah Model yang sedang berbual dengan manusia

{sejarah}
Manusia: {input}
Chatbot:'''

gesaan = PromptTemplate(
input_variables=['hist', 'input'], template=template
)
memori = ConversationBufferMemory(memory_key='hist')

Langkah 3: Mengkonfigurasi LLM

Setelah templat untuk pertanyaan dibina, konfigurasikan kaedah LLMChain() menggunakan berbilang parameter:

llm = OpenAI()
llm_chain = LLMChain(
llm=llm,
prompt=prompt,
verbose=Benar,
ingatan = ingatan,
)

Langkah 4: Menguji LLMChain

Selepas itu, uji LLMChain menggunakan pembolehubah input untuk mendapatkan gesaan daripada pengguna dalam bentuk teks:

llm_chain.predict(input='Hai kawan saya')

Gunakan input lain untuk mendapatkan data yang disimpan dalam memori untuk mengekstrak output menggunakan konteks:

llm_chain.predict(input='Baik! saya baik - apa khabar')

Langkah 5: Menambah Memori pada Model Sembang

Memori boleh ditambah pada LLMChain berasaskan model sembang dengan mengimport perpustakaan:

daripada langchain.chat_models import ChatOpenAI
daripada langchain.schema import SystemMessage
daripada langchain.prompts import ChatPromptTemplate, HumanMessagePromptTemplate, MessagesPlaceholder

Konfigurasikan templat gesaan menggunakan ConversationBufferMemory() menggunakan pembolehubah berbeza untuk menetapkan input daripada pengguna:

prompt = ChatPromptTemplate.from_messages([
SystemMessage(content='Anda adalah Model yang sedang berbual dengan manusia'),
MessagesPlaceholder(variable_),
HumanMessagePromptTemplate.from_template('{input}'),
])

memori = ConversationBufferMemory(memory_key='hist', return_messages=True)

Langkah 6: Mengkonfigurasi LLMChain

Sediakan kaedah LLMChain() untuk mengkonfigurasi model menggunakan argumen dan parameter yang berbeza:

llm = ChatOpenAI()

sembang_llm_chain = LLMChain(
llm=llm,
prompt=prompt,
verbose=Benar,
ingatan = ingatan,
)

Langkah 7: Menguji LLMChain

Pada akhirnya, cukup uji LLMChain menggunakan input supaya model boleh menjana teks mengikut gesaan:

chat_llm_chain.predict(input='Hai kawan saya')

Model telah menyimpan perbualan sebelumnya dalam memori dan memaparkannya sebelum output sebenar pertanyaan:

llm_chain.predict(input='Baik! saya baik - apa khabar')

Itu semua tentang menggunakan memori dalam LLMChain menggunakan LangChain.

Kesimpulan

Untuk menggunakan memori dalam LLMChain melalui rangka kerja LangChain, cuma pasang modul untuk menyediakan persekitaran untuk mendapatkan kebergantungan daripada modul. Selepas itu, hanya import perpustakaan daripada LangChain untuk menggunakan memori penimbal untuk menyimpan perbualan sebelumnya. Pengguna juga boleh menambah memori pada model sembang dengan membina LLMChain dan kemudian menguji rantaian dengan memberikan input. Panduan ini telah menghuraikan proses penggunaan memori dalam LLMChain melalui LangChain.