Kecerdasan Buatan ialah salah satu teknologi yang paling pesat berkembang menggunakan algoritma pembelajaran Mesin untuk melatih dan menguji model menggunakan data yang besar. Data boleh disimpan dalam format yang berbeza tetapi untuk membuat Model Bahasa Besar menggunakan LangChain, jenis yang paling banyak digunakan ialah JSON. Data latihan dan ujian perlu jelas dan lengkap tanpa sebarang kekaburan supaya model boleh berfungsi dengan berkesan.
Panduan ini akan menunjukkan proses menggunakan penghurai JSON pydantic dalam LangChain.
Bagaimana untuk Menggunakan Penghurai Pydantic (JSON) dalam LangChain?
Data JSON mengandungi format tekstual data yang boleh dikumpulkan melalui pengikisan web dan banyak sumber lain seperti log, dsb. Untuk mengesahkan ketepatan data, LangChain menggunakan perpustakaan pydantic daripada Python untuk memudahkan proses. Untuk menggunakan penghurai JSON pydantic dalam LangChain, hanya melalui panduan ini:
Langkah 1: Pasang Modul
Untuk memulakan proses, cuma pasang modul LangChain untuk menggunakan perpustakaannya untuk menggunakan parser dalam LangChain:
pip pasang langchain
Sekarang, gunakan ' pemasangan pip ” perintah untuk mendapatkan rangka kerja OpenAI dan menggunakan sumbernya:
pip pasang openai
Selepas memasang modul, hanya sambungkan ke persekitaran OpenAI dengan menyediakan kunci APInya menggunakan ' awak ” dan “ getpass ” perpustakaan:
import kamiimport getpass
os.environ [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'OpenAI API Key:' )
Langkah 2: Import Perpustakaan
Gunakan modul LangChain untuk mengimport perpustakaan yang diperlukan yang boleh digunakan untuk mencipta templat untuk gesaan. Templat untuk gesaan menerangkan kaedah untuk bertanya soalan dalam bahasa semula jadi supaya model dapat memahami gesaan dengan berkesan. Selain itu, import perpustakaan seperti OpenAI dan ChatOpenAI untuk membuat rantai menggunakan LLM untuk membina chatbot:
daripada langchain.prompts import (PromptTemplate,
ChatPromptTemplate,
HumanMessagePromptTemplate,
)
daripada langchain.llms import OpenAI
daripada langchain.chat_models import ChatOpenAI
Selepas itu, import perpustakaan pydantic seperti BaseModel, Field dan validator untuk menggunakan parser JSON dalam LangChain:
daripada langchain.output_parsers import PydanticOutputParserdaripada import pydantic BaseModel, Field, validator
daripada menaip Senarai import
Langkah 3: Membina Model
Selepas mendapatkan semua pustaka untuk menggunakan penghurai JSON pydantic, cuma dapatkan model teruji pra-reka bentuk dengan kaedah OpenAI():
nama_model = 'teks-davinci-003'suhu = 0.0
model = OpenAI ( nama model =nama_model, suhu =suhu )
Langkah 4: Konfigurasi Actor BaseModel
Bina model lain untuk mendapatkan jawapan yang berkaitan dengan pelakon seperti nama dan filem mereka dengan meminta filemografi pelakon itu:
Pelakon kelas ( BaseModel ) :nama: str = Medan ( penerangan = 'Nama Pelakon Utama' )
nama_filem: Senarai [ str ] = Padang ( penerangan = 'Filem di mana pelakon itu memimpin' )
pertanyaan_pelakon = 'Saya mahu melihat filemografi mana-mana pelakon'
parser = PydanticOutputParser ( pydantic_object =Pelakon )
gesaan = PromptTemplate (
templat = 'Balas gesaan daripada pengguna. \n {format_instructions} \n {query} \n ' ,
input_variables = [ 'pertanyaan' ] ,
pembolehubah_separa = { 'format_arahan' : parser.get_format_instructions ( ) } ,
)
Langkah 5: Menguji Model Asas
Hanya dapatkan output menggunakan fungsi parse() dengan pembolehubah output yang mengandungi hasil yang dijana untuk gesaan:
_input = prompt.format_prompt ( pertanyaan =actor_query )keluaran = model ( _input.to_string ( ) )
parser.parse ( pengeluaran )
Pelakon bernama ' Tom Hanks ” dengan senarai filemnya telah diambil menggunakan fungsi pydantic daripada model:
Itu semua tentang menggunakan penghurai JSON pydantic dalam LangChain.
Kesimpulan
Untuk menggunakan penghurai JSON pydantic dalam LangChain, cuma pasang modul LangChain dan OpenAI untuk menyambung kepada sumber dan perpustakaan mereka. Selepas itu, import perpustakaan seperti OpenAI dan pydantic untuk membina model asas dan mengesahkan data dalam bentuk JSON. Selepas membina model asas, laksanakan fungsi parse() dan ia mengembalikan jawapan untuk gesaan. Siaran ini menunjukkan proses menggunakan penghurai JSON pydantic dalam LangChain.