Dalam era ini, Transformers ialah model paling berkuasa yang telah memberikan hasil terbaik dalam berbilang operasi NLP(Natural Language Processing). Pada mulanya, ia digunakan untuk tugas pemodelan bahasa termasuk penjanaan teks serta klasifikasi, terjemahan mesin dan banyak lagi. Tetapi kini, ia juga digunakan untuk pengecaman objek, klasifikasi imej dan pelbagai tugas penglihatan komputer yang lain.
Dalam tutorial ini, kami akan menyediakan prosedur untuk melaksanakan klasifikasi teks menggunakan Transformers.
Bagaimana untuk Melakukan Pengelasan Teks Menggunakan Transformer?
Untuk melaksanakan klasifikasi teks menggunakan Transformers, pertama sekali, pasang ' transformer ” perpustakaan dengan melaksanakan arahan yang disediakan:
! pip pasang transformer
Seperti yang anda lihat, perpustakaan yang ditentukan telah berjaya dipasang:
Kemudian, import ' saluran paip ' daripada ' transformer ” perpustakaan:
daripada saluran paip import transformer
Di sini, ' saluran paip ” akan merangkumi tugas NLP yang perlu kami lakukan dan model pengubah yang diingini untuk operasi ini bersama dengan tokenizer.
Catatan: Tokenizer digunakan untuk melakukan pemprosesan pada teks yang akan diberikan input model dengan memisahkan teks kepada token.
Selepas itu, gunakan ' saluran paip() fungsi ' dan luluskannya ' klasifikasi-tembakan sifar ” sebagai hujah. Seterusnya, lulus parameter lain iaitu model kami. Kami menggunakan Facebook ' BART ” model pengubah. Di sini, kami tidak menggunakan tokenizer kerana ia boleh disimpulkan secara automatik oleh model yang ditentukan:
text_classifier = saluran paip ( 'klasifikasi sifar pukulan' , model = 'facebook/bart-large-mnli' )
Sekarang, isytiharkan ' seq ” pembolehubah yang memegang teks input kami yang perlu dikelaskan. Kemudian, kami menyediakan kategori yang kami ingin klasifikasikan teks dan simpan dalam ' makmal ” yang dikenali sebagai label:
makmal = [ 'kemas kini' , 'kesilapan' , 'penting' , 'pengesahan' ]
Akhir sekali, jalankan saluran paip bersama-sama dengan input:
Selepas melaksanakan saluran paip, seperti yang anda lihat, model meramalkan urutan kami yang disediakan akan diklasifikasikan:
Maklumat tambahan: Jika anda ingin mempercepatkan prestasi model, anda perlu menggunakan GPU. Jika ya, maka, untuk tujuan itu, anda boleh menentukan hujah peranti kepada saluran paip dan menetapkannya kepada “ 0 ” untuk menggunakan GPU.
Jika anda ingin mengklasifikasikan teks pada lebih daripada satu penyataan teks urutan/masukan, maka anda boleh menambahkannya ke senarai dan menghantarnya sebagai input kepada saluran paip. Untuk tujuan itu, lihat coretan kod:
seq = [ 'Pembacaan dan penyuntingan adalah komponen yang diperlukan untuk memastikan kandungan yang jelas, koheren dan bebas ralat' ,'Dalam era moden ini, pengoptimuman SEO adalah penting untuk artikel mendapat kedudukan yang baik dan menjangkau khalayak yang lebih luas' ]
text_classifier ( seq , makmal )
Pengeluaran
Itu sahaja! Kami telah menyusun cara paling mudah untuk melaksanakan klasifikasi teks menggunakan Transformers.
Kesimpulan
Transformer digunakan untuk melaksanakan tugas pemodelan bahasa, seperti penjanaan teks, klasifikasi teks, dan terjemahan mesin, serta tugas penglihatan komputer termasuk pengecaman objek dan klasifikasi imej. Dalam tutorial ini, kami telah menggambarkan proses untuk melaksanakan klasifikasi teks menggunakan Transformers.