Artikel ini akan menunjukkan kepada anda cara mengatur Selenium pada pengedaran Linux anda (iaitu Ubuntu), serta cara melakukan automasi web asas dan pemecahan web dengan perpustakaan Selenium Python 3.
Prasyarat
Untuk mencuba perintah dan contoh yang digunakan dalam artikel ini, anda mesti mempunyai yang berikut:
1) Sebaran Linux (sebaiknya Ubuntu) dipasang di komputer anda.
2) Python 3 dipasang pada komputer anda.
3) PIP 3 dipasang pada komputer anda.
4) Penyemak imbas Google Chrome atau Firefox yang dipasang di komputer anda.
Anda boleh mendapatkan banyak artikel mengenai topik ini di LinuxHint.com . Pastikan anda membaca artikel ini sekiranya anda memerlukan bantuan lebih lanjut.
Menyiapkan Persekitaran Maya Python 3 untuk Projek
Persekitaran Maya Python digunakan untuk membuat direktori projek Python yang terpencil. Modul Python yang anda pasang menggunakan PIP akan dipasang di direktori projek sahaja, bukan di peringkat global.
The Python virtualenv modul digunakan untuk menguruskan persekitaran maya Python.
Anda boleh memasang Python virtualenv modul secara global menggunakan PIP 3, seperti berikut:
$ sudo pip3 pasang virtualenv 
PIP3 akan memuat turun dan memasang semua modul yang diperlukan secara global.
Pada ketika ini, Python virtualenv modul harus dipasang di peringkat global.
Buat direktori projek python-selenium-asas / dalam direktori kerja semasa anda, seperti berikut:
$ mkdir -pv python-selenium-basic / pemacu 
Navigasi ke direktori projek yang baru anda buat python-selenium-asas / , seperti berikut:
$CDpython-selenium-asas / 
Buat persekitaran maya Python di direktori projek anda dengan arahan berikut:
$ virtualenv.env 
Persekitaran maya Python kini harus dibuat di direktori projek anda. '
Aktifkan persekitaran maya Python di direktori projek anda melalui arahan berikut:
sumber $.env/ bin / aktifkan 
Seperti yang anda lihat, persekitaran maya Python diaktifkan untuk direktori projek ini.
Memasang Selenium Python Library
Perpustakaan Selenium Python terdapat di repositori Python PyPI rasmi.
Anda boleh memasang perpustakaan ini menggunakan PIP 3, seperti berikut:
$ pip3 memasang selenium 
Perpustakaan Selenium Python kini harus dipasang.
Setelah perpustakaan Selenium Python dipasang, perkara seterusnya yang perlu anda lakukan ialah memasang pemacu web untuk penyemak imbas web kegemaran anda. Dalam artikel ini, saya akan menunjukkan kepada anda cara memasang pemacu web Firefox dan Chrome untuk Selenium.
Memasang Pemacu Firefox Gecko
Pemandu Gecko Firefox membolehkan anda mengawal atau mengautomasikan penyemak imbas web Firefox menggunakan Selenium.
Untuk memuat turun Pemacu Gecko Firefox, kunjungi GitHub mengeluarkan halaman mozilla / geckodriver dari penyemak imbas web.
Seperti yang anda lihat, v0.26.0 adalah versi terbaru Firefox Gecko Driver pada masa artikel ini ditulis.
Untuk memuat turun Pemacu Gecko Firefox, tatal ke bawah sedikit dan klik pada arkib tar.gz geckodriver Linux, bergantung pada seni bina sistem operasi anda.
Sekiranya anda menggunakan sistem operasi 32-bit, klik geckodriver-v0.26.0-linux32.tar.gz pautan.
Sekiranya anda menggunakan sistem operasi 64-bit, klik geckodriver-v0.26.0-linuxx64.tar.gz pautan.
Dalam kes saya, saya akan memuat turun Pemacu Firefox Gecko versi 64-bit.
Penyemak imbas anda akan meminta anda menyimpan arkib. Pilih Simpan fail dan kemudian klik okey .
Arkib Pemandu Firefox Gecko harus dimuat turun di ~ / Muat turun direktori.
Ekstrak geckodriver-v0.26.0-linux64.tar.gz arkib dari ~ / Muat turun direktori ke pemandu / direktori projek anda dengan memasukkan arahan berikut:
$tar -xzf~/Muat turun/geckodriver-v0.26.0-linux64.tar.gz-Cpemandu/ 
Setelah arkib Pemandu Gecko Firefox diekstrak, baru pemandu tokek fail binari harus dibuat di pemandu / direktori projek anda, seperti yang anda lihat dalam tangkapan skrin di bawah.
Menguji Pemandu Selenium Firefox Gecko
Di bahagian ini, saya akan menunjukkan kepada anda cara menyiapkan skrip Selenium Python pertama anda untuk menguji sama ada Firefox Gecko Driver berfungsi.
Pertama, buka direktori projek python-selenium-asas / dengan IDE atau editor kegemaran anda. Dalam artikel ini, saya akan menggunakan Visual Studio Code.
Buat skrip Python baru ex01.py , dan ketik baris berikut dalam skrip.
dariseleniummengimportpemacu laman webdariselenium.pemacu laman web.biasa.kunci mengimportKekunci
dari masa mengimporttidur
penyemak imbas=pemacu laman web.Firefox(jalan yang boleh dilaksanakan='./drivers/geckodriver')
penyemak imbas.dapatkan('http://www.google.com')
tidur(5)
penyemak imbas.berhenti()
Setelah selesai, simpan ex01.py Skrip Python.
Saya akan menerangkan kodnya di bahagian seterusnya artikel ini.
Garis berikut mengkonfigurasi Selenium untuk menggunakan Pemacu Gecko Firefox dari pemandu / direktori projek anda.
Untuk menguji sama ada Firefox Gecko Driver berfungsi dengan Selenium, jalankan yang berikut ex01.py Skrip Python:
$ python3 ex01.py 
Penyemak imbas web Firefox akan melayari Google.com secara automatik dan menutupnya sendiri selepas 5 saat. Sekiranya ini berlaku, maka Pemacu Selenium Firefox Gecko berfungsi dengan betul.
Memasang Pemacu Web Chrome
Pemandu Web Chrome membolehkan anda mengawal atau mengautomasikan penyemak imbas web Google Chrome menggunakan Selenium.
Anda mesti memuat turun versi Pemacu Web Chrome yang sama dengan penyemak imbas web Google Chrome anda.
Untuk mendapatkan nombor versi penyemak imbas web Google Chrome anda, kunjungi chrome: // tetapan / bantuan di Google Chrome. Nombor versi mestilah dalam Mengenai Chrome seperti yang anda lihat dalam tangkapan skrin di bawah.
Dalam kes saya, nombor versi adalah 83.0.4103.116 . Tiga bahagian pertama nombor versi ( 83.0.4103 , dalam kes saya) mesti sepadan dengan tiga bahagian pertama nombor versi Pemandu Web Chrome.
Untuk memuat turun Pemacu Web Chrome, lawati halaman muat turun Pemandu Chrome rasmi .
Di dalam Keluaran Semasa bahagian, Pemacu Web Chrome untuk pelepasan terkini penyemak imbas web Google Chrome akan tersedia, seperti yang anda lihat dalam tangkapan skrin di bawah.
Sekiranya versi Google Chrome yang anda gunakan tidak ada di Keluaran Semasa bahagian, tatal ke bawah sedikit, dan anda harus mencari versi yang anda mahukan.
Setelah anda mengklik pada versi Pemacu Web Chrome yang betul, ia akan membawa anda ke halaman berikut. Klik pada chromedriver_linux64.zip pautan, seperti yang dinyatakan dalam tangkapan skrin di bawah.
Arkib Pemandu Web Chrome kini harus dimuat turun.
Arkib Pemandu Web Chrome kini harus dimuat turun di ~ / Muat turun direktori.
Anda boleh mengekstrak chromedriver-linux64.zip arkib dari ~ / Muat turun direktori ke pemandu / direktori projek anda dengan arahan berikut:
$ unzip~/ Muat turun / chromedriver_linux64.zip-d pemandu / 
Setelah arkib Pemandu Web Chrome diekstrak, baru kromedriver fail binari harus dibuat di pemandu / direktori projek anda, seperti yang anda lihat dalam tangkapan skrin di bawah.
Menguji Pemacu Web Selenium Chrome
Di bahagian ini, saya akan menunjukkan kepada anda cara menyiapkan skrip Selenium Python pertama anda untuk menguji sama ada Pemacu Web Chrome berfungsi.
Pertama, buat skrip Python baru ex02.py , dan ketik baris kod berikut dalam skrip.
dariseleniummengimportpemacu laman webdariselenium.pemacu laman web.biasa.kunci mengimportKekunci
dari masa mengimporttidur
penyemak imbas=pemacu laman web.Chrome(jalan yang boleh dilaksanakan='./drivers/chromedriver')
penyemak imbas.dapatkan('http://www.google.com')
tidur(5)
penyemak imbas.berhenti()
Setelah selesai, simpan ex02.py Skrip Python.
Saya akan menerangkan kodnya di bahagian seterusnya artikel ini.
Garis berikut mengkonfigurasi Selenium untuk menggunakan Pemacu Web Chrome dari pemandu / direktori projek anda.
Untuk menguji sama ada Pemacu Web Chrome berfungsi dengan Selenium, jalankan ex02.py Skrip Python, seperti berikut:
$ python3 ex01.py 
Penyemak imbas web Google Chrome mesti melayari Google.com secara automatik dan ditutup setelah 5 saat. Sekiranya ini berlaku, maka Pemacu Selenium Firefox Gecko berfungsi dengan betul.
Asas Mengikis Web dengan Selenium
Saya akan menggunakan penyemak imbas web Firefox mulai sekarang. Anda juga boleh menggunakan Chrome, jika anda mahu.
Skrip Selenium Python asas harus seperti skrip yang ditunjukkan dalam tangkapan skrin di bawah.
Pertama, import Selenium pemacu laman web daripada selenium modul.
Seterusnya, import Kekunci dari selenium.webdriver.common.keys . Ini akan membantu anda menghantar menekan kekunci papan kekunci ke penyemak imbas yang anda automatikkan dari Selenium.
Garis berikut mencipta a penyemak imbas objek untuk penyemak imbas web Firefox menggunakan Firefox Gecko Driver (Webdriver). Anda boleh mengawal tindakan penyemak imbas Firefox menggunakan objek ini.
Untuk memuatkan laman web atau URL (saya akan memuatkan laman web https://www.duckduckgo.com , panggil dapatkan () kaedah penyemak imbas objek pada penyemak imbas Firefox anda.
Dengan menggunakan Selenium, anda boleh menulis ujian anda, melakukan pemecahan web, dan akhirnya, menutup penyemak imbas menggunakan berhenti () kaedah penyemak imbas objek.
Di atas adalah susun atur asas skrip Selenium Python. Anda akan menulis baris ini dalam semua skrip Selenium Python anda.
Contoh 1: Mencetak Tajuk Halaman Web
Ini akan menjadi contoh termudah yang dibincangkan menggunakan Selenium. Dalam contoh ini, kami akan mencetak tajuk laman web yang akan kami lawati.
Buat fail baru ex04.py dan taipkan baris kod berikut di dalamnya.
dariseleniummengimportpemacu laman webdariselenium.pemacu laman web.biasa.kunci mengimportKekunci
penyemak imbas=pemacu laman web.Firefox(jalan yang boleh dilaksanakan='./drivers/geckodriver')
penyemak imbas.dapatkan('https://www.duckduckgo.com')
mencetak('Tajuk:% s'% penyemak imbas.tajuk)
penyemak imbas.berhenti()
Setelah selesai, simpan fail.
Di sini, penyemak imbas.title digunakan untuk mengakses tajuk laman web yang dikunjungi dan cetak () fungsi akan digunakan untuk mencetak tajuk di konsol.
Selepas menjalankan ex04.py skrip, ia harus:
1) Buka Firefox
2) Muatkan laman web yang anda mahukan
3) Ambil tajuk halaman
4) Cetak tajuk di konsol
5) Dan akhirnya, tutup penyemak imbas
Seperti yang anda lihat, ex04.py skrip telah mencetak tajuk laman web dengan baik di konsol.
$ python3 ex04.py 
Contoh 2: Mencetak Tajuk Beberapa Halaman Web
Seperti contoh sebelumnya, anda boleh menggunakan kaedah yang sama untuk mencetak tajuk banyak laman web menggunakan gelung Python.
Untuk memahami bagaimana ini berfungsi, buat skrip Python baru ex05.py dan taipkan baris kod berikut dalam skrip:
dariseleniummengimportpemacu laman webdariselenium.pemacu laman web.biasa.kunci mengimportKekunci
penyemak imbas=pemacu laman web.Firefox(jalan yang boleh dilaksanakan='./drivers/geckodriver')
url= ['https://www.duckduckgo.com', 'https://linuxhint.com', 'https://yahoo.com']
untukurldalamurl:
penyemak imbas.dapatkan(url)
mencetak('Tajuk:% s'% penyemak imbas.tajuk)
penyemak imbas.berhenti()
Setelah selesai, simpan skrip Python ex05.py .
Di sini, url senarai menyimpan URL setiap laman web.
KE untuk gelung digunakan untuk melakukan lelaran melalui url senarai barang.
Pada setiap lelaran, Selenium memberitahu penyemak imbas untuk mengunjungi url dan dapatkan tajuk laman web. Setelah Selenium mengekstrak tajuk halaman web, ia dicetak di konsol.
Jalankan skrip Python ex05.py , dan anda akan melihat tajuk setiap laman web di url senarai.
$ python3 ex05.py 
Ini adalah contoh bagaimana Selenium dapat melakukan tugas yang sama dengan banyak halaman web atau laman web.
Contoh 3: Mengekstrak Data dari Halaman Web
Dalam contoh ini, saya akan menunjukkan kepada anda asas mengekstrak data dari laman web menggunakan Selenium. Ini juga dikenali sebagai pengikisan web.
Pertama, lawati Random.org pautan dari Firefox. Halaman harus menghasilkan rentetan rawak, seperti yang anda lihat dalam tangkapan skrin di bawah.
Untuk mengekstrak data rentetan rawak menggunakan Selenium, anda juga mesti mengetahui representasi data HTML.
Untuk melihat bagaimana data rentetan rawak ditunjukkan dalam HTML, pilih data rentetan rawak dan tekan butang tetikus kanan (RMB) dan klik Periksa Elemen (Q) , seperti yang dinyatakan dalam tangkapan skrin di bawah.
Perwakilan HTML data harus ditampilkan di Pemeriksa tab, seperti yang anda lihat dalam tangkapan skrin di bawah.
Anda juga boleh mengklik pada Periksa ikon ( ) untuk memeriksa data dari halaman.
Klik pada ikon periksa () dan arahkan kursor ke atas data rentetan rawak yang ingin anda ekstrak. Perwakilan HTML data harus ditunjukkan seperti sebelumnya.
Seperti yang anda lihat, data rentetan rawak dibungkus dalam HTML untuk tag dan mengandungi kelas data .
Setelah mengetahui perwakilan HTML dari data yang ingin kita ekstrak, kita akan membuat skrip Python untuk mengekstrak data menggunakan Selenium.
Buat skrip Python baru ex06.py dan taipkan baris kod berikut dalam skrip
dariseleniummengimportpemacu laman webdariselenium.pemacu laman web.biasa.kunci mengimportKekunci
penyemak imbas=pemacu laman web.Firefox(jalan yang boleh dilaksanakan='./drivers/geckodriver')
penyemak imbas.dapatkan('https://www.random.org/strings/?num=1&len=20&digits
= on & upperalpha = on & loweralpha = on & unique = on & format = html & rnd = baru ')
dataElement=penyemak imbas.cari_element_by_css_selector('pra.data')
mencetak(dataElement.teks)
penyemak imbas.berhenti()
Setelah selesai, simpan ex06.py Skrip Python.
Di sini, penyemak imbas.get () kaedah memuatkan laman web dalam penyemak imbas Firefox.
The browser.find_element_by_css_selector () kaedah mencari kod HTML halaman untuk elemen tertentu dan mengembalikannya.
Dalam kes ini, elemennya adalah pra.data , untuk teg yang mempunyai nama kelas data .
Di bawah ini, pra.data elemen telah disimpan di dataElement pemboleh ubah.
Skrip kemudian mencetak kandungan teks yang dipilih pra.data unsur.
Sekiranya anda menjalankan ex06.py Skrip Python, ia harus mengekstrak data rentetan rawak dari laman web, seperti yang anda lihat dalam tangkapan skrin di bawah.
$ python3 ex06.py 
Seperti yang anda lihat, setiap kali saya menjalankan ex06.py Skrip Python, ia mengekstrak data rentetan rawak yang berbeza dari laman web.
Contoh 4: Mengekstrak Senarai Data dari Halaman Web
Contoh sebelumnya menunjukkan kepada anda cara mengekstrak elemen data tunggal dari laman web menggunakan Selenium. Dalam contoh ini, saya akan menunjukkan kepada anda cara menggunakan Selenium untuk mengekstrak senarai data dari laman web.
Pertama, lawati rawak-nama-generator.info dari penyemak imbas web Firefox anda. Laman web ini akan menghasilkan sepuluh nama rawak setiap kali anda memuatkan semula halaman, seperti yang anda lihat dalam tangkapan skrin di bawah. Tujuan kami adalah untuk mengekstrak nama-nama rawak ini menggunakan Selenium.
Sekiranya anda memeriksa senarai nama dengan lebih dekat, anda dapat melihat bahawa itu adalah senarai teratur ( mati teg). The mati tag juga merangkumi nama kelas senarai nama . Setiap nama rawak ditunjukkan sebagai item senarai ( dekat tag) di dalam mati teg.
Untuk mengekstrak nama rawak ini, buat skrip Python baru ex07.py dan taipkan baris kod berikut dalam skrip.
dariseleniummengimportpemacu laman webdariselenium.pemacu laman web.biasa.kunci mengimportKekunci
penyemak imbas=pemacu laman web.Firefox(jalan yang boleh dilaksanakan='./drivers/geckodriver')
penyemak imbas.dapatkan('http://random-name-generator.info/')
senarai nama=penyemak imbas.cari_elemen_by_css_selector('ol.nameList li')
untuknamadalamsenarai nama:
mencetak(nama.teks)
penyemak imbas.berhenti()
Setelah selesai, simpan ex07.py Skrip Python.
Di sini, penyemak imbas.get () kaedah memuatkan laman web penjana nama rawak di penyemak imbas Firefox.
The browser.find_elements_by_css_selector () kaedah menggunakan pemilih CSS ol.namaSenarai li untuk mencari semua dekat unsur di dalam mati teg yang mempunyai nama kelas senarai nama . Saya telah menyimpan semua yang dipilih dekat unsur dalam senarai nama pemboleh ubah.
KE untuk gelung digunakan untuk melakukan lelaran melalui senarai nama senarai dekat unsur. Dalam setiap lelaran, kandungan dekat elemen dicetak pada konsol.
Sekiranya anda menjalankan ex07.py Skrip Python, ia akan mengambil semua nama rawak dari laman web dan mencetaknya di skrin, seperti yang anda lihat dalam tangkapan skrin di bawah.
$ python3 ex07.py 
Sekiranya anda menjalankan skrip kali kedua, ia akan mengembalikan senarai nama pengguna rawak baru, seperti yang anda lihat dalam tangkapan skrin di bawah.
Contoh 5: Menghantar Borang - Mencari di DuckDuckGo
Contoh ini semudah contoh pertama. Dalam contoh ini, saya akan mengunjungi mesin carian DuckDuckGo dan mencari istilahnya selenium hq menggunakan Selenium.
Pertama, lawati Enjin Carian DuckDuckGo dari penyemak imbas web Firefox.
Sekiranya anda memeriksa medan input carian, ia harus mempunyai id search_form_input_homepage , seperti yang anda lihat dalam tangkapan skrin di bawah.
Sekarang, buat skrip Python baru ex08.py dan taipkan baris kod berikut dalam skrip.
dariseleniummengimportpemacu laman webdariselenium.pemacu laman web.biasa.kunci mengimportKekunci
penyemak imbas=pemacu laman web.Firefox(jalan yang boleh dilaksanakan='./drivers/geckodriver')
penyemak imbas.dapatkan('https://duckduckgo.com/')
carianInput=penyemak imbas.cari_elemen_by_id('search_form_input_homepage')
carianInput.hantar_kunci('selenium hq'+ Kekunci.MASUK)
Setelah selesai, simpan ex08.py Skrip Python.
Di sini, penyemak imbas.get () kaedah memuatkan halaman utama mesin carian DuckDuckGo dalam penyemak imbas web Firefox.
The browser.find_element_by_id () kaedah memilih elemen input dengan id search_form_input_homepage dan menyimpannya di carianInput pemboleh ubah.
The searchInput.send_keys () kaedah digunakan untuk menghantar data tekan kunci ke medan input. Dalam contoh ini, ia menghantar rentetan selenium hq , dan kekunci Enter ditekan menggunakan Kunci.ENTER pemalar.
Sebaik sahaja mesin carian DuckDuckGo menerima tekan butang Enter ( Kunci.ENTER ), ia mencari dan memaparkan hasilnya.
Jalankan ex08.py Skrip Python, seperti berikut:
$ python3 ex08.py 
Seperti yang anda lihat, penyemak imbas web Firefox mengunjungi mesin carian DuckDuckGo.
Ia ditaip secara automatik selenium hq di kotak teks carian.
Sebaik sahaja penyemak imbas menerima kekunci Enter tekan ( Kunci.ENTER ), ia memaparkan hasil carian.
Contoh 6: Menghantar Borang di W3Schools.com
Dalam contoh 5, penghantaran borang mesin carian DuckDuckGo adalah mudah. Yang harus anda lakukan hanyalah menekan kekunci Enter. Tetapi ini tidak akan berlaku untuk semua penyerahan borang. Dalam contoh ini, saya akan menunjukkan kepada anda pengendalian bentuk yang lebih kompleks.
Pertama, lawati Halaman Bentuk HTML dari W3Schools.com dari penyemak imbas web Firefox. Setelah halaman dimuat, anda akan melihat borang contoh. Ini adalah borang yang akan kami kirimkan dalam contoh ini.
Sekiranya anda memeriksa borang, yang Nama pertama medan input harus mempunyai id nama keluarga , Nama terakhir medan input harus mempunyai id nama , dan juga Butang hantar harus mempunyai menaip serahkan , seperti yang anda lihat dalam tangkapan skrin di bawah.
Untuk menghantar borang ini menggunakan Selenium, buat skrip Python baru ex09.py dan taipkan baris kod berikut dalam skrip.
dariseleniummengimportpemacu laman webdariselenium.pemacu laman web.biasa.kunci mengimportKekunci
penyemak imbas=pemacu laman web.Firefox(jalan yang boleh dilaksanakan='./drivers/geckodriver')
penyemak imbas.dapatkan('https://www.w3schools.com/html/html_forms.asp')
nama keluarga=penyemak imbas.cari_elemen_by_id('nama')
nama keluarga.jelas()
nama keluarga.hantar_kunci('Shahriar')
nama=penyemak imbas.cari_elemen_by_id('nama')
nama.jelas()
nama.hantar_kunci('Shovon')
hantar Butang=penyemak imbas.cari_element_by_css_selector('input [type =' submit ']')
hantar Butang.hantar_kunci(Kekunci.MASUK)
Setelah selesai, simpan ex09.py Skrip Python.
Di sini, penyemak imbas.get () kaedah membuka halaman borang HTML W3schools di penyemak imbas web Firefox.
The browser.find_element_by_id () kaedah mencari medan input dengan id nama keluarga dan nama dan menyimpannya di nama keluarga dan nama pemboleh ubah, masing-masing.
The fname.clear () dan lname.clear () kaedah membersihkan nama pertama lalai (John) nama keluarga nilai dan nama belakang (Doe) nama nilai dari medan input.
The fname.send_keys () dan lname.send_keys () jenis kaedah Shahriar dan Shovon di dalam Nama pertama dan Nama terakhir medan input, masing-masing.
The browser.find_element_by_css_selector () kaedah memilih Butang hantar bentuk dan menyimpannya di hantar Butang pemboleh ubah.
The submitButton.send_keys () kaedah menghantar tekan butang Enter ( Kunci.ENTER ) kepada Butang hantar bentuk. Tindakan ini menghantar borang.
Jalankan ex09.py Skrip Python, seperti berikut:
$ python3 ex09.py 
Seperti yang anda lihat, borang telah dihantar secara automatik dengan input yang betul.
Kesimpulannya
Artikel ini akan membantu anda memulakan ujian penyemak imbas Selenium, automasi web, dan perpustakaan pemusnahan web di Python 3. Untuk maklumat lebih lanjut, lihat Dokumentasi Selenium Python rasmi .