Pengaturcaraan Babi: Buat Skrip Babi Apache Pertama Anda

Baca catatan blog ini untuk membuat skrip Apache Pig pertama anda. Skrip Apache Pig digunakan untuk menjalankan sekumpulan perintah Apache Pig secara kolektif.

Pengaturcaraan Babi: Buat Skrip Babi Apache Pertama Anda

Dalam kami , kita sekarang akan belajar bagaimana membuat skrip Apache Pig. Skrip Apache Pig digunakan untuk menjalankan sekumpulan perintah Apache Pig secara kolektif. Ini membantu mengurangkan masa dan usaha yang dilaburkan dalam menulis dan melaksanakan setiap perintah secara manual semasa melakukan ini dalam pengaturcaraan Babi.Ia juga merupakan bahagian tidak terpisahkan dari .Blog ini adalah panduan langkah demi langkah untuk membantu anda membuat skrip Apache Pig pertama anda.

Mod Pelaksanaan skrip Babi Apache

Mod tempatan : Dalam 'mod tempatan', anda dapat menjalankan skrip babi dalam sistem fail tempatan. Dalam kes ini, anda tidak perlu menyimpan data dalam sistem fail Hadoop HDFS, sebaliknya anda boleh bekerja dengan data yang tersimpan dalam sistem fail tempatan itu sendiri.





Mod MapReduce : Dalam ‘mod MapReduce’, data perlu disimpan dalam sistem fail HDFS dan anda dapat memproses data dengan bantuan skrip babi.

Skrip Babi Apache dalam Mode MapReduce

Katakanlah tugas kita adalah membaca data dari fail data dan menampilkan isi yang diperlukan di terminal sebagai output.



Fail data sampel mengandungi data berikut:

Fail txt maklumat - Skrip Babi Apache - Edureka

Simpan fail teks dengan nama ‘information.txt’



Fail data sampel mengandungi lima lajur Nama pertama , Nama terakhir , Nombor telefon bimbit , Bandar , dan Profesion dipisahkan oleh kekunci tab . Tugas kami adalah membaca kandungan fail ini dari HDFS dan memaparkan semua lajur rekod ini.

akhirnya dan muktamad di java

Untuk memproses data ini menggunakan Babi, file ini harus ada di Apache Hadoop HDFS.

Perintah : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka

Langkah 1: Menulis skrip Babi

Buat dan buka fail skrip Apache Pig di editor (mis. Gedit).

Perintah : sudo gedit /home/edureka/output.pig

Perintah ini akan membuat fail ‘output.pig’ di dalam direktori utama pengguna edureka.

Mari tulis beberapa arahan PIG dalam fail output.pig.

apa maksud append di java
A = LOAD '/edureka/information.txt' menggunakan PigStorage ('') sebagai (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH A menghasilkan FName, MobileNo, Profession DUMP B

Simpan dan tutup fail.

  • Perintah pertama memuat fail 'information.txt' ke pemboleh ubah A dengan skema tidak langsung (FName, LName, MobileNo, City, Profession).
  • Perintah kedua memuat data yang diperlukan dari pemboleh ubah A hingga pemboleh ubah B.
  • Baris ketiga memaparkan kandungan pemboleh ubah B pada terminal / konsol.

Langkah 2: Laksanakan Skrip Babi Apache

Untuk melaksanakan skrip babi dalam mod HDFS, jalankan arahan berikut:

Perintah : babi /home/edureka/output.pig

Setelah pelaksanaan selesai, semak hasilnya. Gambar di bawah ini menunjukkan hasil dan peta perantaraannya dan mengurangkan fungsi.

Gambar di bawah menunjukkan bahawa Skrip berjaya dilaksanakan.

Gambar di bawah menunjukkan hasil skrip kami.

Selamat menjalankan skrip Apache Pig pertama anda dengan jayanya!

Sekarang anda tahu, bagaimana membuat dan melaksanakan skrip Apache Pig. Oleh itu, blog kami seterusnya di akan merangkumi bagaimana buat UDF (Fungsi Ditetapkan Pengguna) di Babi Apache dan laksanakan dalam mod MapReduce / HDFS.

Sekarang setelah anda membuat dan menjalankan Skrip Babi Apache, periksa oleh Edureka, sebuah syarikat pembelajaran dalam talian yang dipercayai dengan rangkaian lebih daripada 250,000 pelajar berpuas hati yang tersebar di seluruh dunia. Kursus Latihan Pensijilan Hadoop Data Besar Edureka membantu pelajar menjadi pakar dalam bidang HDFS, Benang, MapReduce, Babi, Hive, HBase, Oozie, Flume dan Sqoop menggunakan kes penggunaan masa nyata pada domain Runcit, Media Sosial, Penerbangan, Pelancongan, Kewangan.

Ada soalan untuk kami? Sila sebutkan di bahagian komen dan kami akan menghubungi anda.