Sunday, 4 March 2012

Manga Mobile Coding Series : Membajak mangareader.net part 2

Asyik bisa nulis lagi. Sebelumnya kita telah membahas logika dibalik teknik pembajakan Mangareader. Kali ini saya akan membahas secara teknis bagaimana implementasinya di Android.

Kembali saya ingatkan: untuk bisa mengerti dengan sepenuhnya apa yang dibahas di artikel ini, anda perlu mengenal beberapa hal yang tidak dibahas di artikel ini:
  1. DOM (Document Object Model)
  2. Manga :)
Android dapat mengunduh isi halaman HTML dengan mudah. Tetapi hasil unduhan ini adalah sebuah string panjang. Lalu bagaimana kita bisa mengeksekusi logika "temukan anak pertama dari tag ul"? Ada beberapa cara seperti berikut:
  1. Lakukan manipulasi string. Kita membuat asumsi bahwa ul ini pasti punya anak. Sehingga kita dapat mencari karakter "<" pertama yang mengawali sebuah tag HTML dan menandai karakter tersebut menjadi karakter pertama dari anak yang kita cari. Lalu kita tinggal mencari ">" yang sesuai dan menandai karakter tersebut menjadi karakter terakhir dari anak yang kita cari. Dari sini kita dapat menyalin karakter-karakter diantara karakter yang telah kita tandai tersebut dan jadilah mereka sebagai string anak pertama yang kita cari. Ada permasalahan dari sini? Banyak: sangat rentan bug dan sangat tidak fleksibel.
  2. Gunakan XML Parser.
  3. Gunakan 3rd party library untuk membuat DOM.
Saya akan membahas cara terakhir (yang kebetulan saya gunakan). Dan perlu diketahui, sebenarnya membuat DOM tidak perlu menggunakan 3rd party library karena sepertinya Android sudah memilikinya. Namun saya terlanjur menggunakan 3rd party library dan malas untuk menggantinya (maaf).

Perkenalkan Jsoup (halo Jsoup, saya Gogo), library pembuat DOM yang saya gunakan. Fitur-fitur yang bisa dilakukan oleh library ini silakan dilihat di website nya. Yang penting, si Jsoup ini menyediakan beberapa hal yang berguna untuk saya:
  1. kemampuan untuk membuat DOM
  2. kemampuan untuk memanipulasi dan mencari elemen dalam DOM
  3. kemampuan untuk mencari elemen spesifik berdasarkan tag, class, id, name, dan href atribut lainnya.
  4. kemampuan untuk mencari bapak dan anak dari suatu elemen.
Sebenarnya fungsi 2 hingga 4 adalah fitur yang wajib ada untuk sebuah library yang mengaku bisa membuat DOM, jadi fungsi utama library ini sebenarnya hanya 1.

Jadi tanpa banyak cakap, inilah kodenya:


public ArrayList downloadMangaList() {
    ArrayList mangaList = new ArrayList();
    String url = Utilities.MANGAREADER_URL + "/alphabetical";

    boolean gagal = true;
    int attempt = 0;

    while (gagal && attempt < Utilities.DOWNLOAD_ATTEMPT) {
        try {
            Log.i("Manga", "trying to connect to " + url);
            Document soup = Jsoup.connect(url).get();
            gagal = false;

            // lewat sini means berhasil konek
            Elements links = soup.select("ul[class=series_alpha]");

            for (Element link : links){
                Elements mangaLinks = link.getElementsByTag("a");
                for (Element manga : mangaLinks){
                    mangaList.add(new Manga(manga.text(), Utilities.MANGAREADER_URL + manga.attr("href")));
                }
            }

        } catch (IOException ex){
            Log.i("Manga", "" + ex.getMessage());
            ++attempt;
        }
    }

    return mangaList;
}



Kode diatas adalah contoh bagaimana saya mendapatkan kumpulan manga yang ada di Manga Reader. Yang pertama saya lakukan adalah mengunduh page www.mangareader.net/alphabetical dimana pada page itu, semua manga yang ada di Manga Reader dituliskan. Saya mengunduhnya menggunakan Jsoup.connect(url).get()agar HTML yang diunduh ini sudah terformat dengan baik oleh JSoup. Hal ini saya lakukan berkali-kali in case pengguna menggunakan koneksi yang abal-abal sehingga page HTML-nya jadi tidak terunduh.

Langkah kedua adalah pattern matching. Ya, dengan sedikit pengamatan kita dapat melihat bahwa page HTML yang dibuat oleh Manga Reader ini cukup ber-pola. Tiap manga selalu dibungkus dalam alphabet yang mengawalinya (Naruto berarti N). Dan tiap alphabet itu dibungkus dalam satu elemen HTML yaitu 
<ul> , dan selalu memiliki class=series_alpha. Gambar berikut mungkin bisa lebih menjelaskan.

      HTML dari www.mangareader.net/alphabetical
Dari sini kita tinggal mengambil semua elemen yang memiliki class=series_alpha, lalu mencari semua URL yang ada didalamnya. Cara ini tidak foolproof, tapi cukup untuk mendapatkan apa yang kita butuhkan.

That's it! Semudah itu kita "membajak" Manga Reader. Tinggal melakukan hal yang sama pada page-page yang lain dan kita dapat membuat software untuk pengunduh manga dengan mudah. Cara ini juga dapat diaplikasikan pada manga source lain seperti GoodManga, MangaHere, AnimeA dan lain-lain. Namun beberapa manga source seperti MangaStream dan Batoto sering mengganti pola menampilkan halamannya dan membuat mereka susah di-scrapping.

What do you think? Ada yang mau membantu saya membuat manga downloader dengan membuat pola-pola seperti ini?

Who inspired me the most?

Just read a random tweet by my friend about "Who make me who I'm now?". So I narrow down to a question: were I to be asked "Who inspired you the most?", who are they? Hey to my surprise, I can answer that!

  1. Father: "A father is every son first hero" And for me he's still one.
  2. Mom: A mom will always be a supermom for her children. Her endurance when  faced with problems, is most remarkable.
  3. My  兄: His willpower, his concentration and his knowledge used to be by far if not the most, greatest of any people I've ever known. And I would like to emphasize the "used to" part.
  4. My  姉: could say a copy of my mother. She always complain but always did what she must,  remarkably. A real-life manifestation of tsundere? Though I never saw her "dere" side.
  5. Dhiksta Olya Widyasmara: His kindness is one of those you can only see in fairy tale. I used to tease my sister (he's my step-brother-to-be) about him being a being from a fairy tale. And apparently, that might not be too far away from the truth.
  6. Yosua Michael Maranatha: Only one word describe him. Genius. I always thought he's a being from the future as he's too awesome to be true.
  7. Arif Ramasiwi: "Wise" is a not-so-exaggerating-word to describe him. His wisdom and words were the one who made me realize the importance of friends.
  8. Ayasaki Hayate: Sleeping for only 2 hours a day and dedicate the rest of his time for others inspires me the most. I know he's fictional character. But hey, I know of someone who's quite fictional himself!
I think this list will always increase in time since I have this ability of knowing-someone-good-points-no-matter-what-shitty-broken-person-he-is I learned from Arif Ramasiwi. Well just like Einstein said, basically everyone is a genius in their own way. We just have to see the fish while swimming in the water, not while climbing a tree.

And why bother making the list? Maybe so I don't lose my track in life? And everyone who know me and know them and read this blog entry can remind me who should I become and what I'm lacking.

Who inspires you the most? Don't forget to thank them as they might be the one who make you who you are right now :)

Tuesday, 28 February 2012

Random Thought February



Random thought
  1. Mineral water cannot quench my thirst anymore. Only sweet tea can. I wonder if vampires feel the same way about blood.
  2. Mungkin jurus terbaik yang diperlukan programmer dan desainer adalah Kage Bunshin no Jutsu. So many ideas and no time/manpower.
  3. "For engineers, our deadline is the deadline time. For market, the deadline is the opportunity." - Nico
  4. Saya curiga bahwa orang-orang jenius adalah orang dari masa depan yang menggunakan mesin waktu untuk kembali dan memperbaiki masa lalunya yang suram.
  5. [Android] Misalnya mau bikin Button programmatically (ga pake XML). Kalau misalnya kita punya drawable dalam bentuk resource (contoh R.drawable.image), lebih baik langsung button.setBackgroundResource(R.drawable.image). Jangan ubah R.drawable.image jadi obyek Drawable dulu (drawable = context.getResources().getDrawable(R.drawable.image); button.setBackgroundDrawable(drawable)). Hal ini buruk kalau R.drawable.image mengandung animasi (contoh kalau bikin selector pake XML). Nanti animasinya ga jalan.
  6. [Android] Just realized that beside Log.v(verbose), Log.d(debug), Log.i(info), Log.w(warning) and Log.e(error), there's Log.wtf(What a Terrible Failure)
  7. [Game Dev] Tips bikin gerakan Seeking Missile. Pertama cari vektor antara misilnya dengan targetnya. Terus cari vektor satuannya. Habis itu kalikan vektor satuan dengan kecepatan maksimal misil.
  8. [Manga Mobile] Just finished multiple manga source for Manga Mobile. And there're so many bug reports. Emailed on top of that. So sorry everyone >.<
  9. [Manga Mobile] Comment by user: Jan 28, 2012 11:02:34 AM on version 1.952 "fucked up"
  10. Don't go too far ahead, or be ready to be alone there.
  11. When I hate something, I just feel like making the game of it. Setelah kuliah Agama Islam, I feel like making a game about God (like Black and White?). Setelah naik angkot yang ngetem 1 jam, I feel like making a game about Angkot (like Dinner Dash?). And I had countless idea for game about programming.
  12. Keraguan adalah puncak dari keyakinan - Imam Al-Ghazali.
  13. Rioux SVN for free and private SVN :)
  14. Hello World in GWT and App Engine! So excited! Tutorial  in Indonesian coming up :). Ini tutorial Inggris-nya yang lumayan bagus (dibandingkan yang Google punya)
Damn GWT, how am I supposed to learn from ur f****d up sample?


Monday, 13 February 2012

Google Search API!

Baru saja menemukan sesuatu yang cukup keren. Hal ini berkaitan dengan API untuk searching pada Google.

Pada mulanya saya ingin melakukan pencarian rating suatu manga pada mangaupdates. Hal ini saya lakukan menggunakan Google (karena mangaupdates tidak memiliki API untuk melakukan pencarian). Saya melakukannya dengan membuat request ke http://www.google.com/search?btnI=I%27m+Feeling+Lucky&q=mangaupdates+ dan melakukan page scrapping terhadap halaman hasil pencarian melalui Google tersebut. Cara ini akhir-akhir ini menjadi obsolete (damn Google, ternyata suka ganti-ganti juga) dan membuat aplikasi Manga Mobile saya crashing terus menerus.

Lalu saya memutuskan untuk mencari API yang legal yang disupport sepenuhnya oleh Google. Hasil dari pencarian saya adalah melakukan request ke http://ajax.googleapis.com/ajax/services/search/web?v=1.0&q=mangaupdates+. Request ini mengembalikan JSON object yang bisa langsung diubah menggunakan GSON bila anda menggunakan librarynya. Salah satu contoh hasil request dapat dilihat pada gambar dibawah.
mencari rating manga "I Love 9" menggunakan Google Search API
hasilnya cukup memuaskan, sesuai dengan Google Search biasa dan tidak terlalu memakan bandwidth. Dari hasil JSON ini, saya tinggal men-decode nya dan mencari obyek URL yang saya perlukan (dari contoh atas, URL itu adalah http://www.mangaupdates.com/series.html%3Fid%3D23657.