Clustering

Clustering adalah proses mengelompokkan objek berdasarkan informasi yang ingin kita cari. Dengan cara ini akan mempermudah kita untuk mencari dokumen web yang diinginkan karena data akan dikelompokan.

Salah satu software untuk clustering adalah Carrot2 . program ini merupakan program open source jadi dapat digunakan dengan gratis. Cara kerja program ini dengan mengelompokan kedalam kategori. Carrot2 bisa digunakan dalam berbagai komponen untuk mengambil hasil pencarian dari berbagai sumber termasuk: Bing Search API , Google Search API, Google Desktop, Lucene index, Open Search , PubMed, Solr server, eTools metasearch engine, Generic XML files dan lain - lain . Carrot2 dapat dipanggil melalui beberapa API seperti Java API, C # / . NET API.

sumber : http://en.wikipedia.org/wiki/Carrot2

web crawling

Crawling adalah proses di belakang sebuah search engine, yang bertugas menelusuri World Wide Web secara terstruktur dan dengan etika-etika tertentu. Aplikasi yang menjalankan proses crawling disebut Web Crawler, atau disebut juga web spider atau web robot.

Kali ini saya menggunakan aplikasi win web crawler. Aplikasi cukup mudah digunakan sehingga saya menggunakan aplikasi ini. Fungsi dari web crawler sendiri untuk mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya. Selain itu dengan menggunakan web crawler, juga kita dapat menghitung berapa jumlah pengunjung yang mengakses web itu.

Win web crawler dapat digunakan untuk siapa saja karena tampilanya tidak terlalu bikin pusing dan tools yg terdapat tidak terlalu banyak. Namun program ini tidah free dan hanya dapat digunakan 15 hari.