Panduan Mencari Halaman Tersembunyi di Laman Web

Pada 2016, Google memproses lebih daripada 3.2 trilion kueri carian, namun keputusan yang dibekalkan mesin carian hanya sebahagian kecil daripada kandungan yang tersedia secara dalam talian. Kebanyakan maklumat dalam talian tidak dapat diakses oleh enjin carian, jadi anda perlu menggunakan alat khas atau menyelidik laman web sendiri untuk mencari halaman tersembunyi. Dikenali sebagai deep web, maklumat tersembunyi ini boleh mencapai 5,000 kali lebih banyak berbanding apa yang boleh dijumpai menggunakan teknik carian biasa.

Jenis Kandungan Tersembunyi

Halaman tersembunyi laman web dibahagikan kepada beberapa kategori, mengira mengapa mereka tidak kelihatan dalam hasil carian:

• Konten Dinamik – Disediakan hanya bila pengunjung menghantar permintaan tertentu. Ia biasanya datang dari pangkalan data dan tidak diindeks oleh enjin carian. Contohnya ialah hasil carian produk berdasarkan kombinasi kriteria tertentu. Untuk mencari halaman ini, anda perlu melawat laman web dan menggunakan carian khusus atau perkhidmatan pencarian berorientasi pangkalan data seperti Bright Planet.
• Halaman Tanpa Pautan (Orphan Pages) – Diunggah ke pelayan tetapi tidak dipautkan dalam struktur laman. Sesuatu yang dipasang tetapi tidak dikaitkan akan hilang dari indeks enjin carian. Ini sering berlaku pada laman dalam pembangunan atau laman yang direka tidak baik.
• Halaman Terlindung Kata Laluan – Menyediakan akses hanya kepada pengguna yang telah mendaftar atau mempunyai akaun. Ia termasuk laman langganan atau penawaran eksklusif. Untuk mengaksesnya, anda biasanya perlu membuat akaun terlebih dahulu.
• Pengecualian Robots.txt – Pemilik laman menandakan bahagian tertentu yang tidak mahu diindeks. Ini dicatat dalam fail robots.txt di root laman.

Menggunakan Fail Robots.txt

Enjin carian melintasi laman dan menyiapkan indeksnya. Jika pemilik ingin mengecualikan bahagian tertentu, mereka menambah alamat direktori atau halaman ke fail robots.txt. Fail ini biasanya terletak di root laman, jadi anda boleh melihatnya dengan memasukkan [nama domain]/robots.txt ke bar alamat pelayar. Maklumat yang bermula dengan Disallow atau Noindex menunjukkan bahagian yang tidak boleh diindeks.

Explorasi Manual Laman Web

Selain robots.txt, anda boleh mencari kandungan tersembunyi dengan meneka nama fail atau folder. Contohnya, jika anda melihat senarai halaman seperti gallery1.html, gallery2.html, gallery4.html, cuba akses gallery3.html. Begitu juga, jika laman mengatur fail dalam folder seperti example.com/content/page1.html, cuba masukkan example.com/content/ ke pelayar. Jika folder tidak dihalang, anda boleh menavigasi melalui fail di dalamnya dan subfolder untuk menemui kandungan tersembunyi.