Cara Mencari Halaman Tersembunyi di Laman Web

Pada tahun 2016, Google menangani lebih daripada 3.2 trilion pertanyaan carian, namun hasil carian enjin carian hanya menyumbang sebahagian kecil dari kandungan yang ada dalam talian. Sebilangan besar maklumat yang ada dalam talian tidak dapat diakses oleh enjin carian, jadi anda perlu menggunakan alat khas, atau selidik sendiri laman web, untuk mencari halaman tersembunyi ini. Dikenali sebagai web dalam, maklumat tersembunyi ini merangkumi sehingga 5, 000 kali dari apa yang ada menggunakan teknik carian biasa.

Jenis Kandungan Tersembunyi

Halaman tersembunyi laman web tergolong dalam kategori yang menerangkan mengapa laman web tersebut tidak dapat dilihat oleh enjin carian.

Sebilangannya merupakan kandungan dinamik, dilayan hanya apabila pengunjung mengeluarkan permintaan khusus di laman web yang menggunakan kod berdasarkan pangkalan data untuk menunjukkan hasil yang disasarkan. Sebagai contoh, halaman ini dapat merangkumi hasil belanja berdasarkan kombinasi kriteria produk tertentu. Enjin carian tidak dirancang untuk mengesan dan menyimpan maklumat yang disimpan dalam pangkalan data ini. Untuk mencari halaman ini, anda mesti pergi ke laman web dan mencari maklumat khusus yang anda cari, atau gunakan perkhidmatan carian berorientasikan pangkalan data seperti Bright Planet.

Beberapa halaman tidak mempunyai pautan yang menghubungkannya ke sumber yang boleh dicari. Sumber sementara, seperti pelbagai versi laman web dalam pembangunan, boleh masuk dalam kategori ini, seperti laman web yang tidak dirancang dengan baik. Sebagai contoh, jika seseorang membuat laman web dan memuat naiknya ke pelayan laman web, tetapi gagal menambahkan pautan ke halaman semasa laman web, tidak ada yang tahu ia ada di sana, termasuk enjin carian.

Masih banyak halaman memerlukan kelayakan log masuk untuk melihat atau mencapainya, seperti laman web langganan. Pereka laman web menetapkan halaman dan bahagian laman web sebagai had untuk mesin pencari, berkesan menghilangkannya daripada dijumpai melalui kaedah konvensional. Untuk mengakses halaman ini, anda biasanya perlu membuat akaun sebelum anda diberi kebenaran untuk mengaksesnya.

Menggunakan Fail Robots.txt

Mesin carian merangkak melalui halaman di laman web dan mengindeks kandungannya sehingga dapat muncul sebagai tindak balas kepada pertanyaan. Apabila pemilik laman web ingin mengecualikan beberapa bahagian domainnya dari prosedur pengindeksan ini, dia menambah alamat direktori atau halaman ini ke fail teks khas bernama robots.txt, disimpan di akar laman webnya. Kerana kebanyakan laman web merangkumi fail robot tanpa mengira pengecualian itu ada, anda boleh menggunakan nama dokumen yang dapat diramalkan untuk memaparkan kandungannya.

Sekiranya anda menaip "[nama domain] /robots.txt" tanpa tanda petik ke baris lokasi penyemak imbas anda, menggantikan "[nama domain]" dengan alamat laman web, kandungan fail robot sering muncul di tetingkap penyemak imbas setelah anda menekan kekunci "Enter". Entri yang diawali dengan "dilarang" atau "nofollow" mewakili bahagian laman web yang tetap tidak dapat diakses melalui mesin pencari.

Peretasan Laman Web Lakukan Sendiri

Sebagai tambahan kepada fail robot.txt, anda sering dapat mencari kandungan tersembunyi dengan menaip alamat web untuk halaman dan folder tertentu di penyemak imbas web anda. Sebagai contoh, jika anda melihat laman web artis dan melihat bahawa setiap halaman menggunakan konvensyen penamaan yang sama - seperti galeri1.html, galeri2.html, galeri4.html - maka anda mungkin dapat mencari galeri tersembunyi dengan menaip halaman "galeri3.html." di penyemak imbas web anda.

Begitu juga, jika anda melihat bahawa laman web menggunakan folder untuk menyusun halaman - seperti example.com/content/page1.html, dengan "/ content" menjadi folder - maka anda mungkin dapat melihat folder itu sendiri dengan menaip laman web dan folder, tanpa halaman, seperti "example.com/content/" di penyemak imbas web anda. Sekiranya akses ke folder belum dilumpuhkan, maka anda mungkin dapat menavigasi halaman yang terdapat di dalamnya, serta halaman di mana-mana sub-folder, untuk mencari kandungan tersembunyi.