O que é a Web Invisível?

O que é a Web Invisível? A Web Invisível é a parte da World Wide Web, que não é indexável por mecanismos de pesquisa e, portanto, é “invisível” ao usuário comum.

Você sabia que existe uma grande quantidade de dados que os mecanismos de pesquisa não mostram sem uma pesquisa específica? O termo “web invisível” ou “Internet Invisível” refere-se principalmente ao vasto repositório de informações a que os mecanismos de busca e diretórios não têm acesso direto, como bancos de dados.

Em contraste com o “Surface Web”, ou Web de Superfície (a web que estamos acostumados), o Web Invisível consiste em dados e informações que não podem ser pesquisados nos mecanismos de pesquisa por diversos motivos. Os usuários não podem acessar essas informações usando mecanismos de pesquisa tradicionais. Sites, aplicativos e recursos não indexados incluem informações protegidas nas áreas de email, banco on-line, bancos de dados especializados e outros serviços pagos, por exemplo, por meio de um paywall. Além disso, existem sites não vinculados e protegidos por senha, bem como tipos de mídia e arquivos que não podem ser rastreados com a tecnologia atual do mecanismo de pesquisa.

Ao contrário das páginas na Web visível (ou seja, na Web que você pode acessar a partir de mecanismos de pesquisa e diretórios), as informações nos bancos de dados geralmente são inacessíveis aos softwares rastreadores e aos chamados spiders que criam índices do mecanismo de pesquisa. Os usuários podem acessar a maioria dessas informações, mas apenas por meio de pesquisas específicas que desbloqueiam o local dessas informações.

Informação geral

Os diferentes nomes da World Wide Web são freqüentemente confundidos. Termos como Dark Web, Deep Web , Invisible / Visible Web ou os chamados Darknet estão sujeitos a demarcações e definições pouco claras. O estudo empírico mais importante sobre este assunto data de 2001 e está provavelmente ultrapassado agora. ^[1] Embora o tamanho dos vários tipos da Internet tenha sido examinado lá, definições também foram criadas em um estudo adicional do mesmo ano, que são explicadas no artigo Deep Web. ^[2] Falar de uma Web Invisível só faz sentido se o mecanismo de busca usado também for mencionado.Porque os motores de busca tornam os recursos visíveis na Invisible Web e tudo o que ainda não foi indexado pelos motores de busca é, em princípio, invisível para a maioria dos utilizadores da Internet.

Como funciona

A Web Invisível pode ser vista como uma área da Internet que ainda não foi indexada ou foi submetida a várias restrições de acesso. Uma metáfora que é frequentemente usada neste contexto é a do oceano.

Em uma seção transversal, as informações que compõem a World Wide Web podem ser representadas como as várias profundidades e camadas do oceano.

Um mecanismo de busca como o Google seria, então, um barco de pesca pescando em águas rasas. No entanto, há muitas outras informações que são inacessíveis para o barco de pesca, porque as redes não chegam tão longe. Assim, os seguintes termos são comuns entre especialistas em TI:

Web de superfície (Surface Web): os recursos de informações são vinculados por hiperlinks . Os mecanismos de pesquisa podem rastrear e indexar essas informações. A maioria dos usuários conhece esse tipo de Web como a Internet, que eles usam, por exemplo, em uma pesquisa.
Web Rasa (Shallow Web): A Web Rasa é o plano de fundo da tecnologia da informação de muitas páginas. Isso inclui bancos de dados, servidores e instruções de programação, que são armazenados nos bancos de dados. Por exemplo, os sites são gerados diretamente desses bancos de dados quando acessados pelos usuários. Isso inclui, em particular, sites com scripts e dinâmicos vinculados a hiperlinks e criados usando PHP e outras linguagens de programação. Os links atraem os mecanismos de pesquisa para esses sites, mas geralmente indexam apenas as versões estáticas desses sites.
Web Profunda (Deep Web ou Hidden Web): Essas informações e recursos são geralmente ocultos e não há links para isso. Para pesquisar essas informações, são necessários mecanismos e tecnologias de busca específicos para obter acesso. O navegador Tor é um exemplo de tal tecnologia. Os diretórios da Deep Web funcionam como mecanismos de pesquisa específicos que podem ser usados para acessar informações, a menos que estejam sujeitos a outras restrições de acesso (como senhas, criptografia, firewalls).

Na terminologia acima, a Web Invisível é uma combinação do Shallow e Deep Web. Para obter o conteúdo e as informações da Web Invisível, são necessárias consultas individuais com base nas linguagens de programação utilizadas ou em mecanismos de pesquisa específicos que fornecem um índice. Como uma variedade de bancos de dados de assunto e recursos de servidor são organizados tematicamente e escritos em uma linguagem de programação específica, uma pesquisa dessas informações é quase impossível para mecanismos de pesquisa gerais como Google, Yahoo ou Bing. Neste sentido, o conteúdo lá é invisível, mas em princípio pode ser alcançado usando motores de busca verticais, tecnologias específicas e instruções de programação corretas.

Quão grande é a Web Invisível?

Estima-se que a Web Invisível seja literalmente milhares de vezes maior que o conteúdo da Web encontrado nas consultas gerais dos mecanismos de pesquisa. De acordo com a Bright Planet, uma organização de busca especializada em extração de conteúdo da Web Invisível, a Web Invisível contém quase 550 bilhões de documentos individuais em comparação com o bilhão da Web de superfície.

Por que é chamado “The Invisible Web”?

Os spiders, que são basicamente pequenos programas de software, percorrem toda a Web, indexando os endereços das páginas que descobrem. Quando esses programas de software são executados em uma página a partir da Web Invisível eles não sabem exatamente o que fazer com ele. Esses spiders podem registrar o endereço, mas não podem acessar nada sobre as informações contidas na página.

Por que a Web invisível é importante?

Muitos usuários acreditam que seria mais fácil ficar com o que pode ser encontrado no Google ou no Yahoo. No entanto, nem sempre é fácil encontrar o que você está procurando com um mecanismo de pesquisa, especialmente se você estiver procurando por algo um pouco complicado ou obscuro.

Como faço para usar a Web invisível?

Há muitas outras pessoas que se fizeram a mesma pergunta e montaram ótimos sites que servem como um ponto de partida para a Web Invisível. Aqui estão alguns gateways para assuntos diferentes:

Voice of the Shuttle : Iniciado em 1994, o VoS é um dos mais antigos e maiores bancos de dados de humanidades da Web, oferecendo um índice exclusivo de conteúdo para assuntos que variam de antropologia a tecnologia da escrita.

Específico para o governo dos EUA

Centro de Documentos do Governo da Universidade de Michigan : Você encontrará relatórios, estatísticas e outros documentos de todos os níveis do governo dos EUA aqui. Bancos de dados oferecidos incluem Artes, Ciências da Saúde, Ciências Sociais e Estudos Internacionais.
USA.gov : Um portal de tapete vermelho nas profundezas das muitas entidades do governo dos Estados Unidos. Inclui empregos no governo, uma lista de agências governamentais de A a Z e informações sobre como encontrar subsídios, empréstimos e assistência financeira.

Saúde e Ciência

PsycNET : Use este banco de dados da Associação Americana de Psicologia para encontrar resumos e periódicos inteiros sobre vários tópicos psicológicos (taxas são aplicadas para completar as entradas no diário, os resumos geralmente são gratuitos).
Healthfinder : Profissionalmente vetou informações de mais de mil bancos de dados de saúde diferentes na Web. Uma ampla gama de recursos em uma variedade estonteante de tópicos de saúde está disponível aqui.
RXList : Se você está procurando informações confiáveis sobre medicamentos, então este banco de dados para medicamentos controlados, medicamentos e identificações de comprimidos é para você. Oferece um índice de A a Z, coleções de imagens e um dicionário de termos.

Mega-Portals

A Biblioteca Virtual é simples e fácil de usar, com links de assuntos anotados. É apreciado especialmente as anotações porque isso ajuda a diminuir o tempo de pesquisa.

Fonte: Lifewire & Ryte Week

Veja também: