No es ninguna novedad que Google es el motor de búsqueda más grande del mundo. Mucha gente hará un esfuerzo adicional para que su contenido tenga una clasificación alta en Google antes que cualquier otro motor de búsqueda. Como resultado de esto, Google tiene muchos resultados de calidad para cada búsqueda y con excelentes algoritmos de clasificación, puede esperar obtener los mejores resultados de búsqueda en Google.

Esto tiene una implicación. Su implicación es que existe una gran cantidad de datos útiles en Google y eso requiere la necesidad de extraer estos datos dorados. Los datos extraídos se pueden utilizar para el análisis de datos de calidad y el descubrimiento de conocimientos maravillosos. También puede ser importante para obtener gran información de investigación en un solo intento.

Hablando de raspado, esto se puede hacer con herramientas de terceros. También se puede hacer con una biblioteca de Python conocida como Scrapy. Scrapy está calificado como una de las mejores herramientas de raspado y se puede usar para raspar casi cualquier página web. Puede encontrar más información en la biblioteca de Scrapy.

Sin embargo, independientemente de los puntos fuertes de esta maravillosa biblioteca. La recopilación de datos en Google podría ser una tarea difícil. Google actúa con dureza en cualquier intento de raspado web, asegurando que los scripts raspados ni siquiera realicen 10 solicitudes de raspado en una hora antes de prohibir la dirección IP.  Esto hace que los scripts de raspado web personales y de terceros sean inútiles.

Google da la oportunidad de recopilar información. Sin embargo, cualquier raspado que se haga tiene que ser a través de una interfaz de programación de aplicaciones (API).

En caso de que aún no sepa qué es una interfaz de programación de aplicaciones, no hay nada de qué preocuparse, ya que proporcionaré una breve explicación. Por definición, una API es un conjunto de funciones y procedimientos que permiten la creación de aplicaciones que acceden a las características o datos de un sistema operativo, aplicación u otro servicio. Básicamente, una API le permite acceder al resultado final de los procesos sin tener que estar involucrado en esos procesos. Por ejemplo, una API de temperatura le proporcionaría los valores Celsius / Fahrenheit de un lugar sin que tenga que ir allí con un termómetro para realizar las mediciones usted mismo.

Llevando esto al alcance del raspado de información de Google, la API que estaríamos usando nos permite acceder a la información necesaria sin tener que escribir ningún script para raspar la página de resultados de una búsqueda de Google. A través de la API, simplemente podemos tener acceso al resultado final (después de que Google haga el "raspado" al final) sin escribir ningún código para raspar las páginas web.

Si bien Google tiene muchas API para diferentes propósitos, usaremos la API JSON de búsqueda personalizada para el propósito de este artículo. Puede encontrar más información sobre esta API aquí.

Esta API nos permite realizar 100 consultas de búsqueda por día de forma gratuita, con planes de precios disponibles para realizar más consultas si es necesario.

Creación de un motor de búsqueda personalizado

Para poder utilizar la API JSON de búsqueda personalizada, necesitaríamos un ID de motor de búsqueda personalizado. Sin embargo, primero tendríamos que crear un motor de búsqueda personalizado, lo que se puede hacer aquí.

Cuando visite la página del Motor de búsqueda personalizado, haga clic en el botón "Agregar" para crear un nuevo motor de búsqueda.

En el cuadro "Sitios para buscar", simplemente ingrese "www.linuxhint.com ”y en el cuadro“ Nombre del motor de búsqueda ”, ingrese cualquier nombre descriptivo de su elección (sería preferible Google).

Ahora haga clic en "Crear" para crear el motor de búsqueda personalizado y haga clic en el botón "panel de control" de la página para confirmar el éxito de la creación.

Verá una sección de "ID de motor de búsqueda" y una ID debajo de ella, que es la ID que necesitaríamos para la API y nos referiremos a ella más adelante en este tutorial. La identificación del motor de búsqueda debe mantenerse privada.

Antes de irnos, recuerde que pusimos "www.linuhint.com ”antes. Con esa configuración, solo obtendríamos resultados del sitio. Si desea obtener los resultados normales de la búsqueda web total, haga clic en "Configuración" en el menú de la izquierda y luego haga clic en la pestaña "Básicos". Vaya a la sección "Buscar en toda la Web" y active esta función.

Crear una clave de API

Después de crear un motor de búsqueda personalizado y obtener su ID, lo siguiente sería crear una clave de API. La clave API permite el acceso al servicio API, y debe mantenerse segura después de la creación, al igual que la ID del motor de búsqueda.

Para crear una clave API, visite el sitio y haga clic en el botón "Obtener una clave".

Crea un nuevo proyecto y dale un nombre descriptivo. Al hacer clic en "siguiente", se generará la clave API.

En la página siguiente, tendríamos diferentes opciones de configuración que no son necesarias para este tutorial, así que simplemente haga clic en el botón "guardar" y estamos listos para comenzar.

Accediendo a la API

Lo hemos hecho bien al obtener el ID de búsqueda personalizado y la clave de API. A continuación vamos a hacer uso de la API.

Si bien puede acceder a la API con otros lenguajes de programación, lo haremos con Python.

Para poder acceder a la API con Python, debe instalar el cliente API de Google para Python. Esto se puede instalar usando el paquete de instalación pip con el siguiente comando:

pip install google-api-python-client

Después de instalar con éxito, ahora puede importar la biblioteca en nuestro código.

La mayor parte de lo que se hará será a través de la siguiente función:

de googleapiclient.construcción de importación de descubrimiento
my_api_key = "Su clave de API"
my_cse_id = "Su ID de CSE"
def google_search (término_búsqueda, clave_api, id_cse, ** kwargs):
service = build ("búsqueda personalizada", "v1", developerKey = api_key)
res = servicio.cse ().lista (q = término_búsqueda, cx = id_cse, ** kwargs).ejecutar()
volver res

En la función anterior, el my_api_key y my_cse_id las variables deben reemplazarse por la clave de API y la ID del motor de búsqueda respectivamente como valores de cadena.

Todo lo que hay que hacer ahora es llamar a la función pasando el término de búsqueda, la clave api y el id de cse.

result = google_search ("Café", my_api_key, my_cse_id)
imprimir (resultado)

La llamada de función anterior buscaría la palabra clave "Café" y asignaría el valor devuelto a la resultado variable, que luego se imprime. La API de búsqueda personalizada devuelve un objeto JSON, por lo que cualquier análisis adicional del objeto resultante requeriría un poco de conocimiento de JSON.

Esto se puede ver en una muestra del resultado como se ve a continuación:

El objeto JSON devuelto anteriormente es muy similar al resultado de la búsqueda de Google:

Resumen

No vale la pena esforzarse en buscar información en Google. La API de búsqueda personalizada facilita la vida a todos, ya que la única dificultad es analizar el objeto JSON para obtener la información necesaria. Como recordatorio, recuerde siempre mantener en privado su ID de motor de búsqueda personalizado y los valores de clave de API.