Fernando Diaz · 7 February 2018 · 6 min read
El avance de las nuevas tecnologías ha supuesto una revolución absoluta en el campo de la creación de contenidos. Cada persona es una fuente de información.
Estos avances han conseguido que cada vez haya más y más datos de acceso público: datos que se analizan para sacar conclusiones que apoyen o lleguen a ser la piedra angular de las estrategias empresariales actuales.
Una de las técnicas con más peso en este proceso es el web scraping. Pero ¿qué es el web scraping?
Como otras muchas, es una táctica que ha adquirido mayor relevancia en los últimos años. Sin embargo, sigue habiendo mucho desconocimiento sobre sus posibilidades, limitaciones e implicaciones legales.
Espero, con este artículo, poner un poco de luz sobre el web scraping y ayudar a clarificar la información acerca de una táctica que, por sí misma, es perfectamente legal. Utilizada tras el diseño de una estrategia acertada, puede aportar a las empresas un gran valor diferencial.
Web scraping: qué es y sus orígenes
El web scraping es el conjunto de acciones ejecutadas por programas de software dirigidas a extraer grandes cantidades de datos de sitios web. Gracias a estos programas podemos automatizar la obtención de información y hacerlo de un modo rápido, seguro y sin fallos. Para entender cómo surgieron, echemos un vistazo atrás.
Origen: del web crawling al web scraping
El web scraping nace de la mano de internet. Con el objetivo de organizar toda la información disponible en la red, los primeros motores de búsqueda (WebCrawler, Lycos, Excite! y Altavista) desarrollaron los web crawlers: robots para rastrear todas las páginas web existentes.
Estos crawlers o spiders rastreaban internet, indexaban la información y permitían a los buscadores ofrecer a sus usuarios la información que necesitaban, dirigiéndoles a la web oportuna.
Por supuesto, esta es la base sobre la que se asientan los buscadores actuales, como Google, Bing o Yahoo!.
Una vez entendido el web crawler, damos un paso más y llegamos al web scraping. Al igual que el web crawling rastrea para indexar y clasificar, el web scraping va más allá y utiliza sus spiders para extraer información y almacenarla en el formato que necesitemos, para su posterior análisis.
Dónde radica su valor
No pensemos que la extracción en sí misma es el gran valor del web scraping. Su verdadera utilidad surge de unir los datos extraídos, en muchas ocasiones de varias fuentes, analizarlos y obtener conclusiones. Esas conclusiones son inteligencia para la estrategia de negocio, los esfuerzos de marketing o el desarrollo de producto.
De este modo, decenas de comercios electrónicos conocen los precios fijados por la competencia; los sitios de noticias saben qué contenidos funcionan mejor en otros sitios; y los bancos de inversión obtienen información para decidir dónde colocar su capital.
¿El web scraping es legal?
El web scraping en sí es legal. Es importante entender que el problema no está en usar crawlers para rastrear la red, sino en el uso que damos a los datos conseguidos. En España, el web scraping es legal, excepto en varios escenarios bien definidos:
- Si con el scrapeo se incurre en competencia desleal respecto a la web scrapeada, generando una duda razonable en el consumidor. Por ejemplo, si se usa la reputación de la web scrapeada para favorecer a quien usa contenidos ajenos.
- Si se incurre en un delito desde el punto de vista de la propiedad intelectual.
- Dentro del marco de la Ley Orgánica de Protección de Datos, cuando se accede a datos de terceros sin consentimiento para su almacenamiento o tratamiento.
Para conocer más sobre estos supuestos, resulta interesante el artículo ¿Es legal el Web Scraping?: de web scraping y legalidad del abogado especializado en nuevas tecnologías Rubén Vázquez.
Fuera de España
Si hablamos de esta práctica en otros mercados o sobre plataformas de origen extranjero, las circunstancias se complican. Cada caso es un mundo.
Lo que parece claro en ciertos mercados es que las grandes plataformas tratan de defender sus intereses. Extraer sus contenidos puede suponer para las empresas que lo hacen enfrentarse a costosos procesos judiciales que demuestren, en cada caso, que esa extracción se ajusta a la ley. Es interesante la reflexión de Enrique Dans en “Web scraping: ¿legal, ilegal, o depende?”.
Para qué se usa el web scraping
A continuación, listamos casos de uso que hemos llevado a cabo en Datary, junto con otros que sabemos que se realizan a diario en la red.
Estrategia de negocio y desarrollo de producto
- Inteligencia de negocio: a través de la extracción de grandes cantidades de datos, generalmente de varias fuentes, su limpieza y filtrado, las empresas obtienen conclusiones que de otro modo serían muy difíciles de conseguir.
- Compra y venta de servicios o productos: la industria inmobiliaria analiza propiedades a la venta en sitios de terceros para definir sus estrategias de negocio y desarrollo de producto.
- Análisis de reseñas de productos de la competencia: conocer la opinión de clientes potenciales sobre productos competidores ayuda en el desarrollo de producto y revela nuevas oportunidades de negocio.
Marketing y crecimiento
- Estrategia de contenidos: analizar qué contenidos interesan a los usuarios permite decidir cuáles crear.
- Publicar listados de contenidos: se pueden crear listados resumidos de contenidos de terceros, enlazando siempre a los sitios de origen. Esto beneficia a usuarios y creadores al generar una nueva fuente de tráfico.
- Conocer las tendencias del momento: analizar medios sociales permite actuar sobre la estrategia de producto, marketing o negocio.
- El copy acertado: se pueden analizar los verbos y estructuras que llaman la atención de los lectores, por ejemplo en títulos de vídeos con mucha audiencia.
- Páginas de comparación de precios: extraer precios de productos propios de sitios de terceros permite crear comparativas útiles para los clientes.
- Listados de eventos: sirve para extraer eventos de un sector concreto en un área geográfica.
Otros usos interesantes
- Documentación pasada: en abogacía se usa el web scraping para conocer las circunstancias de casos anteriores y aplicar ese conocimiento a procesos en curso.
- Recursos humanos: permite analizar perfiles en redes sociales para encontrar candidatos idóneos.
Ventaja competitiva sustancial
Tras analizar mucha información al respecto y ver lo que cada día solicitan nuevos clientes, estamos seguros del valor diferencial que ofrece el web scraping a las empresas que lo utilizan, sobre todo a aquellas que piensan más allá e innovan en su uso.
Pone a nuestra disposición más y mejor información para utilizar en nuestras estrategias, permite sacar conclusiones directamente de las opiniones o acciones de los clientes y, aunque avanza rápido, su uso todavía es residual y por tanto diferencial.
Cada vez hay más datos de acceso público, subidos por los propios usuarios. Por eso, un uso inteligente y legal del web scraping ofrece sin duda una ventaja competitiva sustancial.
Cover photo by Kevin Spencer.