Scraping Archaeology: A Methodological Approach from the Web Scraping and Text Mining
No Thumbnail Available
Date
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Facultad de Filosofía y Humanidades. Museo de Antropología
Abstract
Description
As the amount of information available on the web increases, so does the task of locating and analysing it, and performing this task manually can be costly in terms of time and effort. Although search engines and database engines can help to find the required information, in large digital infrastructures where search results are in the thousands - or more - new tools are needed to effectively retrieve the searched content. This paper proposes the application of Web Scraping and Text Mining as methodological inputs to be able to compile and process large volumes of data in digital infrastructures in a more automated way. The automation of both processes provides a great advantage in analysing textual corpora of thousands of records, which significantly simplifies the collection of different types of data, facilitating the work considerably. It is hoped that this contribution will expand the possibilities of the archaeological community in terms of a novel methodology for the collection and handling of structured and unstructured data that can be integrated into the research of the wider archaeological community.
A medida que la cantidad de información disponible en la web aumenta, también lo hace la tarea de localizarla y analizarla, por lo cual realizar esta tarea de forma manual puede ser costosa en función al tiempo y esfuerzo invertido. Aunque los buscadores y los motores de bases de datos pueden ayudar a encontrar la información requerida, en infraestructuras digitales grandes donde los resultados de búsqueda se cuentan por millares – o más– se precisan de nuevas herramientas para obtener el contenido buscado de manera efectiva. Este trabajo propone la aplicación de Web Scraping y Text Mining como insumos metodológicos para poder compilar y procesar grandes volúmenes de datos en infraestructuras digitales de una forma más automatizada. La automatización de ambos procesos aporta una gran ventaja al analizar corpus textuales de miles de registros lo cual simplifica de manera significativa la obtención de diferentes tipos de datos, facilitando el trabajo considerablemente. Se espera que esta contribución permita ampliar las posibilidades de la comunidad arqueológica en clave de una metodología novedosa para la obtención y el manejo de datos estructurados y no estructurados que pueden ser integrados a las investigaciones de la comunidad arqueológica en general.
À medida que o volume de informações disponíveis na Web aumenta, também aumenta a tarefa de localizá-las e analisá-las, e realizar essa tarefa manualmente pode ser dispendioso em termos de tempo e esforço. Embora os mecanismos de pesquisa e os mecanismos de banco de dados possam ajudar a encontrar as informações necessárias, em grandes infraestruturas digitais, onde os resultados de pesquisa são milhares ou mais, são necessárias novas ferramentas para recuperar com eficácia o conteúdo pesquisado. Este documento propõe a aplicação de Web Scraping e Text Mining como insumos metodológicos para poder compilar e processar grandes volumes de dados em infraestruturas digitais de forma mais automatizada. A automação de ambos os processos traz uma grande vantagem na análise de corpora textuais de milhares de registros, o que simplifica significativamente a obtenção de diferentes tipos de dados, facilitando consideravelmente o trabalho. Espera-se que esta contribuição amplie as possibilidades da comunidade arqueológica em termos de uma nova metodologia para a coleta e o manuseio de dados estruturados e não estruturados que possam ser integrados à pesquisa da comunidade arqueológica mais ampla.
A medida que la cantidad de información disponible en la web aumenta, también lo hace la tarea de localizarla y analizarla, por lo cual realizar esta tarea de forma manual puede ser costosa en función al tiempo y esfuerzo invertido. Aunque los buscadores y los motores de bases de datos pueden ayudar a encontrar la información requerida, en infraestructuras digitales grandes donde los resultados de búsqueda se cuentan por millares – o más– se precisan de nuevas herramientas para obtener el contenido buscado de manera efectiva. Este trabajo propone la aplicación de Web Scraping y Text Mining como insumos metodológicos para poder compilar y procesar grandes volúmenes de datos en infraestructuras digitales de una forma más automatizada. La automatización de ambos procesos aporta una gran ventaja al analizar corpus textuales de miles de registros lo cual simplifica de manera significativa la obtención de diferentes tipos de datos, facilitando el trabajo considerablemente. Se espera que esta contribución permita ampliar las posibilidades de la comunidad arqueológica en clave de una metodología novedosa para la obtención y el manejo de datos estructurados y no estructurados que pueden ser integrados a las investigaciones de la comunidad arqueológica en general.
À medida que o volume de informações disponíveis na Web aumenta, também aumenta a tarefa de localizá-las e analisá-las, e realizar essa tarefa manualmente pode ser dispendioso em termos de tempo e esforço. Embora os mecanismos de pesquisa e os mecanismos de banco de dados possam ajudar a encontrar as informações necessárias, em grandes infraestruturas digitais, onde os resultados de pesquisa são milhares ou mais, são necessárias novas ferramentas para recuperar com eficácia o conteúdo pesquisado. Este documento propõe a aplicação de Web Scraping e Text Mining como insumos metodológicos para poder compilar e processar grandes volumes de dados em infraestruturas digitais de forma mais automatizada. A automação de ambos os processos traz uma grande vantagem na análise de corpora textuais de milhares de registros, o que simplifica significativamente a obtenção de diferentes tipos de dados, facilitando consideravelmente o trabalho. Espera-se que esta contribuição amplie as possibilidades da comunidade arqueológica em termos de uma nova metodologia para a coleta e o manuseio de dados estruturados e não estruturados que possam ser integrados à pesquisa da comunidade arqueológica mais ampla.
Keywords
R, Web scraping, Text mining, Data analytics, Digital Archaeology, R, Web scraping, Text mining, Análisis de datos, Arqueología digital, R, Web scraping, Text mining, Análise de dados, Arqueologia digital