Narod и цифровое наследие

Содержание

• Описание проекта
• Участники проекта
• Используемые технологии
• Файлы
• Установка проекта

Описание проекта

Проект посвящен исследованию датасета, содержащий 1 237 616 доменов хостинга narod.ru.

Цель проекта: разработка платформы для исследования архивного рунета

Участники проекта

Кураторы проекта:

• Иван Бибилов
• Анна Козлова

Участники проекта:

• Ксения Зайцева
• Михаил Котов
• Наталья Горбачева
• Александра Горваль
• Наталья Дмитриева
• Татьяна Максимова
• Ильяс Асланов (в рамках ВКР)

Используемые технологии:

Языки программрования:

Библиотеки для работы с данными:

Инструменты тестирования и скрепинга сайтов:

Удаленный репозиторий:

Файлы

narod

Название файла	Содержание файла
narod-package.py	Содержит функции, используемые для скреппинга страниц и преобразования данных
scrap_media.py	Содержит функции, используемые для сбора медиа файлов (gif)
interface.py	Исполнительный файл dash - приложения
requirements.txt	Список зависимостий, необходимых для работы проекта

csv

Название файла	Содержание файла
codebook.csv	Код-бук с описанием атрибутов датасета websites_100.csv
websites_100.csv	Датасет с примерами 100 сайтов для демо функционала приложения

Установка проекта

1. Склонируйте репозиторий

git clone https://github.com/t4m4g0tch1/narod.git

2. Скачайте архив screens.zip и поместите в корневую папку проекта:

https://drive.google.com/file/d/1IsWK9bBIx-hNUVy6VPViFEU5IrfANf1s/view?usp=sharing

3. Установите необходимые зависимости:

pip install -r requirements.txt