Как устроен архив

Основа архива — снимки страниц старого сайта в Wayback Machine. Всего нашлось 12 152 снимка страниц. Для каждого материала мы выбирали один снимок: тот, где текст цел и страница не оборвана. Выбранные снимки сделаны в основном в 2013–2019 годах (по числу материалов: 2014 — 1 438, 2017 — 1 587, 2015 — 1 070, 2016 — 1 086, 2019 — 612, 2018 — 347, 2013 — 100). Остальные, около 80, сняты позже, в 2020–2026 годах. Для каждого материала в реестре записан один снимок, с которого собрана страница, и его дата: они видны в блоке «Источник».

Не всё удалось взять из Wayback. Часть снимков оборвана на середине, в части материалов осталось только вводное предложение (в первую очередь это платные материалы, у которых снимок сохранил открытую часть). Такие тексты сверяли с копиями сайта, которые сохранили читатели. Копий несколько, они независимы друг от друга: полные копии сайта, архивы с готовыми страницами и с текстами по адресам, подборка PDF-версий статей. Имена тех, кто их прислал, и названия файлов мы не публикуем. Сводили так: для материала с обрывом искали тот же адрес в каждой копии и сравнивали число слов. В рабочей таблице у каждой находки записано, в каких копиях текст нашёлся и сколько в нём слов. Уверенность «высокая» ставили, когда текст нашёлся в нескольких копиях и число слов в них совпало, «средняя», когда копии расходились или нашлась одна. Если копии расходились, брали ту, что совпадала с большинством.

Итог: 161 материал восстановлен по копиям читателей. Место стыка снимка и копии помечено в тексте.

Старый сайт работал на WordPress с собственной схемой адресов: /раздел/<номер>/<слаг>/. Число в середине адреса — номер записи в базе движка. Мы называем его учётным номером, на сайте он стоит как «Запись № …» в блоке «Источник».

По реестру архива у каждого из 6 322 материалов есть номер, у 6 318 он совпадает с числом в адресе. У четырёх адрес построен нами (это страницы, добавленные в архив отдельно от общей выгрузки), номер у них записан в реестре. Номера не придуманы нами: мы только переносили те, что были в старой базе. В архиве номера идут не подряд, часть номеров свободна. По самому номеру нельзя судить, сколько материалов было опубликовано: число 6 322 берётся из реестра, а не из наибольшего номера.

Двойники одного материала (раздел 3) получают один номер: у материала, который лежал под двумя адресами, номер один, а адресов два.

Найти статью по номеру можно двумя способами: открыть адрес вида https://sputnikipogrom.net/<раздел>/<номер>/<слаг>/ (раздел и слаг видны в поиске) либо вписать номер в поиск по сайту. Скачанные тексты на GitHub тоже подписаны номером в шапке.

Один и тот же материал на старом сайте открывался по нескольким адресам. Бывало по-разному: с номером и без, с разделом и без раздела, через короткий слаг и через длинный. Мы нашли 1 731 такую пару. Для каждой выбран один основной адрес, под которым материал живёт в поиске, в sitemap и в списках, остальные превращены в заглушки.

Основной адрес выбирали по правилу: берём адрес с числом (учётным номером), если он существует. Адрес без числа, корневой или служебный не становится основным, если есть числовой. Так основной адрес сменился у 56 статей. Для остальных остался тот, что был.

Заглушка — это маленькая страница по второму адресу. В её коде стоит указание на основной адрес (canonical), пометка для поисковиков не индексировать её, и мгновенный переход на основной адрес для читателя. Всего таких заглушек 1 731. Кроме них, 129 адресов отдают постоянный переход (301) на нужную страницу: это промежуточные пути старой схемы, по которым читатель мог попасть на список, а не на материал.

Обрезанные и совсем старые ссылки. Если ссылка вела на страницу, которой нет, но по номеру её можно определить, адрес переводит на основной адрес этого номера. Если номера нет, адрес отдаёт страницу «не найдено».

Каждый материал помечен по сохранности. Признаки такие.

• Полный текст: на странице есть текст статьи, не оборванный. Таких 6 083.
• Только фрагмент: текст есть, но обрывается. Признак: на странице после вычета подписи читается не меньше четырёх слов, а текст явно неполон. Таких 45.
• Только заголовок: нет ни текста, ни собственных картинок, ни видео, остались заголовок, дата и рубрика. Таких 182. Если слов меньше четырёх, считаем, что текста нет.
• Оборван на подписке: в оригинале продолжение закрывала платная подписка, а снимок сохранил только открытую часть. После восстановления таких 4.
• Только подпись: остался один абзац с подписью автора. Таких 8.
• Галерея не сохранилась: остались заголовок и подпись, слайдшоу не загрузилось. Таких 2.

Платных материалов («премиум») в издании было много. 267 из них лежат целиком: полный текст нашёлся в копиях читателей. Сначала платный блок сочли признаком обрезанности и проверили, что это не так: он стоит в шаблоне у всех подряд, у большинства таких материалов текст цел. Помеченными как обрезанные подпиской считаются только те, у которых текст действительно обрывается.

Как восстанавливали. Если текст из копии в общей части совпадал со снимком и был длиннее, им дополняли: HTML-теги снимались, сам текст не правился. Всего 161 материал восстановлен так; в тексте на месте стыка стоит пометка.

Авторов мы описываем в три слоя. Они устроены по-разному, и смешивать их нельзя.

Слой 1. Подпись в статье. Это ровно то, что напечатано в оригинале: регистр, опечатки, латиница или кириллица, «Редакция», совместные подписи вроде «Имя, Имя». Мы ничего в ней не заменяем. Подпись ведёт на страницу автора. Откуда подпись: строка «Текст: …» в самой статье, метка-автор, а для неподписанного «Редакция».

Слой 2. Страница автора. Она объединяет только написания одной и той же подписи. Правила:

• транслитерация: Gleb Egorov и Глеб Егоров (в английском разделе авторов подписывали латиницей, в русских статьях теми же людьми кириллицей);
• регистр и порядок слов;
• опечатка, если она проверена по оригиналу.

Сомнительные пары (например «Север» и «Егор Север») сливаются только после сверки с оригиналом; пока она не сделана, они остаются отдельными. Наверху страницы автора стоит строка «Подписи: Глеб Егоров, Gleb Egorov», а в списке у материала с иной подписью стоит пометка «подпись: Gleb Egorov». Сейчас так устроены три страницы авторов (Глеб Егоров, Андрей Поляков, Георгий Лепин) и 8 материалов с отличающейся подписью. Соавторы: статья с подписью «Имя, Имя» стоит на странице каждого из них; своей страницы у соавтора с одним текстом раньше не было, она создана.

Отдельно от этого шли страницы-двойники: у одного автора бывало две страницы, одна с адресом латиницей, другая кириллицей, с одним и тем же напечатанным именем. Таких пар слито 133, подпись в статьях это не меняло.

Слой 3. Связь «подпись — человек». Подпись и человек не всегда совпадают. Самый очевидный пример — «Егор Погром» и «Егор Просвирнин»: это один автор, главный редактор, он сам пишет об этом в текстах за подписью Погрома (от 6 апреля 2014 и от 15 апреля 2014). Мы всё равно держим подписи раздельно, как они стояли в издании, и по существу не вмешиваемся: у страниц только взаимные ссылки «См. также». Других связей подписей с людьми не устанавливаем.

Почему слои 1 и 3 разделены. Подпись — исторический факт: так значилось в издании. Связь с человеком — наше знание о нём. Если смешать, читатель не отличит напечатанное от установленного нами, и в архиве окажется утверждение, которого издание не делало.

Список неполный. На странице «Авторы» 281 имя: по одной странице на каждую подпись из реестра, и каждый материал стоит на странице каждой своей подписи (совместная подпись — на странице каждого). Материалы без даты стоят в конце списка автора с пометкой «без даты». Подписи «Редакция», служебная метка «premium» и материалы без подписи в список не вошли. Псевдонимы ведут на свои страницы.

Дата берётся из записи на снимке (время публикации с минутами). Даты 2012 года требуют пояснения. Группа во ВКонтакте открылась 28 апреля 2012 года, сайт 29 апреля 2013-го. 212 материалов 2012 года редакция позже перенесла на сайт с исходными датами, поэтому в архиве они стоят 2012-м, а в номерах записей идут вперемешку с материалами 2013-го. Тексты за ноябрь 2012 — март 2013 на сайт не переносились, их в архиве нет.

Сбитые даты. Одну мы исправили вручную: у материала № 60239 в оригинале значилось 30 сентября 2012, а по номеру записи, по картинкам (загружены в сентябре 2016) и по соседним материалам это 30 сентября 2016. Других таких случаев мы не нашли; полной сверки всех дат с содержанием текстов не было.

72 материала без даты: в записи не было времени публикации. Они собраны на отдельной странице, в годовые списки не входят.

На старом сайте у материала были рубрики (раздел вроде «Россия» или «Политика») и метки. Рубрики мы сохранили как есть. Метки были двух видов: темы и авторы (подпись автора ставилась меткой). Мы их разделили: если имя входит в список авторов, это страница автора, остальные метки темы.

Циклы. Отдельных названий циклов в метках старого сайта не было: список частей виден только внутри самих статей цикла. По этим спискам мы и нашли циклы: всего 98 циклов, в них 484 материала. Из 98 циклов 78 содержат три части и больше, они в sitemap, ещё 20 из двух частей закрыты от индекса. Части упорядочены так, как они перечислены внутри цикла.

Всего картинок и документов, привязанных к материалам, 57 328 файлов (из них около 57 тысяч — картинки, остальное — приложенные документы). Их брали из Wayback, из копий читателей и из самого снимка.

Что вычищено. В метаданных файлов (EXIF и подобное) бывали координаты GPS, имена владельцев и названия программ. Мы удалили их из выложенных копий и проверили результат: координат и имён владельцев в картинках архива не осталось.

Не нашлись. 66 картинок в 32 материалах не удалось найти нигде: ни в Wayback, ни в копиях читателей. На их месте стоит пометка. Все остальные картинки возвращены на места.

Подписи. Подписи под картинками (на старом сайте они стояли отдельным абзацем) возвращены из снимка. Всего вернули около 3 600 подписей в 1 062 материалах; 13 подписей не нашли, куда поставить, и оставили в тексте без привязки.

Ролики были встроены с YouTube, Vimeo, Dailymotion и других площадок. Мы проверили все 1 053 ролика, которые остались в текстах как встроенные, через публичный запрос oEmbed. Живыми оказались 1 052, мёртв один (на его месте пометка).

Отдельно стоят места, где ролика не было уже в снимке: в тексте остался только след. Таких мест 677, они в 519 материалах. Для 370 из них по коду страницы видно, что встроен был ролик YouTube, там стоит пометка «видео удалено с YouTube». В остальных 307 площадку определить не удалось, там пометка «видео не сохранилось».

Живые ролики показаны ссылкой на площадку («Видеозапись во внешнем проигрывателе»), а не встроенным окном: так страница не обращается к чужим серверам, пока читатель сам не нажмёт.

В оригинале были всплывающие сноски (плагин с примечаниями редакции). В снимках от них остался только список внизу страницы с номерами. В 55 статьях собрано 945 примечаний, и мы вернули им прежнее поведение: номер в тексте, при наведении всплывает примечание, внизу страницы то же в списке с возвратом «↩» к месту в тексте. Если текст примечания в снимке оборвался, его брали из копии (так дополнено 68 примечаний). В виде «Как было» список скрыт, как на оригинале.

Отдельный случай: сноски в двойных фигурных скобках. В нескольких десятках материалов номер сноски остался в тексте в таком виде. Мы превратили его в ссылку на пункт «Библиографии» в конце того же материала, с возвратом. Всего 626 ссылок в 52 материалах. Для шести материалов цели нет, там номер в скобках остаётся как был, см. раздел 17.

Восемь статей имели на старом сайте собственный макет (страница, сделанная вручную, со своей шапкой и стилем). Их стили мы изолировали внутри статьи, чтобы они не ломали общую вёрстку. В виде «Как было» они показаны как на оригинале.

Дайджест — это 63 выпуска (432 страницы), у каждого свой облик. Спецпроекты — отдельные страницы с интерактивом (например слайдер примерно в 110 статьях и страница с инфографикой «Эволюция социализма»). Всё это собрано на странице «Особая вёрстка» в разделе «Архив», девять статей.

Реквизиты и контакты. Из 187 материалов убраны платёжные реквизиты сборов (номера карт, счетов и кошельков) и личные контакты людей (телефоны, личные адреса и почты): иначе деньги и адреса остались бы в открытом доступе. Находили автоматически по признакам номеров, кошельков, телефонов и адресов почты, каждую находку смотрел человек: обычные числа, даты и цены оставлялись. На месте убранного стоит пометка «Здесь были реквизиты сбора и личные контакты. Сбор давно закрыт, данные людей мы убрали.» Остальной текст не менялся. Редакционный адрес в одной статье оставлен.

Реклама, счётчики, кнопки. Убраны рекламные блоки, пиксели, счётчики посещаемости, виджеты соцсетей, формы подписки и кнопки «поделиться». Это не часть текста.

Ссылки на соцсети. В «Как было» оставлены ссылки на страницы издания (ВКонтакте, Telegram, Twitter, Facebook, YouTube): это часть облика страницы, как на снимке. Они обычные, без скриптов, виджетов и передачи данных. В «Для чтения» их нет.

«Как было» — страница с оформлением поздней темы сайта, как на последнем снимке: шапка, шрифты, блоки в конце текста (например «Читайте также»). Берётся с снимка: структура страницы, подписи и оформление. Убраны только реклама, счётчики и кнопки «поделиться» (раздел 12).

«Для чтения» — тот же текст в общей вёрстке архива: единая шапка, одинаковый шрифт, тёмная тема, примечания, блок «Источник». Здесь добавлены предыдущий и следующий материалы и ссылка на весь месяц.

Что запоминает браузер. Только ваш выбор вида («Как было» или «Для чтения»), раскрытие блока «Источник» и закрытие плашки «От составителей». Это хранится в самом браузере (localStorage), на сервер ничего не уходит. Файлов cookies сайт не ставит.

Внизу статьи свёрнутый блок «Источник» (в «Как было» он скрыт). Поля:

• Старый адрес — где материал был на сайте издания.
• Снимок — ссылка на конкретный снимок в Wayback Machine и его дата. Если материал восстановлен частично по другому источнику, это сказано.
• Текст — полный или неполный (раздел 4).
• Картинки — сколько нашлось из скольких.
• Запись № — учётный номер (раздел 2).
• Как сохранено — снимок сайта, восстановлено по копиям читателей, фрагмент, только заголовок.
• Ссылка «Как устроен архив» — эта страница.

Сайт целиком статичный: набор готовых страниц, без базы данных и без сервера, который что-то вычисляет при каждом запросе. Всего 15 690 страниц, из них 1 731 заглушка двойников; остальное материалы, списки по годам, месяцам, авторам, циклам, рубрикам, метки и служебные страницы. В sitemap 7 110 адресов (только то, что должно попасть в поиск: основные адреса материалов и списки).

Поиск работает в браузере: при первом поиске загружается файл с индексом (около 17 МБ), поиск идёт по нему на вашем устройстве. На сервер запрос не отправляется.

Стили и скрипты подписаны версией по содержимому: к имени файла добавляется короткая сумма (?v=…), поэтому, когда мы меняем файл, браузер берёт новый, а не показывает старую копию из кэша.

Счётчиков и cookies нет: ни Яндекс.Метрики, ни аналитики, ни пикселей. Мы проверяем это при каждой сборке: во всех страницах ищем внешние адреса, не только знакомые имена счётчиков.

Открытые данные. Тексты лежат на GitHub в виде markdown: файл на материал, в начале шапка (front matter) с полями: заголовок, дата, автор, рубрики, теги, учётный номер. Всего 6 230 статей 2012–2018 годов. Скачать всё можно одной командой git clone https://github.com/sputnikipogrom/archive или кнопкой «Download ZIP» на странице репозитория. Картинки в репозиторий не входят: к ним приложен манифест (список файлов с размерами).

Ссылка на материал — его основной адрес на сайте, он указан в адресной строке. Для научных и журналистских ссылок лучше добавить учётный номер и дату снимка из блока «Источник»: адрес на сайте может измениться, а номер и снимок нет.

Образец:

Автор. Заголовок // Спутник и Погром, [дата публикации]. Архив: sputnikipogrom.net/<раздел>/<номер>/<слаг>/ (запись № <номер>; снимок web.archive.org от <дата снимка>).

Если нужен только оригинал, ссылайтесь на снимок из блока «Источник»: он ведёт на то, что видел читатель в год публикации.

• Шесть материалов со сносками в фигурных скобках без цели. Номер сноски остаётся в тексте, а список, на который он должен вести, в снимке не сохранился.
• «Киевлянин». Сканы газеты лежали на стороннем сервисе (Issuu), в архиве от этих статей остался вводный текст. 36 документов, поиск их копий в Wayback не закончен.
• Подписи авторов. У части материалов подпись не определена; псевдонимы не сведены с настоящими именами; возможны ошибки в написании у тех, кто встречается один раз.
• Двойники. Мы выбираем основной адрес по правилу (раздел 3); в редких случаях это не тот, под которым материал был известен читателям. Старые адреса работают через переход.
• 66 картинок в 32 материалах не нашлись.
• 13 подписей под картинками не нашли места в тексте.
• Даты. Проверяли только по соседним номерам. Возможны сбитые даты, кроме найденной.
• Видео. Проверены встроенные ролики; ссылки на ролики внутри текста мы не проверяли.
• Восстановление по копиям. 161 материал склеен из двух источников; на стыке возможны мелкие расхождения.
• Реквизиты. Находки смотрел человек; возможны пропущенные номера в нетипичной записи.

Напишите на sputnikipogrom@proton.me. Укажите адрес страницы и что именно не так. Если у вас есть копия материала или картинки, которых нам не хватает, приложите её или напишите, где она лежит.

Составители себя не называют. На вопрос, кто сделал архив, мы не отвечаем. Написать нам можно на sputnikipogrom@proton.me.

Юридически архив ни к одной стране не привязан и, если понадобится, переедет. Для отдельной страны мы можем закрыть отдельные материалы, но не весь сайт.