Журналистика данных для начинающих: где искать и как извлекать данные

Журналистика данных Открытые данные

Журналистикой данных заниматься непросто, если данных у вас нет. Нет данных – нет и истории. О том, как и где искать данные и как их извлекать, рассказал нахакатоне в РИА Новости Иван Бегтин, директор некоммерческого партнерства«Информационная культура». Вот короткий обзор.

Когда журналисты начинают работать с открытыми данными, у них есть три варианта:

  1. Есть данные, но нет понимания, что с ними делать;
  2. Есть идея для истории, но нет данных, чтобы ее доказать;
  3. Нет ни данных, ни идеи, но сдавать все надо завтра.

В идеальном случае у вас есть четкое понимание того, о чем вы хотите рассказать, и все необходимые данные, а также время для работы с ними и технологии. Это означает, что вы умеете программировать или общаться с программистами на их языке.

Полную запись выступления Ивана Бегтина можно посмотреть здесь:

[youtube https://www.youtube.com/watch?v=dbW_EJdQz2A]

 

Как запустить проект с большими данными

При работе с большими массивами данных готовиться нужно заранее. Важны следующие моменты:

  1. Данные: нужно знать, где из искать и что с ними делать.
  2. Понимание основных API (application programming interfaces) и доступ к различным наборам данных, которые смогут увидеть важные взаимосвязи,
  3. Скрейпинг: извлечение данных с сайтов при отсутствии доступа к структурированным данным.
  4. Основные инструменты для обработки данных.

Excel, кстати, вам очень пригодится. Это базовый инструмент любого аналитика, работающего с данными.

Как можно работать с данными: 

  1. Берете существующую базу данных.
  2. Используете API, которые другие создали до вас.
  3. Создаете собственные API под конкретные задачи. Так работают известные издания, такие как The Guardian и New York Times. Это важный шаг при освоении журналистики данных, но надо понимать, что на него могут уйти недели и месяцы работы.

Ищем наборы данных

Поиск подходящего набора данных, содержащего достоверные и удобные для обработки цифры, может быть гораздо сложнее, чем кажется.

Где можно искать наборы данных:

  1. Спросите других:
    • Quora.com
    • Stack Overflow
    • Рассылка Open Knowledge Foundation и группы в Facebook
  2. Каталоги:
    • Thedatahub.org
    • Hubofdata.ru
    • Datacatalogs.org

Базы данных в интернете:

  1. Международные базы данных:
    • The Data Hub
    • Data.worldbank.org позволяет сравнивать параметры развития нескольких стран.
    • Data.un.org
  2. Национальные базы данных:
    • Hubofdata.ru
    • Data.gov (США)
    • Data.gov.uk (Великобритания)

Скрейпинг (Web/ screen scraping) позволяет извлекать неструктурированные данные со страниц, из документов и файлов и переводить и в базы данных. Вот в этой книге подробно изложены различные варианты извлечения данных при помощи скрейпинга, начиная от простых плагинов для браузера и заканчивая написанием собственного кода (книга на английском).

Wikipedia как полезный источник данных

Невероятно, но факт: Википедия позволяет экспортировать данные в  машиночитаемом формате. Можно использовать следующие ресурсы:

  1. http://ru.wikipedia.org/w/api.php
  2. Wikidata.orgFreebase.com, этот сервис принадлежит компании Google
  3. Dbpedia.org – один из наиболее гибких сервисов, но непрост в использовании для новичков.

Инструменты для извлечения данных:

  1. Программирование:  Python, lxml, Beautiful Soup или любой другой язык программирования.
  2. ScraperwikiAbbyy PDFTransformer и Abbyy Finereader.