Новые технологии, широкое использование цифровых устройств, повсеместная генерация цифровой информации делает доступной в реальном времени информацию из различных источников, таких как GPS навигаторы, камеры видеонаблюдения, спутниковые данные, мобильные телефоны, электронная торговля, банковские карты, социальные сети, интернет запросы в поисковиках, электронные сообщения, карты местности пользователя и др. Например, только один сервис коротких сообщений Twitter генерирует поток 8 терабайт (10¹² байт) в сутки. Если все подобные данные накапливать для дальнейшей обработки, то их суммарный объем будет измеряться десятками и сотнями петабайт (10¹⁵ байт) ¹. Совокупность объемных и неструктурированных данных из всех таких источников принято обозначать термином «большие данные» ².

БОЛЬШИЕ ДАННЫЕ – это изначально не систематизированные данные о социально-экономическом развитии и окружающей среде, генерируемые на основе информационно-коммуникационных технологий вне официальной статистики.

Большие данные характеризуются такими признаками, как большой объем информации, высокая скорость изменения информации, разнообразие и разнородность данных

Эти характеристики определяют стратегическую ценность больших данных для официальной статистики:

Большие данные характеризуются такими признаками, как большой объем информации, высокая скорость изменения информации, разнообразие и разнородность данных ³.
Эти характеристики определяют стратегическую ценность больших данных для официальной статистики:

большой объем данных может способствовать получению более детализированных сведений по конкретным направлениям статистики;

высокая скорость изменения информации способствует увеличению частоты статистических оценок;

разнообразие больших данных может открыть возможности для производства статистики в новых областях ⁴ (например, дистанционного зондирования и географических информационных систем), получения информации о не наблюдаемых официальной статистикой сферах;

разнородность происхождения больших данных может способствовать многоаспектности измерения и, тем самым, повышению надежности статистических оценок.

Большие данные присутствуют едва ли не во всех сферах деятельности человека, в первую очередь – научно-исследовательской и коммерческой.

Подробнее

Проблема взаимодействия официальной статистики и больших данных уже несколько лет серьезно рассматривается в мире. В числе основных игроков (ведущих мировых центров, рассматривающих эту тему) стоит выделить следующие.

СТАТИСТИЧЕСКАЯ КОМИССИЯ ООН – высший мировой форум официальной статистики – на своей 45-й сессии (март 2014 года) начала подробное рассмотрение темы Больших данных.
 В марте 2016 года на заседании 47-ой сессии Статистической Комиссии ООН Глобальная рабочая группа  подготовила доклад – «Report of the 2015 Big Data Survey», в котором приведены информационные материалы, документы о получении доступа к большим данным и партнерских отношениях в связи с их использованием, аналитические документы по видам классификации больших данных и методологии, итоги глобального обследования по вопросам, касающимся больших данных. Список первоочередных вопросов и краткосрочная программа работы предусматривают реализацию экспериментальных проектов по использованию больших данных для расчета показателей достижения целей в области устойчивого развития.

В марте 2015 года на 46-й сессии Статистической Комиссии ООН был представлен доклад – Results of UNSD/UNECE survey on organizational context and individual projects of BigData, в котором было дано определение «больших данных», приведены результаты анкетирования стран по организационным аспектам использования больших данных, существующим и будущим проектам их использования.

ГЛОБАЛЬНАЯ РАБОЧАЯ ГРУППА ПО БОЛЬШИМ ДАННЫМ В ОФИЦИАЛЬНОЙ СТАТИСТИКЕ  ⁶ (Global Working Group on BigData for official statistics) – образована решением 45-й сессии Статистической комиссии ООН для разработки руководства по вопросам больших данных. 31 октября 2014 года состоялась первая встреча Глобальной рабочей группы, на которой был представлен доклад – Доклад Глобальной рабочей группы по вопросам использования больших данных для подготовки официальной статистики, о результатах исследования применения больших данных в официальной статистике.
ПРОЕКТ ООН «ГЛОБАЛЬНЫЙ ПУЛЬС» (UN Global Pulse) – созданная по инициативе Генерального секретаря ООН сеть инновационных лабораторий, координирующих исследования применения больших данных в магистральных направлениях деятельности ООН: климат и устойчивость, защита конфиденциальности данных, экономическое благополучие, пища и сельское хозяйство, гендерные вопросы, гуманитарные вопросы, здоровье общества, цели устойчивого развития после 2015 года, оценка в режиме реального времени.

 ВСЕМИРНЫЕ КОНФЕРЕНЦИИ ПО ИСПОЛЬЗОВАНИЮ БОЛЬШИХ ДАННЫХ В ОФИЦИАЛЬНОЙ СТАТИСТИКЕ отражают признание необходимости выработки общих подходов и рассмотрения проблем больших данных.
   
III Глобальная международная конференция по использованию больших данных в официальной статистике состоится в г.Дублин (Ирландия) с 30 августа по 1 сентября 2016 года.

II Глобальная международная конференция по использованию больших данных в официальной статистике прошла в г. Абу-Даби (ОАЭ) с 20 по 22 октября 2015 года.
 I-я Международная конференция по использованию больших данных в официальной статистике состоялась в г. Пекине (КНР) 28-30 октября 2014 года.

Подробнее

Три примера инновационных источников данных для переписи населения в Испании в 2021 году. Записка Национального статистического института Испании¹.

Европейская экономическая комиссия, Конференция европейских статистиков, Группа экспертов по переписям населения и жилищного фонда,Восемнадцатое совещание, Женева, 28−30 сентября 2016 года.

 Существует ли возможность использования «больших данных» в ходе переписи населения 2020 года?. Записка Центрального статистического управления Польши (ЦСУ).
Европейская экономическая комиссия, Конференция европейских статистиков, Группа экспертов по переписям населения и жилищного фонда,Восемнадцатое совещание, Женева, 28−30 сентября 2016 года.
 Новые источники данных и новые технологии в традиционной методологии переписи населения: планы Всероссийской переписи населения раунда 2020 года. Записка представлена Федеральной службой государственной статистики (Росстат), Российская Федерация.
Европейская экономическая комиссия, Конференция европейских статистиков, Группа экспертов по переписям населения и жилищного фонда,Восемнадцатое совещание, Женева, 28−30 сентября 2016 года.

 На заседании Группы экспертов по индексам потребительских цен, которое состоялось 2-4 мая 2016 года в г. Женеве,  одна из сессий была посвящена «Большим данным». На эту тему представлены доклады статистических служб Норвегии, Великобритании.

 В конце ноября 2015 года координаторы проекта UNECE – ISTAT представили презентацию «The Sandbox 2015 Report», в которой показали что делается в области «Больших данных» сегодня и какие шаги предполагается предпринять в ближайшем будущем.

Results of UNSD/UNECE survey on organizational context and individual projects of BigData
Статистическая Комиссия ООН, Сорок шестая сессия, 3–6 марта 2015 года
Результаты исследования Отдела статистики ООН/Европейской экономической комиссии
Исследование проводилось с сентября по октябрь 2014 года среди участников Проекта "Большие данные", проводимого Отделом статистики Европейской экономической комиссии и участниками Глобальной рабочей группы " Большие данные для официальной статистики" созданной ООН. В докладе дано определение "Больших данных", приведены результаты анкетирования по вопросам: организационные аспекты использования Больших данных; существующие и будущие проекты использования Больших данных.

Отчет Американской ассоциации исследователей общественного мнения AAPOR  о «Больших данных», февраль 2015 года.
В отчете дается описание «Больших данных» и их характеристика (раздел 3), описаны возможности  их использования (разделы 4 и 7), а также очерчены проблемы, связанные с применением «Больших данных» (разделы 5 и 6). Авторы раскрывают новые возможности, которые открывают перед исследователями  «Большие данные».  Основное внимание  в отчете уделено использованию этих данных  при проведении  социологических исследований и опросов.

Big Data and Differential Pricing, февраль 2015 года. В докладе дается разъяснение о том, что многие компании уже используют «Большие данные» для целевого маркетинга, а некоторые из них экспериментируют с персонализированным ценообразованием, хотя примеры персонализированных цен остаются довольно ограниченными. Важным аспектом в этом вопросе является проблема конфиденциальности персонализированных данных. В докладе анализируются экономические перспективы, взаимосвязь между затратами и выгодой, эффективность капиталовложений в эту область.

Измерение информационного общества-Отчет 2014, Международный союз электросвязи (МСЭ)
В разделе 5  Отчета  анализируется роль  «Больших данных» из сектора ИКТ для мониторинга информационного общества, для разработки политики в области социально-экономического развития  и как основы для увеличения  своевременности и полноты  официальных статистических данных.

Большие данные и модернизация статистических систем. Доклад Генерального секретаря
Статистическая Комиссия ООН, Сорок пятая сессия, 4-7 марта 2014 года
В докладе, подготовленном в соответствии с решением 2013/235 Экономического и Социального Совета, дается оценка текущей практики использования больших данных для подготовки официальной статистики. В докладе содержится обзор последних мероприятий в рамках сообщества специалистов, занимающихся официальной статистикой, и представлены результаты глобальной оценки использования больших данных для подготовки официальной статистики, которая была проведена Статистическим отделом в 2013 году. В докладе предлагается план дальнейшей работы, предусматривающий создание рабочей группы на глобальном уровне, в развитие существующих региональных инициатив по обмену методическими разработками, передовой практикой решения стратегических вопросов и возможностями обучения. Рабочая группа будет также содействовать налаживанию международного партнерства в целях использования больших данных для передачи технологии развивающимся странам и для поддержки разработки программы развития на период после 2015 года. Статистической комиссии предлагается высказать свои мнения по предложению, изложенному в заключительном разделе доклада.

Overwiew of the sources and challenges of mobile positioning data for statistics
Margus Tiru Международная конференция по использованию больших данных в официальной статистике г. Пекин (КНР) 28-30 октября 2014 года Обзор источников данных мобильного позиционирования и проблемы их использования в статистике

Описаны источники получения мобильных данных, поднимается вопрос защиты конфиденциальности данных, трудности производства качественной статистики при работе с новым источником информации, проблема доступа к данным с учётом законодательства, через административные и коммерческие барьеры.

Uses of BigData for official statistics: privacy, incentives, statistical challenges and other issues
Steve Landefeld Международная конференция по использованию больших данных в официальной статистике г. Пекин (КНР) 28-30 октября 2014 года

Применение Больших данных в официальной статистике: конфиденциальность, мотивы, статистические трудности и другое

Приведён мировой опыт использования больших данных. В приложении даны основные пункты соглашения о предоставлении административных данных для статистического использования.

Mapping the Risk-Utility Landscape of Mobile Data for Sustainable Development & Humanitarian Action, Global Pulse Project Series no. 18, 2015
Проект ООН «Глобальный Пульс»
Сопоставление уровней полезности риска при исследовании мобильных данных для целей устойчивого развития и гуманитарной деятельности

В работе исследуется, какой минимальный, с точки зрения защиты информации, уровень агрегации мобильных данных, достаточен для транспортного планирования и предотвращения и контроля пандемии.

Estimating migration flows using online search data, Global Pulse Project Series no. 4, 2014
Проект ООН «Глобальный Пульс» Оценка миграционных потоков с помощью онлайн запросов

Исследование проводилось совместно с Фондом ООН в Области Народонаселения, онлайн запросы  в Google были дезагрегированы по странам и сравнены с официальной статистикой Фонда.

Estimating Food Consumption and Poverty indices with Mobile Phone Data
Adeline Decuyper et al Проект ООН "Глобальный Пульс" Оценка потребления пищи и индексов бедности с применением данных мобильных телефонов
В исследовании авторы оценивают насколько индикаторы полученные при анализе таких данных мобильных телефонов как: подробные записи о вызовах  и покупки с помощью кредитных карт, подходят в качестве показателей продовольственной безопасности в развивающихся странах. В качестве страны исследования выбрали одну из стран центральной Африки, для которой провели сравнение показателей полученных в 2012 году с помощью мобильных телефонов с результатами детального исследования продовольственной безопасности, проводившегося в то же время.

Mobile profiles and calendars for food security and livelihoods analysis
Pedro J. Zufiria et al Проект ООН "Глобальный Пульс" Данные мобильных телефонов и календари для продовольственной безопасности и анализа уровня жизни

В работе авторы провели исследование передвижения населения Сенегала в 2013 году, где оценка производилась  по анонимным данным мобильных телефонов. Уровень жизни населения в стране во многом зависит от географического местоположения, разделённого условно на зоны: пасторализма, сельского хозяйства и рыболовства. Данные мобильных телефонов дают новую возможность наблюдать сезонную активность в той или иной зоне и передвижения населения.

Mobile phone network data for development
Проект ООН «Глобальный Пульс» Данные мобильной связи для гуманитарной деятельности

В работе анализируется использование подробных записей о вызовах, по мобильным телефонам для получения важной для развития гуманитарных действий информации на примерах Гаити, Кении, Мексики и других стран.

A world that counts
Data Revolution Group ©Independent Expert Advisory Group Secretariat
Информационная революция для устойчивого развития. Независимая экспертная консультативная группа (Independent expert advisory group (IEAG)) по вопросу "Информационной революции для устойчивого развития" представила генеральному секретарю ООН г-ну Пан Ги Муну свой первый доклад, в котором обсуждаются проблемы: невидимости данных (например, разница между Что мы знаем и Когда мы знаем) и проблема неравенства, включая разницу между теми кто знает и кто не знает Что им нужно для принятия решения. В докладе сформулированы экспертные рекомендации по получению недостающей информации и повышению качества статистики.

"Re-make/Re-model": Should big data change the modelling paradigm in official statistics?
Barteld Braaksma and Kees Zeelenberg Статистический журнал международной ассоциации для официальной статистики (IAOS) © IOS Press
Изменят ли большие данные парадигму моделирования в официальной статистике?
Исследуются вопросы методологии производства официальной статистики с применением больших данных. Приводятся примеры источников больших данных для официальной статистики, обсуждаются методы моделирования.

Measuring output quality for multisource statistics in official statistics: Some directions
Michaela Agafitei et al Статистический журнал международной ассоциации для официальной статистики (IAOS) © IOS Press
Определение качества статистики произведённой с использованием мульти источников: некоторые рекомендации

Проводится анализ соответствия настоящих установок определения качества статистики применительно к статистике, произведённой с использованием мульти источников, авторы объясняют необходимость улучшений и дают направление будущей работе.

International collaboration to understand the relevance of Big Data for official statistics 

Steven Vale Статистический журнал международной ассоциации для официальной статистики (IAOS) © IOS Press  

Международное сотрудничество с целью определения значимости больших данных для официальной статистики

Описывается международная деятельность по исследованию феномена "Большие данные" и их влиянию на статистическое производство. Книга станет ежегодным проектом по Модернизации Статистического Производства и Услуг группы из десяти экспертов национальных и международных статистических организаций. В данной работе приводятся результаты, полученные в течение 2014 года.

The production of salary profiles of ICT professionals: Moving from structured database to big data analytics
Ramachandran Ramasamy Статистический журнал международной ассоциации для официальной статистики (IAOS) © IOS Press
Производство отчётов о заработной плате специалистов в области информационно-коммуникационных технологий: переход от структурированных баз данных к аналитике больших данных

Обсуждается использование больших данных на примере национальной малазийской ассоциации по информационно-коммуникационным технологиям (PIKOM).

Estimating economic development with mobile phone data
Luca Pappalardo et al Итальянский национальный исследовательский совет (СNR), Университет Пизы, Исследовательские лаборатории телекоммуникационной компании Orange (Orange Labs) ©The Authors
Оценка экономического развития с помощью данных мобильных телефонов
Авторы исследуют использование данных мобильных телефонов для измерения мобильности и общественного поведения для оценки индикаторов социально-экономического развития. В статье определили, что разнообразие передвижений, определяемое как энтропия индивидуальных траекторий людей, показывает: значительную корреляцию с двумя разными социально-экономическими индикаторами и высокую важность для построения прогнозной модели для предопределения социально-экономических индикаторов. Данная работа открывает перспективы исследования поведения человека через объектив больших данных по значениям новых статистических индикаторов, которые подсчитывают и возможно прогнозируют уровень благополучия и социально-экономического развития территории.
 You Are What You Tweet: Analyzing Twitter for Public Health
Michael J. Paul and Mark Dredze Johns Hopkins University ©Association for the Advancement of Artificial Intelligence (www.aaai.org)
Ты - это твои сообщения в Твиттер: анализ Твиттер для общественного здоровья
В работе авторы исследуют, насколько сообщения в Твиттер могут использоваться для прогнозирования состояния здоровья общества: для наблюдения за синдромами заболеваний, оценивания поведенческих факторов риска, отслеживания географической локализации заболеваний, анализа симптомов и использования медицинской помощи.

Beyond the hype: Big data concepts, methods, and analytics
Amir Gandomi, Murtaza Haider International Journal of Information Management 35(2015)137-144 ©The Authors Published by Elsevier B.V.
Без рекламы: концепции, методы, аналитика Больших данных

Авторы статьи обращают внимание на не столь популярный компонент больших данных как аудио данные, изображения, видео и не структурированный текст. В статье приводится определение больших данных, а также, характеристики больших данных, описание таких источников больших данных, как: текст, аудио и видеозаписи, медиа. Авторы предлагают методы и инструменты анализа данных в видео формате.

Small Area Model-Based Estimators Using Big Data Sources
Stefano Marchetti et al Journal of Official Statistics, Vol. 31, No. 2, 2015, pp. 263-281 ©Statistics Sweden
Модели местных оценок с использованием больших данных

Многие национальные статистические агентства и исследователи разрабатывают, развивают и внедряют методики оценки бедности, а также представляют методики больших данных и лучшие практики. В этой статье авторы представляют карту исследований и проблемы, с которыми столкнутся статистики и IT специалисты в ближайшие несколько лет. Приводятся методики местных оценок, совмещенных с большими данными и социальными исследованиями, направленные на улучшение наших возможностей измерения, мониторинга и прогноза социального поведения, благополучия, нужды, бедности, отчуждения и неравенства, на подробной пространственной и временной шкалах.

Introducing the New BEA Health Care Satellite Account

Abe Dunn et al The Bureau of Economic Analysis (BEA) 
Представление нового вспомогательного счета здравоохранения Бюро экономического анализа США
Специалисты Бюро экономического анализа представили разработку вспомогательного счета здравоохранения (ВСЗ), который поможет понять направленность расходов на здравоохранение и соответствующий эффект, оказываемый на экономику США. Основной вклад ВСЗ – это разделение товаров, приобретаемых пациентами, по заболеваниям, нежели по типу медицинского обслуживания (например, посещение врача или покупка лекарств), как это публикуется в настоящее время.

Data, DIKW, Big data and Data science
Gu Jifa, Zhang Lingling Procedia Computer Science 31 (2014) 814-821 ©Published by Elsevier B.V.
Данные, иерархия понятий: Данные, Информация, Знания, Мудрость; Большие данные и наука о данных

В статье дана краткая история развития больших данных и науки о данных, авторы рассуждают на тему, что только получение "больших" данных недостаточно без развития науки о данных.

Enriching semantic knowledge bases for opinion mining in big data applications
A. Weichselbraun et al Knowledge-Based Systems 69 (2014) 78-85 ©The Authors Published by Elsevier B.V.
Обогащение семантики баз знаний при исследовании общественного мнения с применением больших данных

Представлен новый метод контекстуализации сообщений с помощью таких программ, как SenticNet, ConceptNet, WordNet.

Official Statistics, Big Data and Human Development: Towards a New Conceptual and Operational Approach
Emmanuel Letouzé, Johannes Jütting Data-Pop Alliance’s ‘White Papers Series’ Harvard Humanitarian Initiative (HHI), the MIT Media Lab, and the Overseas Development Institute(ODI)
Официальная статистика, большие данные и развитие: вопросы нового концептуального и операционного подхода
Большие данные интересны как альтернативные статистическим наблюдениям источники данных в бедных странах, не проводящих официальные статистические обследования на постоянной основе. Они рассматриваются не с точки зрения "3V" (Volume, Velocity, Variety – объема, скорости, разнообразия), а сточки зрения "3C" (Crumbs, Capacity, Community – детальности, потенциала, общества). Предлагается понятие «информационная безопасность общества», которая оценивается по четырем критериям: существование информации, доступ к информации, использование информации, стабильность информации. Также формулируются четыре принципа взаимодействия официальной статистики и участников информационного общества для обсуждения вопросов его описания. Приводятся примеры объемов производства больших данных цифровым обществом.

An integrated probabilistic model for improved seasonal forecasting of agricultural crop yield under environmental uncertainty
Nathaniel K. Newlands et al Frontiers in Environmental Science © 2014 Newlands
Комплексная вероятностная модель для улучшения сезонного прогноза сельскохозяйственного урожая в условиях неопределенности окружающей среды.Надежность прогноза урожайности в существенной мере зависит от корректного учета и идентификации потенциальных рисков, связанных с изменениями погодных условий. Предлагаемый в статье новый метод прогноза использует агроклиматические переменные и индексы дистанционного зондирования и позволяет разрабатывать многостороннюю статистическую модель расчета смещения и неопределенности в прогнозном уровне урожайности на примере региона Канадских Прерий.

Text as data: The Promise and Pitfalls of Automatic Content Analysis Methods for Political Texts
Justin Grimmer and Brandon M. Stewart Political Analysis (2013) 1-31 © Oxford University Press
Текст как данные: перспективы и подводные камни автоматизированных методов анализа содержания политических текстов
В статье рассказывается о принципах  и методах автоматического анализа текстов, классификации текстов, приводятся примеры источников получения текстов, трансформации текстов в количественные данные.

Forecasting Socioeconomic Trends With Cell Phone Records 
Vanessa Frias-Martinez et al Telefonica Research, Universidad Rey Juan Carlos, Cambridge University © 2013 ACM 978-1-4503-1856-3/13/01
Прогнозирование социально-экономических трендов на основании данных мобильных телефонов
Приводится методика и результаты исследования эффективности использования данных мобильных телефонов. Методика предлагается в целях уменьшения затрат на проведение официальных статистических обследований.

Health Insurance and the Demand for Medical Care: Instrumental Variable Estimates Using Health Insurer Claims
Abe Dunn The Bureau of Economic Analysis (BEA)
Страхование здоровья и спрос на медицинские услуги: оценка инструментальных переменных на основе анализа страховых требований по лечению
Для измерения эластичности спроса в 1970-х корпорацией RAND проводился эксперимент по медицинскому страхованию и, хотя прошло уже более 30 лет, он остается золотым стандартом для понимания фактической цены, оплачиваемой покупателем. С тех пор доля здравоохранения в ВВП США удвоилась, медицинские технологии изменились, что требует альтернативных способов оценки спроса на медицинское обслуживание, как, например, использование договорных цен между страховщиками и страхователями, обсуждаемое авторами статьи.

A planetary nervous system for social mining and collective awareness
F. Giannotti et al Eur.Phys. J. Special Topics 214, 49-75 (2012) © The Authors 2012
Планетарная нервная система для социального исследования и общественного знания
В статье авторы предлагают определение Планетарной Нервной Системы (ПНС) сбора, обработки и интерпретации больших данных изо всех источников, обсуждают необходимые научные и технологические составляющие для её функционирования. Обсуждают, каким образом ПНС может содействовать процессу раскрытия полных социальных знаний, необходимому для создания, мониторинга и прогнозирования нового поколения индикаторов социального благополучия, вне ВВП и существующих основных индексов, направленного на мульти-определительное социально-экономическое описание вместо не полного экономического описания, а также микро уровневые измерения вместо макро уровневых агрегатов. ПНС авторы также видят в качестве инструмента индивидуального и коллективного информирования об обществе, в котором мы живём.

Сравнение классического наземного и дешифровочного (фотограмметрического) методов таксации лесов
И. Баленович и соавторы Институт лесного хозяйства Хорватии; Лесной факультет Загребского университета © Компания «Ракурс»
Исследуется возможность применения цифровой фотограмметрии при таксации (разделении лесных участков на лесотаксационные кварталы и выделы) и картографировании лесов, проводится статистический анализ и сравнение стоимости.

Measuring economic growth from outer space
J. Vernon Henderson et al National bureau of economic research © 2009 by J. Vernon Henderson, Adam Storeygard, and David N. Weil
Измерение экономического роста – взгляд со стороны
Первая работа по измерению реального дохода с использованием данных о ночном освещении как показателя, отражающего экономическую активность населения.

Cost-effectiveness of Remote Sensing in Agricultural and Environmental Statistics
Elisabetta Carfagna University of Bologna, Italy
Оценка затрат применения методов дистанционного зондирования в статистике сельского хозяйства и статистике окружающей среды
Обзор и оценка экономической эффективности методов анализа данных дистанционного зондирования рассматривает регрессионные оценки, таблицы сопряженности и дешифрование аэрофотоснимков.