Решения Больших Данных (Big Data) от IBMkancler.by/docs/IBM...

© 2014 IBM CorporationMar 05, 2014

Решения Больших Данных (Big Data) от IBM

Игорь Круковский

Information Management Brand ManagerIBM SWG East Europe and Asia

© 2014 IBM Corporation2

1900 1950 2011

Мы вступили в новую эру вычислений. . .

. . . Появились новые возможности


Что такое Большие Данные

1969 - Полет человека на луну

64 Kb, 2 Kb RAM, Fortran

2012 — Миссия SkyDive Stratos

Десятки гигабайт


Большие Данные = Сырая Нефть


Большие Данные ≠ Большой объем данных

Big Data Hadoop

≠


Характеристики Больших Данных

Variety:

Velocity:

Volume:

«Разнообразие» Управление сложными данными, разных структур, начиная от реляционных, в журналах, текст и т.д.

«Скорость» Потоковые данные и большой объем данных в движении

«Объем» Масштаб от TB до PB (1K TBs) и даже до Zettabytes (1B TBs)


Data Uncertainty

Veracity – Достоверность во главу угла!

VeracityVeracity


Большие Данные - разнообразные источники информации

Транзакции и данные

приложений

Машинные данные

Данные из социальных

сетей

Документы

Получение нужной информации извлеченной из всевозможных источников, любого объема, разнообразия и скорости.

Раньше это было просто невозможно!


Правительственные Агентства и Большие ДанныеThe IBM Government Point of View


Угрозы общественной безопасности

Электронные системы

обслуживания

Ускорение темпов Глоболизации

Прозрачность и подотчетность

Экологические проблемы

Экономические и бюджетные ограничения

Вызовы в различных сегментах правительства


Улучшение общественного

порядка и безопасности

Эффективное управление ресурсами

Улучшение здоровья и социальных программ

Укрепление национальной безопасности и обороны

Защитита национальных границ

Задачи в различных сегментах правительства


Цель использования Больших ДанныхFrom Sense & Respond, To Predict & Act


Прогнозироание угроз и предотвращение Прогнозироание

преступлений и предотвращение

Правительственные Агентства и Большие ДанныеThreat Prediction & PreventionCrime Prediction & Prevention


Определение аномалий в таможенной информации

Обнаружение тенденций преступлений в момент их

совершения

Модель использует многочисленные переменные для прогнозирования места преступной активности

Как связать данные о преступлениях в разных юрисдикциях?

Как можно предсказать, где преступление

случится?

Как можно определить и минимизировать риск

незаконной деятельности на таможне?

Департамент полиции Мемфиса

Агентство Европейской Таможни и Пограничного Контроля

85,5 млн. евро конфискованных товаров

300 миллионов евро при изъятии запрещенных наркотиков

Прогнозная модель для обнаружения предсказуемых и непредсказуемых аномалий в таможенной информации и информации пограничного контроля

Совместное владение всей информацией

правоохранительных органов

N-DEx: Национальный репозиторий уголовных дел

18,000 участников со стороны правоохранител-ых органов

Каждое управление сотрудничает на основе правовых, юрисдикционных, и конфиденц-ных требованиях

N-DEx активно уведомляет пользователей при обнаружении предопределенных связей

Федеральное бюро расследований

На 30% уменьшилось кол-во тяжких преступлений

На 15% уменьшилось кол-во разбойный нападений

Позволила командирам изменять тактику и перенаправлять патрульные ресурсы

Прогнозирование и Предотвращение Угроз / Преступлений


Прогнозирование и Предотвращение Угроз / ПреступленийSupported By The IBM Big Data & Analytics Portfolio

Information Integration & Governance

Enhanced Application

Exploration, landing and

archive

Trusted data

Reporting & interactive analysis

Deep analytics & modeling

All Data Types Real-time processing & analytics

Cables

Watch Lists

Crime Reports

Social data

Images/Video

SIGINT

Insider Threat Detection

Investigative & Case Mgmnt

Pattern of Life Recognition

Real-Time Threat Detection

Operational systems

Information Integration

Data Matching & MDM

Security & Privacy

Lifecycle Management

Metadata & Lineage

Information Sharing & Transparency

Sensor Data


Information Integration & Governance

Enhanced Application

Exploration, landing and

archive

Trusted data

Reporting & interactive analysis

Deep analytics & modeling

All Data Types Real-time processing & analytics

Cables

Watch Lists

Crime Reports

Social data

Images/Video

SIGINT

Insider Threat Detection

Investigative & Case Mgmnt

Pattern of Life Recognition

Real-Time Threat Detection

Operational systems

Information Integration

Data Matching & MDM

Security & Privacy

Lifecycle Management

Metadata & Lineage

Information Sharing & Transparency

Sensor Data

Прогнозирование и Предотвращение Угроз / ПреступленийCommon Business Requirements & Entry Points

1

3

4

2

BigInsights Land all data – transactional, structured, unstructured, identity, cyber, etc., for integrated, 360° threat prediction & detection or exploratory analysis

Pure Data for AnalyticsConduct deep, resource-intensive ad-hoc analytics5

Data ExplorerFind, relate, retrieve, & present data from disparate data types and sources, both internal and external, applying security & role-based access rules

6

Streams Analyze event and social media data in-motion for patterns, anomalistic behavior and events to alert on the fly

1

5

3

MDMMatch related data and identities; support policy-based multi-jurisdiction data sharing; build and maintain “gold standard” reference data where authorized

6

4Identity Insight & Global Name Management (GNM)Resolve name variants and non-obvious identities and relationships

8OptimEnforce auditable data lifecycle management and data masking & redaction for security and privacy

7DB2 BLUSupport high-volume, mixed-use queries and reporting against operational data

GuardiumMonitor and enforce access to high-value data; ensure responsible behavior of trusted individuals; encrypt data in place and in transit

9

7

8

2

9


Ключевые компоненты платформы IBM:

InfoSphere BigInsights Hadoop-based low latency

analytics for variety and volume

IBM Netezza High Capacity Appliance

Queryable Archive Structured Data

IBM Netezza 1000BI+Ad Hoc

Analytics on Structured Data

IBM Smart Analytics System

Operational Analytics on Structured Data

IBM Informix TimeseriesTime-structured analytics

IBM InfoSphere Warehouse

Large volume structured data analytics

InfoSphere StreamsLow Latency Analytics for

streaming data

MPP Data Warehouse

Stream ComputingInformation Integration

Hadoop

InfoSphere Information Server

High volume data integration and transformation


Город в США

Задачи

- Общественная безопасность во время крупных мероприятий (спорт, парады, концерты и т. д.)

- Мониторинг инцидентов в реальном режиме времени, анализ и реагирование

Решение

Используется InfoSphere Streams для мониторинга социальных медиа определенных слов/фраз для отслеживания признаков драк, болезней, интоксикации, настроений подталкивающих к насилию и т.д.

Польза

- Обеспечила необходимой информацией для прогнозирования будущих событий

- Ускорила определение опасных ситуаций

- Ускорила развертывание полицейского и медицинского персонала

19 © 2013 IBM Corporation

Решения Больших Данных (Big Data) от IBMkancler.by/docs/IBM...

Documents

Transcript of Решения Больших Данных (Big Data) от IBMkancler.by/docs/IBM...