Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Día 01
Visión general de la Inteligencia de Negocios para Big Data en el Análisis de Inteligencia Criminal
- Estudios de caso sobre aplicación de la ley: Policía predictiva
- Tasa de adopción de Big Data en agencias policiales y cómo están alineando sus operaciones futuras en torno al análisis predictivo de Big Data
- Soluciones tecnológicas emergentes como sensores de disparos, video vigilancia y redes sociales
- Uso de la tecnología Big Data para mitigar la sobrecarga de información
- Interfaz entre Big Data y datos legados
- Comprensión básica de las tecnologías habilitadoras en el análisis predictivo
- Integración de datos y visualización de cuadros de mando (dashboards)
- Gestión de fraude
- Reglas de negocio y detección de fraude
- Detección de amenazas y perfilamiento
- Análisis costo-beneficio para la implementación de Big Data
Introducción a Big Data
- Características principales de Big Data: Volumen, Variedad, Velocidad y Veracidad.
- Arquitectura MPP (Procesamiento Masivamente Paralelo)
- Data Warehouses – esquema estático, conjunto de datos que evoluciona lentamente
- Bases de datos MPP: Greenplum, Exadata, Teradata, Netezza, Vertica, etc.
- Soluciones basadas en Hadoop – sin condiciones sobre la estructura del conjunto de datos.
- Patrón típico: HDFS, MapReduce (procesamiento), recuperación desde HDFS
- Apache Spark para procesamiento de flujos (stream processing)
- Lotes (Batch): adecuados para análisis no interactivo
- Volumen: datos de streaming CEP
- Opciones típicas – productos CEP (por ejemplo, Infostreams, Apama, MarkLogic, etc.)
- Menos listos para producción – Storm/S4
- Bases de datos NoSQL – (columnar y clave-valor): mejor adecuadas como complemento analítico al almacén de datos/base de datos
Soluciones NoSQL
- Almacenamiento KV - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- Almacenamiento KV - Dynamo, Voldemort, Dynomite, SubRecord, MongoDB, DovetailDB
- Almacenamiento KV (Jerárquico) - GT.m, Cache
- Almacenamiento KV (Ordenado) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- Caché KV - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Almacenamiento de tuplas (Tuple Store) - Gigaspaces, Coord, Apache River
- Base de datos de objetos - ZopeDB, DB40, Shoal
- Almacén de documentos (Document Store) - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Almacén columnar ancho (Wide Columnar Store) - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Variedades de Datos: Introducción a los problemas de limpieza de datos en Big Data
- RDBMS – estructura/esquema estático, no promueve un entorno ágil y exploratorio.
- NoSQL – semiestructurado, con suficiente estructura para almacenar datos sin un esquema exacto previo.
- Problemas de limpieza de datos
Hadoop
- ¿Cuándo seleccionar Hadoop?
- DATOS ESTRUCTURADOS: Los almacenes y bases de datos empresariales pueden almacenar grandes volúmenes de datos (a un costo), pero imponen estructura (no ideal para exploración activa).
- DATOS SEMIESTRUCTURADOS – difíciles de manejar con soluciones tradicionales (DW/DB).
- Almacenamiento de datos = Gran esfuerzo y estático incluso después de la implementación.
- Para variedad y volumen de datos, procesados en hardware comercial: HADOOP.
- Hardware comercial necesario para crear un clúster Hadoop.
Introducción a MapReduce / HDFS
- MapReduce – distribución de cómputo entre múltiples servidores.
- HDFS – hacer los datos disponibles localmente para el proceso de cómputo (con redundancia).
- Datos – pueden ser no estructurados o sin esquema (a diferencia de RDBMS).
- Responsabilidad del desarrollador de dar sentido a los datos.
- Programar MapReduce implica trabajar con Java (pros/contras) y cargar manualmente los datos en HDFS.
Día 02
Ecosistema de Big Data: Construcción de ETL para Big Data (Extraer, Transformar, Cargar) – ¿Qué herramientas de Big Data usar y cuándo?
- Hadoop frente a otras soluciones NoSQL.
- Para acceso aleatorio e interactivo a los datos.
- Hbase (base de datos orientada a columnas) sobre Hadoop.
- Acceso aleatorio a los datos pero con restricciones impuestas (máx. 1 PB).
- No adecuado para análisis ad-hoc, bueno para registros, conteos y series temporales.
- Sqoop: importar desde bases de datos a Hive o HDFS (acceso JDBC/ODBC).
- Flume – enviar flujos de datos (por ejemplo, datos de registro) a HDFS.
Sistema de Gestión de Big Data
- Componentes móviles, nodos de cómputo que inician/fallan: ZooKeeper – para servicios de configuración, coordinación y nombres.
- Pipeline/flujo de trabajo complejo: Oozie – gestionar flujo de trabajo, dependencias y cadena de sucesión.
- Despliegue, configuración, gestión de clústeres, actualizaciones, etc. (administración de sistemas): Ambari.
- En la nube: Whirr.
Análisis predictivo: Técnicas fundamentales e Inteligencia de Negocios basada en aprendizaje automático
- Introducción al aprendizaje automático (Machine Learning).
- Aprendizaje de técnicas de clasificación.
- Predicción bayesiana: preparación de un archivo de entrenamiento.
- Máquina de soporte vectorial (SVM).
- Álgebra p-Tree KNN y minería vertical.
- Redes neuronales.
- Problema de variables grandes en Big Data: Bosque aleatorio (RF).
- Problema de automatización en Big Data: RF de conjunto multmodelo.
- Automatización a través de Soft10-M.
- Herramienta de análisis de texto: Treeminer.
- Aprendizaje ágil.
- Aprendizaje basado en agentes.
- Aprendizaje distribuido.
- Introducción a herramientas open source para análisis predictivo: R, Python, Rapidminer, Mahout.
Ecosistema de Análisis Predictivo y su aplicación en el Análisis de Inteligencia Criminal
- Tecnología y proceso de investigación.
- Análisis de información (Insight analytic).
- Análisis de visualización.
- Análisis predictivo estructurado.
- Análisis predictivo no estructurado.
- Perfilamiento de amenazas/fraude/vendedores.
- Motor de recomendación.
- Detección de patrones.
- Descubrimiento de reglas/escenarios: fracaso, fraude, optimización.
- Descubrimiento de la causa raíz.
- Análisis de sentimiento.
- Análisis CRM.
- Análisis de redes.
- Análisis de texto para obtener información de transcripciones, declaraciones de testigos, conversaciones en internet, etc.
- Revisión asistida por tecnología.
- Análisis de fraude.
- Análisis en tiempo real.
Día 03
Análisis en Tiempo Real y Escalable sobre Hadoop
- Por qué los algoritmos analíticos comunes fallan en Hadoop/HDFS.
- Apache Hama: para cómputo distribuido síncrono masivo.
- Apache SPARK: para cómputo en clúster y análisis en tiempo real.
- CMU Graphics Lab2: enfoque asincrónico basado en grafos para el cómputo distribuido.
- KNN p – Enfoque algebraico de Treeminer para reducir el costo operativo del hardware.
Herramientas para eDiscovery y Forense Digital
- eDiscovery en Big Data frente a datos legados: comparación de costos y rendimiento.
- Codificación predictiva y Revisión Asistida por Tecnología (TAR).
- Demostración en vivo de vMiner para comprender cómo TAR habilita un descubrimiento más rápido.
- Indexación más rápida a través de HDFS: Velocidad de los datos.
- PNL (Procesamiento del Lenguaje Natural) – productos y técnicas open source.
- eDiscovery en idiomas extranjeros: tecnología para el procesamiento de lenguas extranjeras.
BI de Big Data para Ciberseguridad: Obtener una visión de 360 grados, recopilación rápida de datos e identificación de amenazas
- Comprensión de los fundamentos del análisis de seguridad: superficie de ataque, mala configuración de seguridad, defensas hostiles.
- Infraestructura de red / gran canal de datos / ETL de respuesta para análisis en tiempo real.
- Prescriptivo frente a predictivo: basado en reglas fijas versus descubrimiento automático de reglas de amenaza a partir de metadatos.
Recopilación de datos dispares para el Análisis de Inteligencia Criminal
- Uso del IoT (Internet de las Cosas) como sensores para capturar datos.
- Uso de imágenes satelitales para la vigilancia interna.
- Uso de video y datos de imagen para la identificación criminal.
- Otras tecnologías de recopilación de datos: drones, cámaras corporales, sistemas de etiquetado GPS e imagen térmica.
- Combinación de recuperación automática de datos con datos obtenidos de informantes, interrogatorios e investigación.
- Pronóstico de actividades criminales.
Día 04
BI para la prevención del fraude a partir de Big Data en Análisis de Fraude
- Clasificación básica del Análisis de Fraude: basado en reglas frente a análisis predictivo.
- Aprendizaje automático supervisado frente a no supervisado para la detección de patrones de fraude.
- Fraude entre empresas, fraude en reclamaciones médicas, fraude de seguros, evasión fiscal y blanqueo de capitales.
Análisis de Redes Sociales: Recopilación y análisis de inteligencia
- Cómo utilizan los criminales las redes sociales para organizarse, reclutar y planificar.
- API ETL de Big Data para extraer datos de redes sociales.
- Texto, imagen, metadatos y video.
- Análisis de sentimiento a partir del flujo de redes sociales.
- Filtrado contextual y no contextual del flujo de redes sociales.
- Dashboard de Redes Sociales para integrar diversas fuentes.
- Perfilamiento automatizado de perfiles de redes sociales.
- Se brindará una demostración en vivo de cada análisis a través de la herramienta Treeminer.
Análisis de Big Data en procesamiento de imágenes y flujos de video
- Técnicas de almacenamiento de imágenes en Big Data: soluciones para datos que superan los petabytes.
- LTFS (Linear Tape File System) y LTO (Linear Tape Open).
- GPFS-LTFS (Sistema de Archivos de Paralelismo General - Linear Tape File System): solución de almacenamiento en capas para grandes imágenes de datos.
- Fundamentos del análisis de imágenes.
- Reconocimiento de objetos.
- Segmentación de imágenes.
- Rastreo de movimiento.
- Reconstrucción de imagen 3D.
Biometría, ADN y Programas de Identificación de Nueva Generación
- Más allá de las huellas dactilares y el reconocimiento facial.
- Reconocimiento de voz, análisis del patrón de tecleo (keystroke) y CODIS (Combined DNA Index System).
- Más allá de la coincidencia de ADN: uso de la fenotipia forense del ADN para construir un rostro a partir de muestras de ADN.
Dashboard de Big Data para acceso rápido a datos diversos y visualización:
- Integración de plataformas de aplicaciones existentes con el Dashboard de Big Data.
- Gestión de Big Data.
- Caso de estudio del Dashboard de Big Data: Tableau y Pentaho.
- Uso de la aplicación Big Data para impulsar servicios basados en ubicación en el sector gubernamental.
- Sistema de rastreo y gestión.
Día 05
Cómo justificar la implementación de BI de Big Data dentro de una organización:
- Definición del ROI (Retorno de la Inversión) para implementar Big Data.
- Estudios de caso sobre el ahorro de tiempo del analista en la recopilación y preparación de datos: aumento de la productividad.
- Ganancia de ingresos por menor costo de licencias de bases de datos.
- Ganancia de ingresos por servicios basados en ubicación.
- Ahorro de costos por prevención del fraude.
- Enfoque integrado con hojas de cálculo para calcular gastos aproximados frente a ganancias/ahorros de ingresos por la implementación de Big Data.
Procedimiento paso a paso para reemplazar un sistema de datos legados con un sistema de Big Data
- Ruta de migración de Big Data.
- ¿Qué información crítica se necesita antes de diseñar un sistema de Big Data?
- ¿Cuáles son las diferentes formas de calcular Volumen, Velocidad, Variedad y Veracidad de los datos?
- ¿Cómo estimar el crecimiento de los datos?
- Estudios de caso.
Revisión de proveedores de Big Data y sus productos.
- Accenture
- APTEAN (anteriormente CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (anteriormente 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (parte de EMC)
Sesión de preguntas y respuestas
Requerimientos
- Conocimiento de los procesos policiales y sistemas de datos
- Comprensión básica de SQL/Oracle o base de datos relacional
- Comprensión básica de estadística (nivel hoja de cálculo)
Público objetivo
- Especialistas en aplicación de la ley con formación técnica
35 Horas
Reseñas (3)
fundamentos y amó los documentos y ejercicios preparados
Rekha Nallam - GE Medical Systems Polska Sp. z o.o.
Curso - Introduction to Predictive AI
Traducción Automática
Que fue muy priactico.
Alfonso Ramos - Banco de Mexico
Curso - Fundamentos de Integración de Datos Pentaho
Deepthi estaba muy atenta a mis necesidades, podía percibir cuándo añadir capas de complejidad y cuándo mantenerse atrás y adoptar un enfoque más estructurado. Deepthi realmente trabajó a mi ritmo y aseguró que pudiera utilizar las nuevas funciones/herramientas por mí mismo, primero mostrándome y luego dejándome recrear los elementos por mí mismo, lo cual ayudó mucho a consolidar la formación. ¡No podría estar más satisfecho con los resultados de esta capacitación y con el nivel de experiencia de Deepthi!
Deepthi - Invest Northern Ireland
Curso - IBM Cognos Analytics
Traducción Automática
