INTEGRACIÓN DE DATOS

INTEGRACIÓN DE DATOS.

En definitiva, el principal objetivo de este proceso es facilitar el movimiento de los datos y la transformación de estos, integrando los distintos sistemas y fuentes en la organización moderna.  

El término ETL (Integración de datos)
corresponde a las siglas en inglés de:

  • Extract
  • Transform
  • Load

Fases de un proceso ETL

Las distintas fases o secuencias de un proceso ETL son las siguientes:

  • Extracción de los datos desde uno o varios sistemas fuente.
  • Transformaciónde dichos datos, es decir, posibilidad de reformatear y limpiar estos datos cuando sea necesario.
  • Carga de dichos datos en otro lugar o base de datos, un data mart o un data warehouse, con el objeto de analizarlos o apoyar un proceso de negocio.

Beneficios de los procesos ETL

A cualquier empresa u organización le beneficia poner en marcha un proceso ETL para mover y transformar los datos que maneja por los siguientes motivos:

  • Poder crear una Master Data Management, es decir, un repositorio central estandarizado de todos los datos de la organización. Por ejemplo, si tenemos un objeto cliente en una base de datos de créditos y otro objeto cliente en la base de datos de tarjetas de crédito, lo que haría el Mastersería definir, de forma concreta e inequívoca, un registro cliente único con su nombre y apellidos para la organización.
  • Posibilita a los directivos tomar decisiones estratégicasbasadas en el análisis de los datos cargados en las bases nuevas y actualizadas: la dama mart o data warehouse.
  • Sirve para integrar sistemas. Las organizaciones crecen de forma orgánica y cada vez se van agregando más fuentes de datos. Esto provoca que comience a surgir nuevas necesidades, como por ejemplointegrar los datos de un banking on line con los datos antiguos de un sistema      
  • Poder tener una visión global de todos los datos consolidados en una data warehouse. Por ejemplo, crear una estrategia de marketing basándose en el análisis de los datos anteriores.

Nuestras propuestas de integración de datos

La integración de datos la podemos definir como el proceso de combinar datos que residen en diferentes fuentes y permitirle al usuario final tener una vista unificada de todos sus datos. La habilidad de transformar datos interdepartamentales de fuentes heterogéneas en un plan de acción que se convertido en un reto y en una ventaja competitiva para compañías que requieran la integración de datos. La integración de datos es un elemento fundamental y crítico en la variedad de tecnologías incluyendo Data Warehouse, aplicaciones de inteligencia de negocio, arquitecturas orientada a servicio, aplicaciones MDM y arquitecturas data-centric.

Oracle conociendo la necesidad de la integración de datos para muchas empresas y distintos tipos de industria, tiene una solución innovadora conocida como Oracle Data Integrator.

Oracle Data Integrator es una plataforma de integración completa que cubre los requisitos de integración de datos. Maneja alto volumen, provee lotes de alto desempeño a procesos dirigidos a eventos, a servicios de integración basados en una arquitectura orientada a servicios y con la capacidad de procesar eventos en tiempo real.

Oracle Data Integrator maneja múltiples necesidades empresariales referentes a la integración de datos:

  • Data Warehousing e Inteligencia de Negocios – Tiene la capacidad de manejar grandes volúmenes de datos con un desempeño óptimo para cargar Data Warehouse y Data Mart. Maneja cargas incrementales, integridad de datos, reglas de negocio y consistencia
  • Arquitectura Orientada a Servicios – Provee la funcionalidad de invocar servicios externos para propósitos de integración e implementar servicios de integración y transformación integrados a una arquitectura orientada a servicios.
  • Master Data Management – es una combinación de aplicaciones y tecnologías que consolidan, limpian, mejora los datos maestros de la empresa y los sincroniza con aplicaciones, procesos de negocio y herramientas analíticas como Oracle BIEE+.
  • Migración – Provee cargas masivas eficientemente de datos históricos, incluyendo transformaciones complejas de sistemas legacy a sistemas nuevos.

Toda empresa que necesite de sus datos para la toma de decisiones y la consolidación de estos datos de diferentes fuentes de información más que una oportunidad o un reto debería ser una acción a tomar.

Preguntas a considerar relacionadas a la integración de sus datos:

  • ¿Su empresa maneja procesos de carga definidos?
  • ¿Sus iniciativas de integración de datos han fracasado o sean a atrasado debido a la poca confiabilidad de sus datos?
  • ¿Siempre se envía la información correcta al lugar correcto, en el momento correcto?
  • ¿Cuánto tiempo se demora en rehacer el trabajo para corregir data incorrecta, poco precisa o errónea?
  • ¿Su empresa tiene dificultades para cumplir con políticas y/o regulaciones?
  • ¿El nivel de satisfacción de sus clientes continúa disminuyendo?
  • ¿Desconfía de la información extraída para que le apoye en la toma de decisiones crítica?
  • ¿Necesita información tiempo real?
  • ¿Es posible hoy tener una visión única de sus clientes?

Estas y muchas más interrogantes pueden ser claves para determinar la importancia de una estrategia de integración junto con una herramienta los suficientemente ágil y capaz para cubrir todas aquellas necesidades relacionadas a la integración de datos.

DataStage es una herramienta ETL que se utiliza para extraer datos, transformarlos, aplicar en ellos principios de negocio y luego cargarlos con algún objetivo específico.

DataStage forma parte de la suite Information Platforms Solutions de IBM así como de InfoSphere. DataStage utiliza notaciones gráficas para construir soluciones de integración de datos. Puede integrar todo tipo de datos incluyendo Big Data tanto en reposo como en movimiento, y en plataformas que pueden ser tanto distribuidas como grandes servidores.

DataStage puede clasificarse como dos tipos de herramientas distintas:

  • Una herramienta ETL. En este caso, DataStagereside en el servidor y enlaza con las fuentes de datos. Tras esto procesa los datos en la aplicación. Los llamados DataStage jobs, pueden llevar a cabo su trabajo en un solo servidor o en múltiples máquinas en grupos o redes.
  • Una herramienta de diseño y supervisión de ETL. Aquí, DataStage también ofrece un conjunto de herramientas gráficas basadas en Windows. Se puede utilizar para diseñar procesos ETLgestionar los metadatosasociados con ellos y, además, supervisar procesos ETL.

Capacidades más importantes de DataStage

Si lo que buscas es mejorar las capacidades analíticas de tu negocio, DataStage puede servirte como instrumento para conseguirlo, puesto que te ayuda a ampliar el alcance de tu business intelligence.

Desde las aplicaciones empresariales a las analíticas, de bases de datos mainframe a bases relacionales, CRM, ERP y OLAP, junto con InfoSphere QualityStage, DataStage tiene capacidad para acceder a una amplia gama de datos, de fuentes internas y externas, ofreciendo a las organizaciones que recurren a esta herramienta opciones como las siguientes:

  • Soporte en los procesos de procesamiento y transformación asociados al Big Data.
  • Implementación de reglas de validación de datos.
  • Gestión de múltiples procesos de integración.
  • Enfoque escalable de procesamiento paralelo.
  • Capacidad para operar en lote, como servicio web o en tiempo real.
  • Capacidad para aprovecharmetadatos para análisis y mantenimiento.
  • Conectividad directa a aplicaciones empresariales como fuentes u objetivos.

Cómo ayuda DataStage a tu empresa

  • Optimizar la utilización del hardware.
  • Mejorar la eficiencia del ETL empresarial.
  • Proveer el entorno adecuado a cada proyecto.
  • Asegurar que se cumplen las reglas del negocio.
  • Priorizar las tareas de misión crítica.
  • Resolver problemas complejos de grandes datos.
  • Integrar aplicaciones en la nube de forma más sencilla.

Además, lograr utilizar Hadoop en toda su potencia son algunas de las razones por las que implementar DataStage puede resultar muy interesante para el negocio.

Microsoft Integration Services es una plataforma para crear soluciones de integración de datos y transformaciones de datos a nivel empresarial.

Integration Services permite crear el proceso de extracción, transformación y carga de datos, (ETL), para la creación de Data Warehouses por medio de la creación de paquetes SSIS. Los paquetes pueden funcionar solos o en conjunto con otros paquetes para abordar necesidades empresariales complejas. Los servicios de integración pueden extraer y transformar datos de una amplia variedad de fuentes, como archivos de datos XML, archivos planos y fuentes de datos relacionales, y luego cargar los datos en uno o más destinos.