La Importancia de realizar un Análisis de Calidad de Datos

Cada implementación de base de datos dimensional orientada a un área del negocio (Datamart) o una corporativa (DataWarehouse), que se utilice como repositorio de análisis para un sistema de soporte a la toma de decisiones, tiene una etapa común y relevante en su desarrollo. Esta etapa corresponde a la identificación de las fuentes de datos que son utilizadas para realizar las extracciones y transformaciones que permitan obtener datos limpios que generen información con el grado de valor adecuado, y así satisfacer los requerimientos de los usuarios de la organización.

Como parte de la implementación, se ejecuta un análisis situacional de los datos, también conocido como calidad de datos, que en primera instancia permite tener la fotografía de la data almacenada en las fuentes origen; estas pueden ser sistemas transaccionales, ERP´s, archivos planos u otro formato, así como la información que se muestra en los reportes que el cliente genera en su gestión diaria, todo esto bajo un procedimiento establecido previamente.

Se pueden presentar muchos casos de problemas de calidad en los formatos de datos mostrados en un informe; por ejemplo, un nombre de cliente con caracteres inconsistentes como una “/”, un “-” o un signo no identificable; a estos se les denomina datos extraños;  ya que no generan la correcta visualización y entendimiento de la información. Otro ejemplo puntual, podría ser el de las direcciones de destino de un despacho de producto; estas direcciones en muchos casos tienen una longitud muy extensa y cuando se muestran en el reporte se aprecian incompletas o cortadas. Los dos casos mencionados ameritan realizar un análisis de calidad de datos que consiste en primer lugar en revisar las fuentes de información que están alimentando a estos informes; luego se procede a revisar los procedimientos de carga y se evalúan las posibles causas del problema.  Este trabajo es muy minucioso, debido a que se puede presentar una variada gama de situaciones que comprometa la correcta generación y visualización de la información, siendo este un tema crucial al momento de tomar decisiones.

Para poder corregir cada casuística se hace uso de un mecanismo de limpieza y estructuración de datos; como las herramientas de extracción, transformación y carga llamadas ETL´s (extraction, transformation and load) o alguna otra que permita tratar y solucionar cada situación.

Uno de los principales objetivos de realizar un procedimiento de calidad de datos es asegurar la homogeneidad y consistencia de dichos datos desde sus fuentes de origen hacia el repositorio final de explotación de información (Datamart o Datawarehouse), considerando las reglas de negocio. Por ello, los Analistas de Inteligencia de Negocios tienen como labor el detectar cada inconsistencia, aislarla, analizarla e identificar el problema para proceder con la solución; haciendo uso de una herramienta o estableciendo un procedimiento para el correcto tratamiento de los datos.

Finalmente, se elaboran los reportes o tableros de mando que serán consumidos por el usuario final con el grado de veracidad en los datos requerido por un usuario de nivel operativo, táctico o estratégico.

Elaborado por:

José Casachahua

Analista de Business Intelligence de Ciclus Group

Inteligencia de Negocios y el Comercio Ilegal

Dr. (PhD) Ramón Barquín

Dr. (PhD) Ramón Barquín

Actualmente, mediante Internet o visitando alguna calle en cualquier ciudad importante se pueden realizar varias actividades de comercio ilegal, como “comprar” un nuevo hígado para un trasplante, hacer los arreglos para tráfico de un cargamento de drogas ilegales, o dar instrucciones a los terroristas en formación sobre la manera de fabricar un arma biológica de destrucción masiva. Estas actividades, y otros aún más repugnantes, son parte del mundo de las transacciones ilegales que en muchos aspectos caracterizan la llegada del siglo XXI.

¿Cómo el Business Intelligence nos puede ayudar en la lucha contra estos problemas sociales?
A través de análisis de datos de redes sociales, podemos empezar a conectar los puntos de quién habla con quién y ser capaz de anticiparse a las actividades criminales. Además, la búsqueda de patrones en los datos en sí mismos a través de algoritmos más clásicos de minería de datos, puede permitir obtener conocimientos sobre el funcionamiento interno de las redes de comercio ilegal y facilitar a las organizaciones policiales en el ejercicio de su trabajo.

Para leer más sobre este interesante artículo, escrito por nuestro colaborador el Dr. (PhD) Ramón Barquín siga el siguiente enlace.

Ver artículo: Business Intelligence and Illegal Trade

Datawarehouse, construyendo la linea base

Dr. (PhD) Ramón Barquín

Dr. (PhD) Ramón Barquín

Durante mucho tiempo, muchas empresas han sido muy ricas en datos pero muy pobres en información. El datawarehousing promete cambiar todo convirtiéndose en la pieza central de la nueva arquitectura de la información. Sin embargo, ¿Cómo pueden las promesas del hardware y proveedores de software saber que están en la perspectiva correcta? ¿Cómo pueden las organizaciones decidir si el datawarehousing es una verdadera solución potencial a sus problemas o sólo es una moda?

Muchas organizaciones, en su búsqueda de la más nueva y última tecnología, a menudo corren el riesgo de equivocarse. Empiezan a elegir las herramientas y construir almacenes de datos sin haber hecho las tareas previas.

La cuestión clave para la mayoría de las organizaciones es hacer un balance de dónde están ahora y, a continuación, decidir sobre una estrategia de Datawarehousing. La estrategia debe desarrollarse mediante la comprensión de los siguientes dominios:

• El dominio de negocio. ¿Cuáles son los fundamentos del negocio? ¿Cómo se estructura? ¿Qué tipo de información se necesita para la toma de decisiones?

• El dominio de datos. ¿Qué datos recopila su organización? ¿Cómo se almacena? ¿De quién es y cuál es su calidad? ¿Qué bases de datos  tienen?

• El dominio de sistema de información. ¿Cómo se ve el ambiente de SI? ¿Cuáles son las plataformas, lenguajes y protocolos? ¿Qué tipo de seguridad de la información manejan?

• El dominio de soporte de decisiones. ¿Existe un sistema de información ejecutiva para su organización? ¿Sus usuarios finales entiendan conceptos básicos del sistema de soporte de decisiones? ¿Qué herramientas de apoyo de decisiones están en su lugar?

• El dominio de las personas. ¿Quiénes son sus usuarios finales? Son conocimientos de informática? ¿Cuál es su nivel de formación? ¿Dónde se encuentran?.

Estos puntos son  la línea base necesaria que se debe tener en cuenta para implementar un DataWarehouse. Para continuar leyendo este interesante artículo, escrito por nuestro colaborador el Dr. (PhD) Ramón Barquín, siga el siguiente enlace.

Ver artículo: Data Warehousing Building the Foundation

La Importancia de entender el Negocio en un Proyecto de Business Intelligence

Normalmente, en un proyecto de Inteligencia de Negocios, las áreas involucradas se enfocan en la herramienta tecnológica  y se descuida lo más importante: el entendimiento del negocio.

Un Proyecto típico de Inteligencia de Negocios, consiste en la creación de indicadores de tipo KPI  con el objetivo de medir el desempeño de un área, por lo que será vital tener un entendimiento del negocio para primero saber qué es lo que queremos medir  mediante estos indicadores.

Para una eficiente creación de indicadores es vital el entendimiento del negocio mediante el descubrimiento del mismo: entender los procesos que dan soporte al área para la cual queremos implementar los indicadores, los sistemas transaccionales que dan soporte a los procesos de negocio Y, lo más importante, qué datos participan en estos procesos y cómo fluyen los mismos a través de éstos.

En segundo lugar, ya en el camino del proyecto tecnológico de la implementación de estos indicadores, se debe entender las reglas de negocio que dan origen a los mismos, es decir las fuentes desde donde se extraen los datos, conocer las excepciones a la regla general de extracción de los mismos y que serán cargados en el Datawarehouse.

Posteriormente, ya en la construcción propia de los indicadores, también se manejarán excepciones o casos especiales para la fórmula general de cálculo de las métricas, por lo que es sumamente importante haber hecho un adecuado relevamiento de las reglas de negocio para poder manejar los indicadores a implementar dentro de la plataforma tecnológica con la que se cuente.

Adicionalmente se debe plasmar en un documento esquematizado el resultado del descubrimiento del negocio y del entendimiento de los Datos, además de las métricas utilizadas para la construcción de los indicadores, de tal manera que sea entendible tanto para usuarios de negocio y usuarios técnicos.

Una vez que se tenga este documento formalizado y, sobre todo aprobado, tanto por el responsable de Negocio como por el responsable técnico, es que recién se puede pasar al desarrollo de los indicadores en la herramienta tecnológica de su nuestra preferencia.

Por lo que se puede ver, es vital el entendimiento del negocio en un proyecto de Business Intelligence; caso contrario nos daremos cuenta ya en la fase de desarrollo de alguna regla de negocio no contemplada, será necesario volver a  relevar dicha regla, lo cual se verá reflejado tanto en el costo como en el tiempo del Proyecto.

Elaborado por:

Eduardo Becerra

Analista de Business Intelligence de Ciclus Group

Inteligencia de Negocios y los Impuestos

Dr. (PhD) Ramón Barquín

Dr. (PhD) Ramón Barquín

¿Cómo nos puede ayudar la Inteligencia de Negocios en el control de los Impuestos?  De muchas maneras, por ejemplo apoyando en temas de auditoría financiera para prevenir el control de fraude. La detección de fraude es un tema importante de análisis para la aplicación de minería de datos y el uso de herramientas predictivas, esto más el uso avanzado de técnicas de control de exploración de conocimiento nos ayuda especialmente en investigaciones de potenciales fraudes, sean para corporaciones o para personas.

Nuestro colaborador el Dr. (PhD) Ramón Barquín nos habla de este tema en el siguiente articulo.

Ver artículo: Business Intelligence and Taxes

La Importancia de la Gestión de Datos en un Proyecto de Inteligencia de Negocios

Las herramientas de Inteligencia de Negocios (BI por sus siglas en inglés, Business Intelligence), tienen como finalidad proporcionar a los ejecutivos de las empresas información de calidad y oportuna, de tal manera que les brinde un adecuado soporte a la toma de decisiones. Cuando la información que brinda el DataWarehouse (almacén de datos de la empresa) no es exacta o no es procesada a tiempo, las decisiones que se puedan tomar no van a conducir en los mejores resultados para la empresa.

Muchas veces se piensa que basta con el hecho de adquirir una excelente herramienta de BI para contar con un adecuado soporte a la toma de decisiones. La realidad es que no basta con tener la mejor herramienta; para tener un DataWarehouse que agregue valor a las organizaciones, es fundamental gestionar los datos con los que se están trabajando, y que servirán de base para la generación de información para la toma de decisiones.

Los datos de una empresa, o de alguna de las unidades de negocio de la misma, se generan en la gran mayoría de los casos, a partir de las transacciones habituales comprendidas dentro de los procesos de negocio. Por lo general, estas operaciones del día a día están soportadas por un sistema transaccional, y los datos generados se almacenan dentro de campos, tablas y bases de datos del mismo sistema. En la actualidad, la mayoría de empresas que tienen un elevado volumen de transacciones, cuentan con un sistema integrado del tipo ERP (Enterprise Resource Planning por sus siglas en inglés).

Dependiendo de la naturaleza del negocio de determinadas organizaciones, y especialmente, de los indicadores necesarios para poder medir y analizar el cumplimiento de sus objetivos operacionales, en algunas empresas, no todos los datos contenidos en el DataWarehouse tienen su origen en los sistemas transaccionales, que proporcionan data generada internamente en la empresa. En algunos casos, un importante volumen de datos proviene de fuentes externas a la organización, con la finalidad de contar con información que permita medir temas de participación de mercado y competencia, entre otros indicadores.

Los datos provenientes tanto de fuentes internas (de los sistemas transaccionales), como de fuentes externas, deben ser de buena calidad, es decir datos precisos y oportunos. Si bien, no siempre los datos provenientes de fuentes internas de la empresa son 100% exactos, por lo general su nivel de confiabilidad es alto, y sobretodo que se trata de datos mucho más controlables que aquellos originados de fuentes externas a la empresa. Por este motivo, es de vital importancia la gestión de los datos en los proyectos de inteligencia de negocios. Sin datos de calidad no se puede obtener información de calidad, por consiguiente no se puede brindar un adecuado soporte a la toma de decisiones.

Para garantizar la calidad de todos los datos que alimentan a un DataWarehouse, es importante llevar a cabo una buena gestión. Algunas buenas prácticas recomendadas para una correcta gestión de datos incluye:

– Entender el negocio. Esta idea puede sonar simple, pero es fundamental conocer en qué consiste el negocio para tener claras las necesidades de información.

– Identificar y documentar los procesos. Es a partir de los procesos y sus puntos de control, de donde se obtienen los datos necesarios para el cálculo de indicadores.

– Establecer políticas y procedimientos para la obtención y registro de datos obtenidos de fuentes externas a la empresa. Si no hay un orden establecido, los datos recogidos externamente pueden contener un alto porcentaje de errores.

– Tener definida una arquitectura de negocio, que contemple el rol del dueño o propietario de los datos generados. En toda organización que maneje un elevado volumen de información, debe existir un responsable de la gestión de la data.

– Contar con una herramienta de TI adecuada para el ingreso y almacenamiento de los datos externos. La herramienta debe facilitar la labor de los colaboradores a cargo del trabajo operativo de ingresar la data.

– Integrar en el DataWarehouse todos los datos necesarios, tanto los generados a partir de los procesos de negocio (fuentes internas), como aquellos ingresados de manera externa.

– Contar con políticas y procedimientos de validación de la data obtenida y que alimenta al DataWarehouse.

En conclusión, para garantizar el éxito de un proyecto de Inteligencia de Negocios y sacar el mayor provecho posible a un DataWarehouse, no basta con adquirir la mejor herramienta. Lo principal es llevar a cabo una correcta gestión de los datos, para de esta manera asegurarse que dichos datos sean correctos y oportunos, generando información de calidad y que a su vez sea de utilidad para la toma de decisiones en las empresas.

Elaborado por:

Héctor Meneses

Consultor de Procesos de Ciclus Group

Business Intelligence, Cloud Computing y el Gobierno de los Estados Unidos.

Dr. (PhD) Ramón Barquín

Dr. (PhD) Ramón Barquín

Actualmente, venimos escuchando el concepto de Cloud Computing, por lo que no es de extrañar que los gobiernos también tengan presencia en el espacio. El Gobierno de los Estados Unidos es uno de ellos, pues se dan cuenta de las ventajas del Cloud Computing, como el poder de cómputo masivo y el compartir recursos de almacenamiento que sólo la computación en la nube puede proporcionar. Sin embargo, existen ciertos temores, tales como el miedo a perder el control de sus infraestructura y la seguridad de los datos. El gobierno de los Estados Unidos ha creado la web Apps.gov bajo la cual se encuentran categorías de servicios de computación en la nube: Aplicaciones de negocio, aplicaciones de productividad, servicios cloud de TI o aplicaciones de medios sociales. ¿Qué hay de inteligencia de negocios (BI)? Por supuesto, hay varias aplicaciones que están directamente etiquetados como inteligencia de negocios, cuadros de mando y gestión del conocimiento, entre otros.

Para continuar leyendo este artículo, escrito por nuestro colaborador el Dr. (PhD) Ramón Barquín siga el enlace.

Ver artículo: Business Intelligence, the Cloud and the Government

Problemas presentados por Centralización de la Información

Hoy en día, en toda empresa es muy importante que todos sus colaboradores y, sobretodo, los directamente involucrados, conozcan los procesos de negocio de la misma, pero que los conozcan de manera tal que todos manejen una misma versión. Es sólo así que se logra hacer un uso efectivo de las habilidades y aptitudes de los colaboradores y, a su vez, poder brindarles certeza en el desarrollo de sus funciones.

Sin embargo, por qué se menciona el conocimiento de los procesos de negocio y es que existen casos en algunas empresas donde un área proveedora de información asume la responsabilidad  como dueña de todos los datos que se movilizan dentro del proceso de negocio. Esta área, que será la nueva responsable de los datos, administrará los mismos en base a su percepción del proceso de negocio, en base a sus criterios, en base a cómo debería ser el proceso, pero no necesariamente estará alineada a lo que verdaderamente es dicho proceso. Pero, el resto de colaboradores al aceptar quién es el nuevo dueño de los datos o quién decidió asumir este rol, se conforma con la información brindada por esta área, asumiendo todo como una verdad.

Por otro lado, esta área que se convirtió en dueña de los datos, maneja criterios propios de análisis de información que no es difundida a los usuarios consumidores de ésta, lo cual genera que otras áreas no se hagan responsables de analizar su propia información, que se sobrecargue de trabajo a esta área que ha centralizado la información, que los usuarios consumidores tengan que realizar un trabajo adicional al no contar con lo que verdaderamente necesitan, que no se tengan claras las necesidades reales de los usuarios, entre otras. En estos casos, es muy importante reunir a todos los involucrados y discutir el proceso de negocio de la empresa, estandarizar los procedimientos, asignar responsables de datos donde sea necesario, validar las funciones de los actores del proceso de negocio, revisar qué información se demanda, documentar los procedimientos, entre otras. Finalmente, esta buena práctica permitirá clarificar las responsabilidades de los involucrados, asignar responsables de datos en cada etapa del proceso de negocio donde sea necesario, analizar la información de la que cada colaborador es responsable para futuras solicitudes de análisis de información, retirar la sobrecarga de trabajo al área que asumió el antiguo rol de dueño de todos los datos y así centrarse en sus verdaderas responsabilidades; es decir se emplearán correctamente las habilidades y aptitudes de los colaboradores.

Elaborado por:

Víctor Ruiz

Analista de Business Intelligence de Ciclus Group

Inteligencia de Negocios y las “Reglas Elmendorf”

Dr. (PhD) Ramón Barquín

Dr. (PhD) Ramón Barquín

Douglas Elmendorf es el director de la Oficina de Presupuesto del Congreso de los Estados Unidos. La prensa bautizó a las directivas que su oficina manejaba como las “Reglas Elmendorf”.  Según estas reglas: 1) No se puede estimar discursos. 2) No es posible evitar las fugas de información. El 13 de abril de 2011, el presidente Obama pronunció un importante discurso esbozando un plan para abordar el problema de la deuda nacional. Fue sin duda una declaración política, como cualquier discurso importante, la intención de transmitir y alinear el apoyo a un enfoque específico que la administración cree, que eventualmente reduciría la deuda nacional a un nivel razonable.

Para los interesados en Business Intelligence nos gustaría responder  a las preguntas : ¿Podemos estimar discursos? ¿Podemos estimar las fugas? En el siguiente artículo nuestro colaborador el Dr. (PhD) Ramón Barquín, nos da una reflexión acerca de este tema.

Ver artículo: Business Intelligence and the Elmendorf Rule

Construyendo confianza en el Ciberespacio

Dr. (PhD) Ramón Barquín

Dr. (PhD) Ramón Barquín

El éxito en el ciberespacio está determinado por la confianza. La confianza es una construcción social. Es uno de los muchos elementos que componen  nuestra realidad como son: control, confianza, riesgo, significado y el poder. En sistemas de información existen definiciones de confianza  como  sistemas confiables, tales como: gestión de identidad, autenticación de ID, conexiones seguras y confiables, pero esto va más allá.

Se debe pensar en la tecnología detrás del sistema, en la institución que posee el sistema, las normas y procedimientos para operar el sistema. La confianza  es tan importante en un medio como internet, el cual se está convirtiendo en el preferido para el comercio electrónico, el gobierno electrónico y la comunicación social. Y todo esto tiene que ver con ética por parte de las empresas que brindan los servicios en Internet, a partir de la seguridad de la información de sus usuarios.

Nuestro colaborador el Dr. (PhD) Ramón Barquín nos expone su punto de vista en el siguiente articulo.

Ver artículo: Building Trust in Cyberspace

A %d blogueros les gusta esto: