00_Introduccion.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 0 - Introducción (Ciencia de Datos)\n",
    "\n",
    "\n",
    "* En este Notebook vamos a ver una ***introducción al mundo de la Ciencia de Datos*** y el porque este área es tan relevante y demandada en el mercado laboral en los últimos años.\n",
    "\n",
    "\n",
    "* Trataremos los siguientes puntos:\n",
    "<span></span><br>\n",
    "    1. [Data Driven Decision Makining (DDDM)](#M1)\n",
    "<span></span><br>\n",
    "    2. [El Big Data](#M2)\n",
    "<span></span><br>\n",
    "    3. [¿Que es la ciencia de Datos?](#M3)\n",
    "<span></span><br>\n",
    "    4. [Ciclo de vida de un proyecto Data Science](#M4)\n",
    "<span></span><br>\n",
    "    5. [Roles en un proyecto IA & DS](#M5)\n",
    "<span></span><br>\n",
    "    6. [En qué invierte el tiempo un Cientifico de Datos](#M6)\n",
    "<span></span><br>\n",
    "    7. [Kaggle.com](#M7)\n",
    "\n",
    "\n",
    "<hr>\n",
    "\n",
    "## <a name=\"M1\">1. Data Driven Decision Makining (DDDM)</a>\n",
    "\n",
    "* La toma de decisiones basada en datos (DDDM) implica ***tomar decisiones respaldadas por los datos*** en lugar de tomar decisiones que sean intuitivas o basadas solo en observaciones.\n",
    "\n",
    "\n",
    "* Los ***datos por si solos no son relevantes*** y por tanto debemos de trabajar con ellos para ***obtener un conocimiento del entorno*** en el que nos movemos y ***tomar decisiones en base al conocimiento y sabiduría*** obtenidos de los datos.\n",
    "\n",
    "\n",
    "* La pirámide del dato al conocimiento sería la siguiente:\n",
    "\n",
    "<img src=\"./imgs/00_02_ds.png\" style=\"width: 400px;\"/>\n",
    "<span></span><br><br>\n",
    "\n",
    "* Definimos estos 4 niveles de la siguiente manera:\n",
    "<span></span><br><br>\n",
    "    * ***Datos***: Lo podemos considerar como la unidad mínima semántica que por si solo es irrelevante para la toma de decisiones.\n",
    "<span></span><br><br>\n",
    "    * ***Información***: Puede definirse como un conjunto de datos procesados que tienen un cierto significado, y que por lo tanto son de utilidad para quién debe tomar decisiones.\n",
    "<span></span><br><br>\n",
    "    * ***Conocimiento***: Hace uso de la información para la toma de decisiones; es decir, da significado a la información.\n",
    "<span></span><br><br>\n",
    "    * ***Sabiduría***: Es el conocimiento profundo que se adquiere a través del conocimiento o de la experiencia.\n",
    "\n",
    "\n",
    "* En los últimos años las empresas están ***invirtiendo mucho dinero en el conocido mundo de \"Big Data\"*** porque tienen la necesidad de ***tomar buenas decisiones para el bien de su negocio basado en el conocimiento extraído de los datos y no del conocimiento de \"gurus\"*** o personas que tienen un conocimiento importante del negocio en el que se mueven.\n",
    "\n",
    "## <a name=\"M2\">2. El Big Data</a>\n",
    "\n",
    "\n",
    "* La ***necesidad de procesar \"cuantos más datos mejor\"*** para la ***obtención de conocimiento y toma de decisiones***, ha hecho que los sistemas de almacenamiento y procesado de datos tradicionales se hayan quedado pequeños, por ello han ***surgido nuevas tecnologías capaces de procesar grande volúmenes de datos***.\n",
    "\n",
    "\n",
    "* Las necesidades del mercado hacen que cada año ***aumenten de manera significativa el número de tecnologías Big Data***:\n",
    "\n",
    "\n",
    "<img src=\"./imgs/00_04_bigdata.png\" style=\"width: 800px;\"/>\n",
    "\n",
    "\n",
    "* Gracias a las ***nuevas tecnologías*** somos capaces de ***generar cada vez más datos; pero ¿Cuantos más datos?***. El persidente de Telefónica en un encuentro realizado por el \"Financial Times\" planteó una serie de preguntas y la primera pregunta fue: **\"¿Que crece más de un 50% cada año?: los iPhones, los coches, los Instagrammers\"** la respuesta fue: **\"ninguno de ellos\", eran los datos los que crecen un 50% más cada año**.\n",
    "\n",
    "\n",
    "<img src=\"./imgs/00_03_ds.png\" style=\"width: 600px;\"/>\n",
    "\n",
    "\n",
    "#### Enlace al video: https://youtu.be/yK6Gql2Ai0A\n",
    "\n",
    "\n",
    "### - Fases del Big Data\n",
    "\n",
    "\n",
    "* El ***Big Data no es solo recopilar datos y almacenarlos, hay que tener la capacidad de procesarlos, extraer conocimiento de los datos y aplicarlo en la toma de decisiones***.\n",
    "\n",
    "\n",
    "* El Big Data lo podemos descomponer en los siguientes pasos, aunque dependiendo de la bibliografía a consultar puede que algunos pares de fases los considere como una sola:\n",
    "\n",
    "    1. ***Origen de los datos***.\n",
    "    2. ***Integración*** de los datos.\n",
    "    3. ***Almacenamiento*** de los datos.\n",
    "    4. ***Procesado*** de los datos (Análisis de datos, Machine Learning, etc.)\n",
    "    5. ***Visualización*** de la información.\n",
    "\n",
    "\n",
    "* En la siguiente imagen mostramos las fases del Big Data:\n",
    "\n",
    "<img src=\"./imgs/00_05_bigdata3.png\" style=\"width: 800px;\"/>\n",
    "\n",
    "\n",
    "## <a name=\"M3\">3. ¿Que es la ciencia de Datos?</a>\n",
    "\n",
    "\n",
    "* La ***ciencia de datos*** es un campo interdisciplinario que ***involucra métodos científicos, procesos y sistemas para extraer conocimiento o un mejor entendimiento de datos***, lo cual es una continuación de algunos campos de análisis de datos como la ***estadística, la minería de datos, el aprendizaje automático y la analítica predictiva***.\n",
    "\n",
    "\n",
    "* También se define la ciencia de datos como \"***Un concepto para unificar estadísticas, análisis de datos, aprendizaje automático y sus métodos relacionados para comprender y analizar los fenómenos reales***\", empleando técnicas y teorías extraídas de muchos campos dentro del contexto de las matemáticas, la estadística, la ciencia de la información y la informática.\n",
    "\n",
    "\n",
    "#### NOTA: Definiciones obtenidas de la wikipedia.\n",
    "\n",
    "\n",
    "###  - Drew Conway: Diagrama de Venn de la Ciencia de Datos\n",
    "\n",
    "\n",
    "* El Cientifico de Datos ***Drew Conway*** es conocido (entre otras cosas) por ***definir en un diagrama de Venn, las características que tiene que tener un científico de datos*** que son:\n",
    "<span></span><br><br>\n",
    "    - ***Conocimientos de Programación***\n",
    "<span></span><br><br>\n",
    "    - ***Conocimientos de Matemáticas y Estadística***\n",
    "<span></span><br><br>\n",
    "    - ***Conocimiento del Negocio***\n",
    "\n",
    "\n",
    "* La intersección de esos ***3 conocimientos*** serian los que ***un profesional debería de tener para considerarse un Cientifico de Datos***.\n",
    "\n",
    "<img src=\"./imgs/00_01_ds.png\" style=\"width: 400px;\"/>\n",
    "\n",
    "\n",
    "* La intersección entre otros dos pares de áreas dan otros perfiles profesionales como son:\n",
    "    - Ingeniero Machine Learning\n",
    "    - Ingeniero Software\n",
    "    - Analista de Datos\n",
    "\n",
    "\n",
    "### - Big Data vs Data Science\n",
    "\n",
    "\n",
    "* El ***Big Data y la Ciencia de Datos son dos campos que van de la mano*** ya que la ***proliferación del campo de la Ciencia de Datos se debe a dos factores***: uno, la ***evolución tecnológica en las computadoras*** que permiten tener cada vez más capacidad de computo y dos, las ***tecnologías Big Data*** desarrolladas que permiten el almacenamiento y procesamiento de datos de una manera distribuida y muy optimizada.\n",
    "\n",
    "\n",
    "* ***Todd Yellin, vicepresidente de producto de Netflix***, comentaba: <span style=\"color:red\">***“El big data, como me gusta decir, es una gran cantidad de basura que esconde diamantes. Entonces lo que hacen los algoritmos de machine learning es revelar y mostrar cuáles son esos diamantes. Cuál es la información importante...\"***</span>. Con esta definición podemos entender la importante relación que hay entre el Big Data y la Ciencia de Datos.\n",
    "\n",
    "\n",
    "## <a name=\"M4\">4. Ciclo de vida de un proyecto Data Science</a>\n",
    "\n",
    "\n",
    "* ***Los proyectos*** que se llevan a cabo en el mundo de la ***Ciencia del Dato***, al igual que el resto de proyectos de otras áreas de estudio ***tienen como objetivo resolver algún tipo de problema*** que esté causando perdidas a una empresa, asociación, etc o que quieran obtener un aumento de capital (económico, social, humano, etc.) en algún área especifica de la organización.\n",
    "\n",
    "\n",
    "* Por tanto desde que ***se tiene el Dato hasta que se toma una decisión*** deben de realizarse una serie de pasos para llegar al objetivo final que es el de tomar una decisión que permita en definitivas cuentas aumentar el capital de la organización.\n",
    "\n",
    "\n",
    "* En la siguiente imagen podemos ver ***Ciclo de vida de un proyecto Data Science*** de manera genérica.\n",
    "\n",
    "\n",
    "<img src=\"./imgs/00_06_ds.png\" style=\"width: 500px;\"/>\n",
    "\n",
    "\n",
    "### 4.1. Entender Necesidades del Negocio\n",
    "\n",
    "\n",
    "* Lo primero que hay que hacer en un proyecto Data Science es ***saber que caso de negocio o problema se quiere abordar***.\n",
    "\n",
    "\n",
    "* No vale de nada empezar un proyecto si no se tiene una ***necesidad de negocio o un objetivo claro para abordar*** como por ejemplo optimizar coses, aumentar ventas, reducción del Churn, etc.\n",
    "\n",
    "\n",
    "* Una vez entendida la necesidad se tienen que ***enumerar las fuentes de datos necesarias*** para ver si a priori se puede abordar el proyecto con garantías de éxito.\n",
    "\n",
    "\n",
    "* ***Enumerar en exceso o en defecto las fuentes de datos necesarias puede llevar al fracaso del proyecto*** por exceso ***costes***, tiempos o por falta de ***calidad en el Insigth*** del producto.\n",
    "\n",
    "\n",
    "### 4.2. Recolección de Datos\n",
    "\n",
    "\n",
    "* La recolección de datos es el primer paso o la ***primera fase del Big Data***.\n",
    "\n",
    "* Las ***fuentes de información*** pueden ser muy diversas y los ***datos pueden estar estructurados o no***:\n",
    "    - Redes sociales\n",
    "    - IoT\n",
    "    - Logs\n",
    "    - Webs\n",
    "\n",
    "* Es importante saber ***obtener estas fuentes de datos*** via ***Syslog, APIs, scraping***, etc. ya que sin los datos no se puede abortar ningún tipo de proyecto Big Data\n",
    "\n",
    "\n",
    "### 4.3. Limpieza y Organización de Datos\n",
    "\n",
    "\n",
    "* Limpiar y organizar los datos es la ***tarea por excelencia*** en el negocio de los datos.\n",
    "\n",
    "\n",
    "* A este tipo de tarea se le conoce como ***ETL*** (Extraer-Transformar-Cargar datos(Load)).\n",
    "\n",
    "\n",
    "* En ciertas ocasiones es necesario el ***uso de tecnologías Big Data como Spark*** para realizar este tipo de tareas debido a los grandes volúmenes de datos que se maneja.\n",
    "\n",
    "\n",
    "### 4.4. Análisis Exploratorio de Datos (EDA)\n",
    "\n",
    "\n",
    "* Una vez que ya se tienen los datos limpios, organizados y estructurados entran en juego los ***analistas de datos (Business Intelligence)*** con el objetivo de ***entender el contenido de los datos***.\n",
    "\n",
    "\n",
    "* El objetivo de esta fase es la de ***obtener información a partir de los datos en bruto***; es decir, empezar a ***entender el significado de los datos y obtener conocimiento*** de ellos.\n",
    "\n",
    "\n",
    "* El proceso exploratorio puede volver a realizar una ***nueva limpieza de los datos, generar datos derivados, agregaciones de datos o generar estadísticas descriptivas***.\n",
    "\n",
    "\n",
    "* La ***visualización de datos*** utilizando diferentes tipos de gráficos, mapas, etc. permiten obtener un ***mayor y mejor entendimiento de la información***.\n",
    "\n",
    "\n",
    "### 4.5. Algoritmos de Aprendizaje: Modelos\n",
    "\n",
    "\n",
    "* Los ***Algoritmos de Aprendizaje generan Modelos*** (que son una representación de la realidad) a partir de un conjunto de datos. Explotando estos modelos, nos permitirán tomar decisiones o acciones a realizar en nuestro caso de negocio.\n",
    "\n",
    "\n",
    "* El área del ***(Deep) Machine Learning*** tiene como objetivo entrenar modelos (con Algoritmos de Aprendizaje) para que posteriormente sean capaces de ***realizar tareas de forma autónoma***:\n",
    "\n",
    "\n",
    "* Algunos de los problemas que podemos resolver con la generación de estos modelos pueden ser:\n",
    "\n",
    "    - Clasificación y estimación de probabilidades\n",
    "    - Estimación o predicción de valores\n",
    "    - Clustering\n",
    "    - Patrones de similitud\n",
    "    - Profiling\n",
    "    - Recomendaciones\n",
    "    - Reducción de datos\n",
    "    - Causalidad\n",
    "\n",
    "\n",
    "\n",
    "### 4.6. Evaluación de Modelo/s\n",
    "\n",
    "\n",
    "* Los ***Modelos generados por los Algoritmos de Aprendizaje*** se pueden considerar como una representación de la realidad que ha sido aprendida de los datos.\n",
    "\n",
    "\n",
    "* Estos ***Modelos hay que evaluarlos*** de tal manera que podamos ver en un entorno controlado ***como de buenas o malas son las decisiones o acciones que toma***.\n",
    "\n",
    "\n",
    "* Una manera de hacerlo es ***reservarse un subconjunto de datos*** de los cuales conocemos la decisión o acción a tomar real y ***ver si coincide o no la decisión o acción tomada por el modelo respeto a la decisión o acción real***.\n",
    "\n",
    "\n",
    "### 4.7. Puesta en Producción\n",
    "\n",
    "\n",
    "* Todo proyecto relacionado con los datos para la posterior toma de decisiones no culmina si no hay ***un entregable de Insigths de forma más o menos recurrente*** para ***la posterior toma de decisiones***.\n",
    "\n",
    "\n",
    "* Este tipo de productos puede ofrecer algún tipo de ***Dashboard para el entendimiento o monitorización de los datos de forma visual o como añadido algún tipo de predicción o recomendación para las tomas de decisiones***.\n",
    "\n",
    "\n",
    "\n",
    "### 4.8. Otras labores\n",
    "\n",
    "\n",
    "* A parte de los 7 pasos mostrados anteriormente que son pasos necesarios, pueden o deben de realizarse otras tareas como pueden ser:\n",
    "<span></span><br><br>\n",
    "    - Gobierno del Dato\n",
    "    - Uso legitimo de los datos (GDPR)\n",
    "    - Uso Ético de los datos y los Insigth\n",
    "    - Etc.\n",
    "    \n",
    "    \n",
    "## <a name=\"M5\">5. Roles en un proyecto IA & DS</a>\n",
    "\n",
    "\n",
    "* Dentro de un proyecto de ciencia de datos nos podemos encontrar los siguientes roles, descritos en el siguiente artículo (https://hackernoon.com/top-10-roles-for-your-data-science-team-e7f05d90d961 ):\n",
    "<span></span><br><br>\n",
    "    - ***Data Engineer***\n",
    "    - Decision-Maker\n",
    "    - Analista\n",
    "    - ***Analista Experto***\n",
    "    - Estadístico\n",
    "    - Applied Machine Learning Engineer\n",
    "    - ***Data Scientist***\n",
    "    - ***Analytics Manager / Data Science Leader***\n",
    "    - Qualitative Expert / Social Scientist\n",
    "    - Researcher\n",
    "    - Otros: expertos en el dominio, Ingenieros Software, Diseñadores gráficos, etc.\n",
    "    \n",
    "\n",
    "## <a name=\"M6\">6. En qué invierte el tiempo un Cientifico de Datos</a>\n",
    " \n",
    "\n",
    "* La realidad es que un Científico de Datos invierte entorno a un ***80% de su tiempo en el tratamiento y manipulación de datos*** y entorno a un ***20% en labores relacionadas con el (Deep) Machine Learning***.\n",
    "\n",
    "\n",
    "* Veamos a continuación un gráfico en el que se muestra el porcentaje de tiempo que un Científico de datos dedica a cada tarea:\n",
    "\n",
    "<img src=\"./imgs/00_07_ds.png\" style=\"width: 600px;\"/>\n",
    "\n",
    "## <a name=\"M7\">7. Kaggle.com</a>\n",
    "\n",
    "\n",
    "* ***KAGGLE*** es una comunidad en línea de científicos de datos (propiedad de Google desde marzo del 2017) que permite a los usuarios ***encontrar y publicar Datasets, explorar y construir modelos, trabajar con otros científicos de datos y participar en competiciones*** (la mayoría con premios económicos) para resolver desafíos de ciencia de datos.\n",
    "\n",
    "\n",
    "#### Enlace a la web: https://www.kaggle.com/\n",
    "\n",
    "\n",
    "\n",
    "<img src=\"./imgs/00_08_kaggle.png\" style=\"width: 700px;\"/>\n",
    "\n",
    "\n",
    "<hr>\n",
    "\n",
    "*Este Notebook ha sido desarrollado por **Ricardo Moya García** y registrado en Safe Creative como ***Atribución-NoComercial-CompartirIgual***.*\n",
    "\n",
    "<img src=\"./imgs/CC_BY-NC-SA.png\" alt=\"CC BY-NC\">\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}