Este documento proporciona una introducción a Microsoft Azure y HDInsight. Explica la arquitectura de Azure, incluidas las regiones geográficas y tipos de instancias. Luego describe HDInsight, un servicio de Azure para procesamiento de grandes datos usando Hadoop. Incluye detalles sobre precios y cómo crear un clúster HDInsight y almacenamiento de Azure. También presenta ejemplos de uso de Hive y MapReduce con HDInsight.

1. 1
Microsoft
Azure
Cristian González García v 1.2.1 Noviembre 2015

2. Índice
 Introducción
 Arquitectura
 HDInsight
 Inscripción
 Creación de Almacenamiento
 Creación de un clúster Hadoop
 Hive en HDInsight
 Azure PowerShell
 Ejemplo: Word Count
 Ejemplo: Hipotecas
 Subiendo datos
 Errores
2

3. Introducción
3

4. Introducción
 Anunciado el 27 de Octubre del año 2008
 Lanzado el 1 de Febrero del año 2010
 Anteriormente conocido como
 Windows Azure y Azure Services Platform
 Propiedad de Microsoft
 Colección de servicios de computación en la nube
 Almacenamiento, máquinas virtuales, sitios web,
bases de datos, multimedia, desarrollo, hadoop,
caché, …
 Ofrece servicios fijos
 Pagas por lo que utilizas
 Siempre que esté funcionando
4

5. ¿Que ofrece?
 Almacenaje
 Discos duros, Bases de datos, …
 Procesamiento
 Hadoop, Machine learning
 Servidores
 Windows y Linux
 Almacenamiento
 Local, redundante, redundante solo lectura
 Monitorización de servicios
 Seguridad
 Backups, …
 Desarrollo
 Visual Studio Online
 …
6

6. Es utilizado por …
 Telefónica
 Empresa de telefonía
 Maxcom Telecomunicaciones
 Telefonía local e IP
 DELSUR
 Distribuidora de electricidad
 Xerox
 Proveedor de fotocopiadoras tóner
 Y 361 más…
 https://customers.microsoft.com/Pages/advanced
search.aspx?mrmcproducts=Microsoft Azure
7

7. Arquitectura
8

8. Regiones
Geográficas I
 20 regiones
 3 nuevas en 2015
9
Azure Region Location
Centro de EE. UU. Iowa
Este de EE. UU. Virginia
Este de EE. UU. 2 Virginia
Gobierno de EE.UU. - Iowa Iowa
Gobierno de EE.UU. - Virginia Virginia
Centro y norte de EE. UU. Illinois
Centro y sur de EE. UU. Texas
Oeste de EE. UU. California
Norte de Europa Irlanda
Europa Occidental Países Bajos
Este de Asia Hong Kong
Sudeste de Asia Singapur
Este de Japón Tokio, Saitama
Oeste de Japón Osaka
Sur de Brasil Estado de Sao Paulo
Este de Australia Nueva Gales del Sur
Sudeste de Australia Victoria

9. Regiones Geográficas II
 Cobran por el traslado de datos entre
regiones
10

10. Regiones Geográficas III
 La región se selecciona en la creación del
componente
 No todas tienen el mismo precio
 No todas tienen todos los servicios
11

11. Regiones Geográficas IV
 Permite replicar los datos
 Localmente (LRS): Misma región
 Redundancia de zona (ZRS): 1-2 regiones
 Geográficamente: Región secundaria
 Normal (GRS): En otra región cercana
 Sólo lectura (RA-GRS)
 En la localización secundaria. Mayor disponibilidad
12

12. Instancias
 Tienen diferente precio según la región
 Permite seleccionar por el número de nodos
(HDInsight)
 1, 2, 4 u 8
 4 instancias (Máquinas Virtuales)
 A1, A2, A3 y A4
 http://azure.microsoft.com/en-
us/pricing/details/virtual-machines/
 Lo mejor, usar la calculadora
13

13. Calculadora de precios
 Calculadora de precios
 http://azure.microsoft.com/es-
es/pricing/calculator/
14

14. Servicios
 http://azure.microsoft.com/es-es/services/
15
…

15. HDInsight
17

16. ¿Qué es?
 Servicio Web de Microsoft Azure
 Procesamiento de grandes volúmenes de datos
 Utiliza Apache Hadoop
 Utiliza el almacenamiento de Azure
 Windows Server 2012 R2 o Ubuntu 12.04 LTS
 Versiones
 3.2 – Hadoop 2.6
 3.1 – Hadoop 2.4 (Por defecto)
 3.0 – Hadoop 2.2
 Modos
 Instancias por defecto
 Personalizado
18

17. ¿Qué ofrece?
 Versión oficial de Hadoop
 Interfaz gráfica para crear la instancia
 Editor Hive
 Integración con herramientas de Microsoft
 PowerShell
 Excel
 Integración con otras herramientas de Azure
 Almacenamiento, BDD SQL, …
 Otras herramientas Big Data
 Pig, Hive, HBase, Oozie, Zookeeper, Mahout, …
 SDK
 Java, .NET
19

18. Precios
21

19. Ciclo de vida
 Ciclo de uso
 Crear el almacenamiento (si no existe)
 Subir los datos
 Crear el clúster
 Hacer la consulta
 PowerShell
 Hadoop
 Hive (requiere pasos previos)
22

20. Facturación
23

21. Inscripción
24

22. Entramos
 https://account.windowsazure.com/Home/
25

23. Inicio de sesión I
26

24. Inicio de sesión II
 Utilizad el UO
27

25. Datos Personales
 Rellenamos los datos
28

26. Contacto Móvil
 Mensaje al móvil con el pin
29

27. Datos bancarios
30
 Introducimos los datos de la tarjeta
 Cobrarán 1€, pero nos darán 150€ 

28. Acuerdo
31
 Si estamos de acuerdo con lo ledído, lo
marcamos
 Después nos suscribimos

29. Evaluación del producto
 Tras esto, tendremos un mes para gastar
150€
32

30. Confirmación del proceso
 Recibiremos un correo electrónico de
confirmación
33

31. Bienvenida
 Al entrar podremos realizar un paseo
34

32. Consola de Administración
 La consola de administración de Azure
35

33. Finalización
 Azure avisa insistentemente de que se te acabará
la inscripción y te cortarán el servicio, bien sea por
dinero o por tiempo
36

34. Creación de
Almacenamiento
37

35. Almacenamiento
 Almacenamiento escalable
 Alta disponibilidad
 Redundancia elegible
 Local, geográfica, geográfica solo lectura,
zona
 Pagas por lo que ocupas
 Ofrece APIs REST usando HTTP/HTTPS
 https://azure.microsoft.com/en-
us/documentation/articles/storage-
introduction/
38

36. Nuevo
 Creamos un espacio de almacenamiento
39

37. Almacenamiento I
 Servicio de Datos -> Almacenamiento ->
Creación rápida
 NombreDeseado+.core.windows.net
 Elegir Lugar
 Por defecto, el de la cuenta
 No en todos los sitios se paga lo mismo
 Elegir tipo de redundancia
40

38. Almacenamiento II
41

39. Almacenamiento III
 Esperamos unos segundos…
 … ya tenemos el espacio de
almacenamiento creado
42

40. Almacenamiento IV
 Si lo seleccionamos, veremos la ayuda
43

41. Almacenamiento V
 Utiliza pares clave-valor para guardar los
datos
 Permite el uso de “/” para simular
directorios
 Los archivos de 0 bytes representan
carpetas vacías
 Contienen metadatos de permisos y
propietarios
 En verdad son ficheros
44

42. Creación de un clúster
Hadoop
45

43. HDInsight I
 Creamos el HDInsight cluster
 HDInsight 3.2
 Hadoop 2.6
 http://azure.microsoft.com/en-
us/documentation/articles/hdinsight-
component-versioning/
 NombreDeseado.azurehdinsight.net
 Tamaño del clúster
 A más tamaño mayor coste
 https://azure.microsoft.com/es-
es/pricing/details/hdinsight/
 Contraseña del Admin
 Cuenta de almacenamiento
46

44. HDInsight II
 Creamos un clúster Hadoop
47

45. HDInsight III
 Esperamos mientras crea el clúster
48

46. HDInsight IV
 Si lo seleccionamos, veremos la ayuda y
las opciones
49

47. Hive en HDInsight
50

48. Hive en HDInsight
 Usaremos Hive para consultar datos
 Se puede utilizar la consola de consultas o
el PowerShell
 Ejemplo proporcionado por HDInsight
 Interfaz web
 La tabla se llama “hivesampletable”
 Contiene datos de móviles
 Datos de fábrica, plataforma, modelo, …
51

49. Datos del ejemplo
 Almacenamiento -> Contenedores ->
hive/warehouse/hivesampletable/HiveSampleData.txt
53

50. Consola de consultas
 Seleccionamos el clúster Hadoop creado
 Vamos a la opción “Consola de
consultas”
54

51. Autenticación
 Introducimos la autenticación con la
clave que utilizamos antes
 Si erráis, tendréis que cerrar la sesión y
entrar
55

52. Query Console
 Getting Started Gallery
 Introducción con ejemplos
 Hive Editor
 Editor de consultas Hive
 Job History
 Historial de ficheros con todas las consultas realizadas o en
ejecución
 File Browser
 Navegador de los archivos existentes
 Hadoop UI (2015)
 Interfaz de Hadoop del puerto 50700
 Yarn UI (2015)
 Interfaz de Yarn
56

53. Hive Editor I
 Seleccionamos “Hive Editor”
57

54. Hive Editor II
 Consola de consultas “Hive”
58

55. Hive Editor III
 Escribir la consulta
 Submit: para ejecutarla
 View Details: ver resultados y log
 Tiene ctrl+z, ctrl+y, tabulador, …
59

56. Hive Editor IV
60

57. Hive Editor V
61

58. File Browser
 Obtenemos el ID de uno de los ficheros
creados por las consultas
62

59. Power Query
 Descargamos
http://www.microsoft.com/es-
ES/download/details.aspx?id=39379
 Plugin que permite descargar datos desde
HDInsight al Excel
 Elegir el adecuado: x86 o x64
63

60. Importación a Excel I
 Creamos un documento Excel
64
1
2
3

61. Importación a Excel II
 Especificamos el nombre del
almacenamiento
 Sólo el nombre o la URL entera
65

62. Importación a Excel III
 La contraseña hay que buscarla en
 Almacenamiento -> Instancia -> Configurar
-> Administrar Claves de Acceso -> Clave
de acceso Primaria
66

63. Clave de acceso
 Contraseña -> Clave de acceso primaria
67

64. Importación a Excel IV
 Seleccionamos a la izquierda nuestro
almacenamiento
 Lo abrimos con doble clic
68

65. Importación a Excel V
 Obtendremos acceso a todo su
contenido
69

66. Importación a Excel VI
 Filtramos por “stdout” y clic en “Aceptar”
 Ficheros con la información
70
1
2
3

67. Importación a Excel VII
 Clic sobre el “Binary” que deseamos
visualizar
 Con esto abriremos los datos obtenidos
71
1

68. Importación a Excel VIII
72

69. Importación a Excel IX
 Seleccionamos en Inicio -> Cerrar y
cargar
 Obtendremos los datos en el Excel que
creamos
73

70. Importación a Excel X
74

71. Azure PowerShell
75

72. Descarga
 Bajamos el Azure PowerShell
 http://go.microsoft.com/fwlink/p/?linkid=32
0376&clcid=0x409
76

73. Instalación I
 Siguiente y esperamos…
77

74. Instalación II
 … y finalizamos todo correctamente
78

75. Inicio
 Abrimos “Microsoft Azure PowerShell”
 Esperamos a que cargue
 Soporta ayuda de comandos por
tabulador
79

76. Vinculación cuenta I
 Añadimos una cuenta
 Nos abrirá una pantalla inicio de sesión
80

77. Vinculación cuenta II
 Se vinculó nuestra cuenta al PowerShell
 También se puede hacer mediante un Script
 O utilizando un certificado
81

78. Información de la cuenta
 Para ver información de la cuenta
 Get-AzureAccount
 Get-AzureSubscription
82

79. Ejemplo: Word Count
83

80. Word Count
 Uso de MapReduce
 Usar el PowerShell
 Se usa el mismo ejemplo WordCount.jar
 Información en la pestaña de HDInsight ->
MapReduce en Azure
84

81. Nombre de la Suscripcion
 Ir a Azure
 Nombre -> Ver mi factura
 Pulsar sobre: “Pase sobre Azure”
 Editar detalles de la suscripción
 Cambiar el nombre de la suscripción
 Esto es necesario para el siguiente paso
para evitar problemas
85

82. Suscripción y Trabajo
 Establecemos la suscripción a utilizar
 Creamos una variable con el nombre del clúster
HDInsight
 Definimos el trabajo
 -JarFile: definimos el Jar a utilizar
 Hadoop 2.1: hadoop-examples.jar
 Hadoop 3.0+: hadoop-mapreduce-examples.jar
 -ClassName: Nombre de la clase
 -Arguments: Argumentos que se le pasan a Hadoop
 Fichero de entrada
 Fichero de salida
86

83. Trabajo y Resultado
 Lanzamos el trabajo
 Iréis obteniendo información en la
consola acerca del trabajo actual
 Comprobamos la salida
87

84. Comprobación I
 Si todo fue bien…
88

85. Comprobación II
 Si la carpeta ya existe nos lanzará un error
89

86. Trabajo y Resultado
 Consultamos los datos del trabajo
90

87. Consultar resultado Web
 Ir al almacenamiento
 Seleccionar almacenamiento
 Buscar la carpeta de salida del trabajo
 Descargar
91

88. Ejemplo: Hipotecas
96

89. Escritorio remoto I
 Activaremos el uso remoto de Hadoop
 HDInsight -> Seleccionar clúster ->
Configuración -> Habilitar de forma remota
 Rellenamos el popup
97

90. Escritorio remoto II
 Ahora clicamos en “Conectar”
 Descargamos el archivo y lo ejecutamos
 Esto nos abre un escritorio remoto a
nuestra máquina Hadoop 2.6
 Para enviar datos a esta máquina
 Los copiamos (Ctrl+C) de nuestra máquina
 Los pegamos (Ctrl+V) en el remoto
 Metedlos en la raíz de la unidad “C”
98

91. Hadoop I
 Ejecutamos Hadoop Command Line
99

92. Hadoop II
 Copiamos los datos de entrada al sistema
HDFS
100
 Comprobamos como los subió

93. Hadoop III
 Ejecutamos el MapReduce
101
 Obtenemos los resultados

94. Subiendo datos
110

95. Opciones
 Azure PowerShell
 AzCopy
 Azure Storage Explorer
 Hadoop Command Line
 Otras herramientas
 http://blogs.msdn.com/b/windowsazurestor
age/archive/2014/03/11/windows-azure-
storage-explorers-2014.aspx
111

96. Azure PowerShell I
 Establecemos las variables del Almacén
 Establecemos las variables del fichero
 Obtenemos la clave del Almacén
 Creamos el objeto almacén
 Subimos el fichero
112

97. Azure PowerShell II
 Esperamos mientras lo sube
 Lo podemos ver en la web
113

98. Azure Storage Explorer I
 Descargar Azure Storage Explorer
 http://azurestorageexplorer.codeplex.com/
 Instalarlo
 Ejecutarlo
114

99. Azure Storage Explorer II
 Añadimos nuestra cuenta
115

100. Azure Storage Explorer III
 Nombre de la cuenta y clave
 Los mismos que para bajar los datos al Excel
 Testeamos para comprobar que funcione
116

101. Azure Storage Explorer IV
 Podremos acceder a todo nuestro
contenedor
117

102. Errores
119

103. Error I – Ejecutar Acción
 Comprobar que el reloj esté en hora
 Solo admite un desajuste de 15 minutos
 Otra causa de este error son los permisos de los
ficheros
 Se pueden modificar desde la consola de
Almacenamiento
120

104. Error II – Ejecutar Acción
 La sesión ha caducado
 Debes volver a loguearte
 Usar el comando Add-AzureAccount
121

105. Error III – Seleccionar
Suscripción
 Ocurre si cambiaste el nombre de la
suscripción hace poco
 Tienes que volver a hacer “login”
 Después selecciona la suscripción deseada
122

106. 123
Microsoft
Azure
Cristian González García v 1.2.1 Noviembre 2015