Optimización del consumo energético en algoritmos paralelos

Mostrar todas las versiones(2)

El crecimiento exponencial del interés del Machine Learning (ML) en la última década está relacionado con tres avances fundamentales: 1. el desarrollo de mejores algoritmos con aplicaciones directas en muchos campos de la ciencia y la ingeniería; 2. la disponibilidad de cantidades masivas de datos y...

Descripción completa

Guardado en:

Detalles Bibliográficos
Autor principal:	Libutti, Leandro Ariel
Formato:	Objeto de conferencia
Lenguaje:	Español
Publicado:	2020
Materias:	Informática Hpc Paralelismo dinámico Tensorflow Co-planificación Contenedores Malleability Co-scheduling Containers
Acceso en línea:	http://sedici.unlp.edu.ar/handle/10915/114189 https://congresos.unlp.edu.ar/ebec2020/leandro-libutti
Aporte de:	SEDICI (UNLP) de Universidad Nacional de La Plata

id	I19-R120-10915-114189
record_format	dspace
spelling	I19-R120-10915-1141892023-05-31T13:29:14Z http://sedici.unlp.edu.ar/handle/10915/114189 https://congresos.unlp.edu.ar/ebec2020/leandro-libutti Optimización del consumo energético en algoritmos paralelos Optimization of energy consumption in parallel algorithms Libutti, Leandro Ariel 2020-11-12 2020 2021-03-05T13:27:18Z es Informática Hpc Paralelismo dinámico Tensorflow Co-planificación Contenedores Hpc Malleability Tensorflow Co-scheduling Containers El crecimiento exponencial del interés del Machine Learning (ML) en la última década está relacionado con tres avances fundamentales: 1. el desarrollo de mejores algoritmos con aplicaciones directas en muchos campos de la ciencia y la ingeniería; 2. la disponibilidad de cantidades masivas de datos y la viabilidad de almacenarlos y analizarlos de manera eficiente 3. La aparición de arquitecturas de hardware novedosas, normalmente paralelas y / u homogéneas, que permiten una explotación adecuada de ambos nuevos algoritmos en grandes conjuntos de datos en un tiempo asequible. El framework de ML denominado TensorFlow (TF) se diseñó para proporcionar capacidades de subprocesos múltiples, extendidas con soporte de acelerador de hardware para aprovechar el potencial de las arquitecturas modernas. La cantidad de paralelismo en las versiones actuales se puede seleccionar en varios niveles bajo demanda. Sin embargo, esta selección es fija y no puede variar durante la ejecución de sesiones de entrenamiento / inferencia. Esto restringe en gran medida la flexibilidad y elasticidad del framework, especialmente en escenarios en los que múltiples instancias de TF coexisten en una arquitectura paralela. En este plan de investigación se proponen los siguientes trabajos: • Realizar las modificaciones dentro de TF para soportar la selección dinámica de paralelismo, con el fin de brindar una maleabilidad transparente a la infraestructura. • Integración con un co-planificacor. Una infraestructura de framework maleable solo tiene sentido real cuando se combina con un administrador de recursos de nivel superior (o co-planificador), que aprovecha la maleabilidad subyacente (en este caso dentro de TF) y de forma dinámica modifica la cantidad de recursos que se les asigna de forma coordinada. • Creación de una API de maleabilidad. Actualmente se selecciona internamente en puntos de ejecución específicos como prueba de conceptos. Sin embargo, su gestión debe ser transparente y seleccionable externamente, bajo demanda. Una API ad-hoc para seleccionar el número de subprocesos activos / inactivos será obligatoria, junto con una infraestructura para soportar la variación de subprocesos por medio de la recepción de señales del sistema operativo. • Gestión a través de contenedores. Los contenedores permiten una reducción dinámica del recurso en cuanto a número de núcleos, cantidad de memoria y dispositivos externos, entre otros. Sin embargo, la reducción externa del número de núcleos asignados sin una reducción adecuada de los subprocesos de software internos genera un efecto de sobre-suscripción no aceptable. Como los procesos de entrenamiento / inferencia de TF generalmente se limitan a los contenedores de Docker, es obligatorio admitir la maleabilidad en el marco. La interacción entre la gestión de recursos por contenedor y la maleabilidad en TF es, por lo tanto, un objetivo principal de nuestra investigación. Carrera: Magister en Cómputos de Altas Prestaciones Tipo de beca: Maestría Año de inicio de beca: 2018 Año de finalización de beca: 2021 Organismo: UNLP Apellido, Nombre del Director/a/e: De Giusti, Laura Apellido, Nombre del Codirector/a/e: Naiouf, Marcelo Tipo de investigación: Aplicada Facultad de Informática Instituto de Investigación en Informática Objeto de conferencia Objeto de conferencia http://creativecommons.org/licenses/by-nc-sa/4.0/ Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) image/jpeg
institution	Universidad Nacional de La Plata
institution_str	I-19
repository_str	R-120
collection	SEDICI (UNLP)
language	Español
topic	Informática Hpc Paralelismo dinámico Tensorflow Co-planificación Contenedores Hpc Malleability Tensorflow Co-scheduling Containers
spellingShingle	Informática Hpc Paralelismo dinámico Tensorflow Co-planificación Contenedores Hpc Malleability Tensorflow Co-scheduling Containers Libutti, Leandro Ariel Optimización del consumo energético en algoritmos paralelos
topic_facet	Informática Hpc Paralelismo dinámico Tensorflow Co-planificación Contenedores Hpc Malleability Tensorflow Co-scheduling Containers
description	El crecimiento exponencial del interés del Machine Learning (ML) en la última década está relacionado con tres avances fundamentales: 1. el desarrollo de mejores algoritmos con aplicaciones directas en muchos campos de la ciencia y la ingeniería; 2. la disponibilidad de cantidades masivas de datos y la viabilidad de almacenarlos y analizarlos de manera eficiente 3. La aparición de arquitecturas de hardware novedosas, normalmente paralelas y / u homogéneas, que permiten una explotación adecuada de ambos nuevos algoritmos en grandes conjuntos de datos en un tiempo asequible. El framework de ML denominado TensorFlow (TF) se diseñó para proporcionar capacidades de subprocesos múltiples, extendidas con soporte de acelerador de hardware para aprovechar el potencial de las arquitecturas modernas. La cantidad de paralelismo en las versiones actuales se puede seleccionar en varios niveles bajo demanda. Sin embargo, esta selección es fija y no puede variar durante la ejecución de sesiones de entrenamiento / inferencia. Esto restringe en gran medida la flexibilidad y elasticidad del framework, especialmente en escenarios en los que múltiples instancias de TF coexisten en una arquitectura paralela. En este plan de investigación se proponen los siguientes trabajos: • Realizar las modificaciones dentro de TF para soportar la selección dinámica de paralelismo, con el fin de brindar una maleabilidad transparente a la infraestructura. • Integración con un co-planificacor. Una infraestructura de framework maleable solo tiene sentido real cuando se combina con un administrador de recursos de nivel superior (o co-planificador), que aprovecha la maleabilidad subyacente (en este caso dentro de TF) y de forma dinámica modifica la cantidad de recursos que se les asigna de forma coordinada. • Creación de una API de maleabilidad. Actualmente se selecciona internamente en puntos de ejecución específicos como prueba de conceptos. Sin embargo, su gestión debe ser transparente y seleccionable externamente, bajo demanda. Una API ad-hoc para seleccionar el número de subprocesos activos / inactivos será obligatoria, junto con una infraestructura para soportar la variación de subprocesos por medio de la recepción de señales del sistema operativo. • Gestión a través de contenedores. Los contenedores permiten una reducción dinámica del recurso en cuanto a número de núcleos, cantidad de memoria y dispositivos externos, entre otros. Sin embargo, la reducción externa del número de núcleos asignados sin una reducción adecuada de los subprocesos de software internos genera un efecto de sobre-suscripción no aceptable. Como los procesos de entrenamiento / inferencia de TF generalmente se limitan a los contenedores de Docker, es obligatorio admitir la maleabilidad en el marco. La interacción entre la gestión de recursos por contenedor y la maleabilidad en TF es, por lo tanto, un objetivo principal de nuestra investigación.
format	Objeto de conferencia Objeto de conferencia
author	Libutti, Leandro Ariel
author_facet	Libutti, Leandro Ariel
author_sort	Libutti, Leandro Ariel
title	Optimización del consumo energético en algoritmos paralelos
title_short	Optimización del consumo energético en algoritmos paralelos
title_full	Optimización del consumo energético en algoritmos paralelos
title_fullStr	Optimización del consumo energético en algoritmos paralelos
title_full_unstemmed	Optimización del consumo energético en algoritmos paralelos
title_sort	optimización del consumo energético en algoritmos paralelos
publishDate	2020
url	http://sedici.unlp.edu.ar/handle/10915/114189 https://congresos.unlp.edu.ar/ebec2020/leandro-libutti
work_keys_str_mv	AT libuttileandroariel optimizaciondelconsumoenergeticoenalgoritmosparalelos AT libuttileandroariel optimizationofenergyconsumptioninparallelalgorithms
_version_	1767633945189416960

Optimización del consumo energético en algoritmos paralelos

Ejemplares similares