¿Qué es la computación de alto rendimiento, o HPC?
La computación de alto rendimiento (High Performance Computing, HPC) hace referencia a la práctica de agregar potencia informática de forma que se brinde una potencia mucho mayor que a través de los servidores y las computadoras tradicionales. HPC, o la supercomputación, es similar a la informática habitual, pero más potente. Es una forma de procesar grandes volúmenes de datos a velocidades muy altas utilizando varios ordenadores y dispositivos de almacenamiento como un tejido cohesivo. HPC permite explorar y encontrar respuestas a algunos de los mayores problemas del mundo en ciencia, ingeniería y negocios.
Actualmente, se usa la HPC para resolver problemas complejos y que requieren una alta potencia, y las organizaciones están migrando cada vez más sus cargas de trabajo de HPC a la nube. HPC en la nube está cambiando la economía del desarrollo y la investigación de productos, ya que requiere menos prototipos, acelera las pruebas y disminuye el tiempo de comercialización.
¿Cómo funciona la HPC?
Algunas cargas de trabajo, como la secuenciación de ADN, son demasiado inmensas para procesarlas con un solo ordenador. Los entornos de supercomputación o HPC abordan estos grandes y complejos desafíos con nodos individuales (ordenadores) que trabajan juntos en un clúster (grupo conectado) y realizan tareas masivas de computación en un poco tiempo. A menudo, la creación y eliminación de estos clústeres se automatiza en la nube para reducir costos.
HPC se puede ejecutar con muchos tipos de cargas de trabajo, pero las dos más habituales son cargas de trabajo intrínsecamente paralelas y cargas de trabajo estrechamente acopladas.
Cargas de trabajo intrínsecamente paralelas
Son problemas de computación divididos en tareas pequeñas, sencillas e independientes que se pueden ejecutar al mismo tiempo, a menudo con poca o ninguna comunicación entre sí. Por ejemplo, una empresa puede enviar 100 millones de registros de tarjetas de crédito a núcleos de procesadores individual en un clúster de nodos. Procesar un registro de tarjeta de crédito es una tarea pequeña, y cuando se distribuyen 100 millones de registros en el clúster, esas pequeñas tareas se pueden realizar al mismo tiempo (en paralelo) a velocidades asombrosas. Los casos de uso comunes incluyen simulaciones de riesgo, modelado molecular, búsqueda contextual y simulaciones logísticas.
Cargas de trabajo estrechamente acopladas
Por lo general, toman una gran carga de trabajo compartida y la dividen en tareas más pequeñas que se comunican continuamente. En otras palabras, los diferentes nodos del clúster se comunican entre sí a medida que se procesan. Los casos de uso comunes incluyen dinámica de fluidos computacional, modelado de pronóstico del tiempo, simulaciones de materiales, emulaciones de colisiones de automóviles, simulaciones geoespaciales y gestión del tráfico.
¿Por qué HPC es importante?
Durante décadas, HPC ha sido una parte fundamental de la investigación académica y la innovación industrial. HPC ayuda a los ingenieros, científicos de datos, diseñadores y otros investigadores a resolver problemas complejos y de gran envergadura en mucho menos tiempo y con un costo inferior que con la informática tradicional.
Las principales ventajas de HPC son::
- Menos pruebas físicas: HPC se puede utilizar para crear simulaciones, lo que elimina la necesidad de realizar pruebas físicas. Por ejemplo, al realizar pruebas de accidentes automovilísticos, es mucho más fácil y menos costoso generar una simulación que realizar una prueba del choque.
- Velocidad: Con las últimas CPU, unidades de procesamiento de gráficos (graphics processing units, GPU) y estructuras de red de baja latencia, como el acceso remoto directo a memoria (remote direct memory access, RDMA), junto con dispositivos de almacenamiento local y de bloques íntegramente flash, HPC puede realizar cálculos masivos en minutos, en lugar de semanas o meses.
- Costo: Las respuestas más rápidas evitan desperdiciar tiempo y dinero. Además, con HPC basada en la nube, incluso las pequeñas las empresas y las startups pueden permitirse ejecutar cargas de trabajo de HPC, pagando solo por lo que usan, ampliándolas o reduciéndolas según sea necesario.
- Innovación: HPC impulsa la innovación en casi todos los sectores: es la fuerza que se esconde detrás de los descubrimientos científicos revolucionarios que mejoran la calidad de vida de las personas en todo el mundo.
Caso de uso de HPC: ¿Qué sectores emplean computación de alto rendimiento?
Las empresas de Fortune 1000 de casi cualquier industria emplean HPC, y su popularidad está en aumento. Según Hyperion Research, se espera que el mercado mundial de HPC alcance los 44 000 millones de dólares en 2022.
A continuación, indicamos algunos sectores que utilizan HPC y los tipos de cargas de trabajo que HPC les ayuda a realizar:
- Aeroespacial: Crear simulaciones complejas, como el flujo de aire sobre las alas de los aviones.
- Industria manufacturera: Ejecutar simulaciones, como las de conducción autónoma, para respaldar el diseño, la fabricación y la prueba de nuevos productos, de cara a obtener automóviles más seguros, piezas más ligeras, procesos más eficientes e innovaciones.
- Tecnología financiera (fintech): Realizar análisis de riesgos complejos y comercio de alta frecuencia, crear modelos financieros y detectar fraudes.
- Genómica: Secuenciar ADN, analizar las interacciones de los medicamentos y realizar análisis de proteínas para respaldar estudios de ascendencia.
- Asistencia sanitaria: Investigar medicamentos, crear vacunas y desarrollar tratamientos innovadores para enfermedades raras y habituales.
- Medios de comunicación y entretenimiento: Crear animaciones, renderizar efectos especiales para películas, transcodificar archivos multimedia de gran tamaño y crear entretenimiento inmersivo.
- Petróleo y gas: Realizar análisis espaciales y probar modelos de yacimientos para predecir dónde se encuentran los recursos de petróleo y gas, así como realizar simulaciones como el flujo de fluidos y los movimientos sísmicos.
- Ventas minoristas: Analizar cantidades masivas de datos de clientes para proporcionar recomendaciones de productos más específicas y mejor servicio al cliente.
¿Dónde se realiza la HPC?
La HPC se puede realizar in-situ, en la nube o en un modelo híbrido que implica a ambos.
En una implementación de HPC in-situ, una empresa o una institución de investigación crea un clúster de HPC cargado de servidores, soluciones de almacenamiento y otra infraestructura que se puede administrar y actualizar con el tiempo. En una implementación de HPC en la nube, un proveedor de servicios en la nube administra y gestiona la infraestructura, y las organizaciones la utilizan con un modelo Pay as you go.
Algunas organizaciones utilizan implementaciones híbridas, especialmente aquellas que han invertido en una infraestructura in-situ pero que también quieren aprovechar la velocidad, la flexibilidad y el ahorro de costos de la nube. Pueden usar la nube para ejecutar algunas cargas de trabajo de HPC de forma continua y recurrir a los servicios en la nube de manera ad hoc, siempre que el tiempo de espera se convierta en un problema in-situ.
¿Cuáles son los retos de las implementaciones de HPC in-situ?
Las organizaciones con entornos de HPC local tienen un gran control sobre sus operaciones, pero deben enfrentarse a varios desafíos, incluidos los siguientes:
- Invertir un capital importante en equipos informáticos, que deben actualizarse continuamente.
- Pagar por la administración continua y otros costos operativos.
- Sufrir un retraso (o tiempo de espera) de días a meses hasta que los usuarios puedan ejecutar su carga de trabajo de HPC, especialmente cuando aumenta la demanda.
- Posponer las actualizaciones a equipos informáticos más potentes y eficientes a causa de los largos ciclos de compra, lo que ralentiza el ritmo de la investigación y los negocios.
Las implementaciones de HPC basadas en la nube se están volviendo más populares, en parte debido a los costos y a otros desafíos de los entornos in-situ, y Market Research Future anticipa un crecimiento del 21 % del mercado mundial entre 2017 y 2023. Cuando las empresas ejecutan sus cargas de trabajo de HPC en la nube, pagan solo por lo que usan y pueden aumentarlas o disminuirlas rápidamente a medida que cambian sus necesidades.
Para ganar y retener clientes, los principales proveedores de la nube utilizan tecnologías de vanguardia, diseñadas específicamente para cargas de trabajo de HPC, por lo que no hay peligro de que se reduzca el rendimiento a medida que envejecen los equipos in-situ. Los proveedores de la nube ofrecen las CPU y GPU más nuevas y rápidas, así como almacenamiento flash de baja latencia, redes RDMA ultrarrápidas y seguridad de categoría empresarial. Los servicios están disponibles durante todo el día y cada día, con poco o incluso sin tiempo de espera.
Nube para HPC: ¿Cuáles son las consideraciones más importantes al elegir un entorno de nube?
No todos los proveedores en la nube son iguales. Algunas nubes no están diseñadas para HPC y no pueden proporcionar un rendimiento óptimo durante los picos de las cargas de trabajo exigentes. Los cuatro rasgos que se deben tener en cuenta al seleccionar un proveedor de nube son:
- Rendimiento de vanguardia: Su proveedor de nube debe tener y mantener las tecnologías de red, almacenamiento y procesadores más actuales. Se debe garantizar que ofrezcan una amplia capacidad y un rendimiento de gama alta que cumpla o supere el de las implementaciones in-situ habituales.
- Experiencia con HPC: El proveedor de nube que seleccione debe tener una amplia experiencia en la ejecución de cargas de trabajo de HPC para una variedad de clientes. Además, el servicio en la nube debe diseñarse para ofrecer un rendimiento óptimo incluso durante los períodos pico, como cuando se ejecutan múltiples simulaciones o modelos. En muchos casos, las instancias de bare metal ofrecen un rendimiento más consistente y potente que las máquinas virtuales.
- Flexibilidad para migrar a la nube: Sus cargas de trabajo de HPC deben ejecutarse en la nube como lo hacen de forma local. Tras mover cargas de trabajo a la nube "tal cual" mediante una operación lift-and-shift, la simulación que ejecute la semana siguiente deberá producir un resultado que sea consistente con la que realizó hace una década. Esto resulta extremadamente importante en industrias en las que se deban hacer comparaciones entre los diferentes años con los mismos datos y cálculos. Por ejemplo, los cálculos de aerodinámica, automóviles y química no han cambiado y los resultados tampoco pueden cambiar.
- Sin costos ocultos: Los servicios en la nube generalmente se ofrecen en un modelo de pago por consumo, así que deberá asegurarse de comprender exactamente lo que pagará cada vez que utilice el servicio. Muchos usuarios a menudo se sorprenden por el costo del movimiento de datos salientes o de la extracción. Puede que ya sepa que debe pagar por transacción y por las solicitudes de acceso a los datos, pero no es difícil obviar los costos de extracción.
Obtención de los resultados que espera y desea
Generalmente, es mejor buscar servicios en la nube bare metal que ofrezcan más control y rendimiento. Combinado con redes de clústeres RDMA, HPC bare metal proporciona resultados idénticos a los que se obtienen con un hardware similar in-situ.
¿Cuál es el futuro de HPC?
Las empresas y las instituciones de varias industrias están recurriendo a HPC, impulsando un crecimiento que se espera que continúe durante muchos años. Se espera que el mercado mundial de HPC crezca de los 31 mil millones USD de 2017 a los 50 mil millones USD en 2023. A medida que el rendimiento de la nube continúa mejorando y se vuelve aún más fiable y potente, se espera que gran parte de ese crecimiento se registre en implementaciones de HPC basadas en la nube, que evitan a las empresas tener que invertir millones en infraestructura de centros de datos, así como los costos relacionados.
En un futuro cercano, esperamos ver la convergencia de big data y HPC, con el mismo gran clúster de ordenadores que se utiliza para analizar big data y ejecutar simulaciones y otras cargas de trabajo de HPC. A medida que esas dos tendencias converjan, el resultado será más potencia y capacidad de computación en cada una, lo que permitirá una investigación e innovación aún más rompedoras.
i Earl Joseph, Steve Conway, Bob Sorensen, Alex Norton. Actualización de Hyperion Research: ISC19. https://hyperionresearch.com/wp-content/uploads/2019/06/Hyperion-Research-ISC19-Breakfast-Briefing-Presentation-June-2019.pdf