Cómo hemos construido una plataforma de IA basada en open source Horacio González 2022-06-30

¿Quiénes somos? Presentándome y presentando OVHcloud

Horacio Gonzalez @LostInBrittany Español perdido en la Bretaña francesa, desarrollador de software, cuentacuentos, rolista y geek en general… Flutter

OVHcloud: un líder mundial Web Cloud & Telcom 30 Data Centers in 12 locations 1 Million+ Servers produced since 1999 Private Cloud 34 Points of Presence on a 20 TBPS Bandwidth Network 1.5 Million Customers across 132 countries Public Cloud 2200 Employees worldwide 3.8 Million Websites hosting Storage 115K Private Cloud VMS running 1.5 Billion Euros Invested since 2016 300K Public Cloud instances running P.U.E. 1.09 Energy efficiency indicator 380K Physical Servers running in our data centers 20+ Years in Business Disrupting since 1999 Network & Security

OVHcloud: una historia industrial Primero Roubaix, luego el Mundo

OVHcloud comenzó con hardware Ensamblamos nuestros servidores a partir de los componentes

En busca de la eficacidad máxima Construimos nuestros propios chasis (horizontales)

Desde componentes hasta centros de datos

Controlamos nuestra cadena industrial

¿Pero tío, por qué nos cuentas esto? Esta es una charla sobre IA y open source, ¿no?

Una cultura industrial En toda la empresa, incluyendo el software

Atacamos los problemas de manera industrial Buscando cómo generalizar, como industrializar

No nos gustan las cajas negras Nos gusta ver lo que hay dentro…

Creemos a fondo en el software libre Como usuarios, colaboradores, mantenedores y creadores

Para nosotros y para nuestros clientes La reversibilidad es uno de nuestros valores fundamentales

Y cuando la IA se cruzó en nuestro camino Aplicamos los mismos principios

El principio de la IA en OVHcloud Eat your own dogfood, como dicen los americanos…

Problemas que pedían soluciones de IA O al menos un poco de Machine Learning…

Creamos un equipe IA/ML Y empezaron a atacar los problemas

La solución debía ser industrializable Si no, no nos serviría para nada

Las primeras soluciones en producción ¡Y funcionaban!

¿Y ahora qué? Quizás nuestros clientes tenían problemas semejantes…

¡Hablemos con el ecosistema! Clientes, partners, startups…

El eslabón perdido ¿Y si fuera ahí donde podíamos innovar?

Las múltiples facetas de la IA Et de la gente que trabaja con ella

Dos roles clásicos en el mundo de la IA

Pero hay un tercero: el DevOps/SRE/DataOps

Los tres hablan idiomas diferentes…

Pero necesitan trabajar juntos

El reto de la integración Integrar los equipos, procesos y herramientas de IA/ML & DevOps/SRE/DataOps

Muchas cuestiones a las que responder

Automatizar el pipeline de un extremo al otro De la idea a la producción

OVHcloud & IA Nuestra respuesta a la automatización del pipeline

La IA con parte de nuestra gama Data

¿Qué es OVHcloud AI Solutions? AI Solutions are a complete set of managed services that provide a quick and easy way for your data scientists and developers to get ML models from idea to production

Las etapas del pipeline de IA

Las etapas del pipeline de IA ● Centralize your data within a data lake such as Object Storage, to benefit from high throughput with reduced latency

Las etapas del pipeline de IA ● ● Centralize your data within a data lake such as Object Storage, to benefit from high throughput with reduced latency Clean and process your data with Data Processing solution, powered by Apache Spark

Las etapas del pipeline de IA ● ● ● Centralize your data within a data lake such as Object Storage, to benefit from high throughput with reduced latency Clean and process your data with Data Processing solution, powered by Apache Spark Develop your AI models with AI Notebooks, by instantly starting a Jupyter or VS Code notebook with GPU/CPU resources

Las etapas del pipeline de IA ● ● ● ● Centralize your data within a data lake such as Object Storage, to benefit from high throughput with reduced latency Clean and process your data with Data Processing solution, powered by Apache Spark Develop your AI models with AI Notebooks, by instantly starting a Jupyter or VS Code notebook with GPU/CPU resources Train your AI models with AI Training, without complex setup configuration, allowing CPU/GPU parallelization

Las etapas del pipeline de IA ● ● ● ● ● Centralize your data within a data lake such as Object Storage, to benefit from high throughput with reduced latency Clean and process your data with Data Processing solution, powered by Apache Spark Develop your AI models with AI Notebooks, by instantly starting a Jupyter or VS Code notebook with GPU/CPU resources Train your AI models with AI Training, without complex setup configuration, allowing CPU/GPU parallelization Deploy your AI models in production or pre-trained models or even applications very easily with AI Apps

Las etapas del pipeline de IA ● ● ● ● ● Centralize your data within a data lake such as Object Storage, to benefit from high throughput with reduced latency Clean and process your data with Data Processing solution, powered by Apache Spark Develop your AI models with AI Notebooks, by instantly starting a Jupyter or VS Code notebook with GPU/CPU resources Train your AI models with AI Training, without complex setup configuration, allowing CPU/GPU parallelization Deploy your AI models in production or pre-trained models or even applications very easily with AI Apps These services are built on our trusted and secured Public Cloud based on European values & law and powered by Openstack open source cloud

Levantemos el capó Con qué y cómo construimos AI Solutions

AI Training: entrenar modelos de IA En nuestra nube, sobre CPUs y GPUs a la demanda

Con las herramientas habituales La misma manera de hacer que en el laptop

Llegó justo después de ML Serving… Qué no era lo suficientemente genérico

¿Cómo ser lo suficientemente genéricos?

An orchestrator is needed

Orquestando nodos físicos con CPUs & GPUs

Desplegando los clusters con Terraform

Diagrama de arquitectura

Algunos de nuestros clientes se dieron cuenta El producto es tan flexible que puede usarse para otras cosas…

That’s all, folks! Thank you all!