Optimización del rendimiento en Ascend, Biren y Cambricon

Conceptos y métricas de rendimiento

• Latencia, throughput, consumo de energía, uso de recursos
• Cuellos de botella a nivel de sistema vs. nivel de modelo
• Análisis de rendimiento (profiling) para inferencia vs. entrenamiento

Análisis de rendimiento en Huawei Ascend

• Uso de CANN Profiler y MindInsight
• Diagnóstico de núcleos (kernels) y operadores
• Patrones de descarga (offload) y mapeo de memoria

Análisis de rendimiento en GPU Biren

• Características de monitoreo de rendimiento del SDK de Biren
• Fusión de núcleos (kernel fusion), alineación de memoria y colas de ejecución
• Análisis de rendimiento consciente de la energía y la temperatura

Análisis de rendimiento en MLU de Cambricon

• Herramientas de rendimiento BANGPy y Neuware
• Visibilidad a nivel de núcleo (kernel) e interpretación de registros
• Integración del perfilador de MLU con marcos de implementación

Optimización a nivel de grafo y modelo

• Estrategias de poda y cuantización de grafo
• Fusión de operadores y reestructuración del grafo computacional
• Estandarización del tamaño de entrada y ajuste de lotes (batch)

Optimización de memoria y núcleos (kernels)

• Optimización del diseño (layout) y reutilización de memoria
• Gestión eficiente de búferes en varios conjuntos de chips (chipsets)
• Técnicas de ajuste a nivel de núcleo (kernel) por plataforma

Buenas prácticas multiplataforma

• Portabilidad de rendimiento: estrategias de abstracción
• Construcción de pipelines de ajuste compartidos para entornos de multi-chip
• Ejemplo: ajuste de un modelo de detección de objetos en Ascend, Biren y MLU

Resumen y próximos pasos