Optimización del rendimiento de las redes neuronales con CANN SDK

Resumen de las capacidades de optimización de CANN

• Cómo se gestiona el rendimiento de inferencia en CANN.
• Objetivos de optimización para sistemas de IA de borde y embebidos.
• Comprensión de la utilización de AI Core y la asignación de memoria.

Uso del Graph Engine para el análisis

• Introducción al Graph Engine y al pipeline de ejecución.
• Visualización de grafos de operadores y métricas de tiempo de ejecución.
• Modificación de grafos computacionales para la optimización.

Herramientas de perfiles y métricas de rendimiento

• Uso de la Herramienta de Perfiles de CANN (profiler) para el análisis de la carga de trabajo.
• Análisis del tiempo de ejecución de kernels y cuellos de botella.
• Perfiles de acceso a memoria y estrategias de mosaico (tiling).

Desarrollo de operadores personalizados con TIK

• Resumen de TIK y el modelo de programación de operadores.
• Implementación de un operador personalizado utilizando el DSL de TIK.
• Pruebas y medición de benchmark del rendimiento del operador.

Optimización avanzada de operadores con TVM

• Introducción a la integración de TVM con CANN.
• Estrategias de auto-ajuste para grafos computacionales.
• Cuándo y cómo cambiar entre TVM y TIK.

Técnicas de optimización de memoria

• Gestión del diseño de memoria y la ubicación de buffers.
• Técnicas para reducir el consumo de memoria en chip.
• Mejores prácticas para la ejecución asíncrona y la reutilización.

Despliegue en el mundo real y estudios de caso

• Estudio de caso: ajuste de rendimiento para el pipeline de cámaras de una ciudad inteligente.
• Estudio de caso: optimización de la pila de inferencia para vehículos autónomos.
• Directrices para perfiles iterativos y mejora continua.

Resumen y próximos pasos