por Hola a todos,
Pues bien, estos últimos días he estado trabajando en una nueva solución.
Pero esta vez he dejado un poco de lado las herramientas habituales (Power Apps y Power Automate) y he iniciado directamente con Azure Databricks (creando el entorno directamente, cluster, etc).
Una vez con Databricks ya operativo, he subido una tabla con una sería de información sobre personas y que me van a servir para analizarlas luego con Foundry
Una vez que tengo la tabla ya puedo comenzar a hacer «cosas». La primera es conectar con el modelos desplegado de Fundición:
Y luego el resto de código se resume en conectar la tabla, procesar en función de nuestras necesidades utilizando un prompt.
No voy a dejar aquí todo el código porque es demasiado extenso, pero os animo a que investiguéis por vuestra cuenta. Este código que tenemos en un notebook lo vamos a transformar en un Job en Databricks.
Hasta aquí podríamos dejar la herramienta lista, ya podríamos planificar su ejecución y programarla. Pero si queremos lazar esa tarea con, por ejemplo un flujo, o desde un PBI, etc. lo que debemos hacer es crear una Azure Function para obtener un endpoint al que llamar para que se ejecute.
Para poder crear la función debemos obtener:
- DATABRICKS_HOST: es la URL del workspace de Azure Databricks. Permite que la Azure Function sepa a qué entorno de Databricks debe conectarse.
- DATABRICKS_TOKEN: es el token de acceso personal que autoriza a la Azure Function a llamar a la API de Databricks de forma segura.
- DATABRICKS_JOB_ID: es el identificador del Job creado en Databricks. Sirve para indicar exactamente qué proceso o notebook debe ejecutarse cuando la función reciba la llamada.
Una vez que tenemos esta función en VS Code, la podemos desplegar en Azure y dejarla disponible dentro de nuestro entorno. A partir de ahí, ya podremos ejecutarla desde Power BI, Power Automate, Power Apps o cualquier otra herramienta capaz de realizar una llamada HTTP.
La escalabilidad es precisamente uno de los puntos más importantes de esta arquitectura.
En lugar de ejecutar toda la lógica dentro de Power Apps o Power Automate, dejamos que estas herramientas solo inicien el proceso. El procesamiento real se delega en Databricks, que está preparado para trabajar con volúmenes mucho mayores de datos.
Esto permite empezar con un escenario pequeño, por ejemplo: 100 registros
y crecer progresivamente a:
1.000 registros
10.000 registros
14.000 registros
o mássin cambiar la arquitectura principal.
