Herramientas ETL modernas para empresas basadas en datos
Las herramientas ETL son muy populares en la economía basada en datos. Permiten a las empresas liberar datos de sus silos y consolidarlos en un almacén de datos, donde se pueden analizar de forma centralizada. A continuación, se muestran algunas soluciones modernas de la nube de las que startups y PyMEs pueden beneficiarse.
Extraer, transformar y cargar
¿Cuántos usuarios visitan nuestro sitio web cada mes? ¿Cuántas suscripciones tenemos todos los días? ¿Qué funciones se utilizan con más frecuencia? Puedes obtener rápidamente las respuestas a estas preguntas con las herramientas adecuadas, como Google Analytics o Mixpanel. O con simples consultas a la base de datos. Sin embargo, tarde o temprano estarás satisfecho con estas simples métricas.
A medida que la empresa crece o se enfrenta a situaciones que dificultan la adquisición y retención de clientes, surgen preguntas más complejas. Y no son fáciles de responder. Por ejemplo, ¿qué tan alta es la satisfacción del cliente entre los usuarios estadounidenses que fueron adquiridos a través de la campaña de AdWords en curso? ¿Qué segmento de clientes tiene la tasa de retención de clientes más alta? ¿Qué funciones generan las tasas de conversión más altas durante la incorporación para clientes con entre 20 y 50 usuarios? ¿Cómo afecta la atención al cliente nuestra tasa de abandono? Cualquiera que busque respuestas a estas preguntas con el objetivo de comprender a sus clientes y optimizar sus productos o campañas de marketing debe recopilar métricas de diferentes departamentos y sistemas especializados para evaluarlos de forma centralizada.
Según un estudio actual de Siftery, las empresas utilizan un promedio de 37 soluciones de software diferentes.
Sin embargo, en la práctica, esto no es nada fácil. Según un estudio actual de Siftery, un portal en el que las empresas enumeran las aplicaciones que utilizan, las empresas utilizan una media de 37 soluciones de software diferentes. Para las grandes empresas, el promedio es de alrededor de 90. El enfoque de “lo mejor de su clase” ofrece varios beneficios. Por ejemplo, soluciones rentables con una implementación rápida y sencilla. Sin embargo, las empresas deben aceptar una desventaja decisiva: los silos de datos. Principalmente, debido a que cada departamento trabaja con sus propias herramientas favoritas, los datos importantes a menudo permanecen inaccesibles para otros equipos.
Cómo funcionan las herramientas ETL
Los sistemas ETL permiten a las empresas combinar datos de una amplia variedad de fuentes. Ya sea el tráfico del sitio web de la empresa recopilado con Google Analytics, los comentarios de los clientes obtenidos a través del sistema de mesa de ayuda o las acciones, registros y eventos de los usuarios que se pueden registrar en su propia aplicación con herramientas como Mixpanel o Kissmetrics. Estos datos se pueden liberar de sus silos (extracción). Luego, se procesan (transformación) usando herramientas en el sistema ETL. De esta manera, las empresas pueden llevar los datos a un formato uniforme y eliminar las redundancias de datos.
A continuación, los datos extraídos se exportan a un almacén de datos, como Google BigQuery o Amazon Redshift. O a un lago de datos (carga), donde luego se pueden procesar para un análisis central. Además, algunas soluciones ofrecen exportación de datos a sistemas de bases de datos relacionales como MySQL. O en archivos simples (CSV, JSON, etc.) que se pueden guardar localmente o en un sistema de almacenamiento en la nube.
Asimismo, las empresas pueden almacenar datos en el almacén de datos, confiando en su continua actualización. Por lo tanto, pueden utilizar soluciones de BI, como Google Data Studio o Klipfolio para crear paneles y reportes. Estos permiten a los empleados consultar, visualizar y evaluar de manera flexible los KPI (indicadores clave de rendimiento) relevantes.
Herramientas ETL modernas para principiantes
Ciertamente, cualquiera que piense que los sistemas ETL son sólo para grandes empresas está equivocado. Hoy en día, existen varias soluciones modernas en la nube que también están dirigidas a PyMEs. Por ejemplo, Stitch, un moderno servicio ETL lanzado en 2016. Este promete una entrada fácil en el mundo de la integración automatizada de datos. Su objetivo es permitir que las empresas proporcionen datos para analistas de datos y departamentos especializados en cuestión de días en lugar de semanas.
Admite más de 80 servicios en línea como fuentes de datos. Incluidas herramientas de marketing como Google Analytics, Marketo y Mixpanel. Además de aplicaciones de productividad como Jira y Trello, y herramientas de seguimiento de tiempo como Harvest.
Con la ayuda de una interfaz de usuario moderna, los usuarios crean sus «canales de datos» simplemente arrastrando y soltando. Pueden configurar los procesos de extracción, transformación y carga de forma totalmente automatizada según sus propios requisitos. Por ejemplo, pueden configurar el sistema para que los datos de Google Analytics se extraigan, procesen y exporten a BigQuery cada tres horas todos los días.
Ciertamente, estas herramientas son convenientes. En lugar de cargar los datos en un almacén de datos, pueden exportarlos directamente a soluciones de BI, como Chartio o Klipfolio. Otra ventaja para los principiantes es la solución del modelo freemium. Por ejemplo, si deseas tener una primera impresión de las capacidades del sistema, puedes usarlo gratis con hasta cinco fuentes de datos, siempre que no excedas el límite de cinco millones de filas de datos por mes. Las empresas que tienen que procesar entre cinco y 250 millones de líneas por mes gastan entre $100 y $1.000 por mes.
Alooma
Alooma se comercializa como una «Plataforma de canalización de datos empresariales». Con un modelo de precios flexible que comienza en $20 por millón de filas por mes, la solución con sede en Redwood City, California, no es sólo para grandes empresas. Principalmente, permite a los usuarios extraer cualquier dato de bases de datos y varias aplicaciones en la nube. Así como de archivos XML, JSON y CSV almacenados en sistemas de almacenamiento en la nube como Box y Google Drive. Además, la conexión de servidores locales también es posible a través de FTP.
Además, existen API y SDK para lenguajes de programación populares como Java y Python. Y sistemas móviles (iOS y Android) que los clientes pueden utilizar para enviar datos desde sus aplicaciones a Alooma. Con Alooma Live también hay una característica interesante disponible que no se puede encontrar en todas las herramientas ETL. Esta es una herramienta de visualización en tiempo real que los científicos y desarrolladores de datos pueden usar para monitorear y controlar los flujos de datos en vivo.
Fivetran
Fivetran es otra solución profesional. También de California y fundada en 2013 por la reconocida incubadora de startups Y Combinator. La startup ahora tiene más de 100 empleados y clientes conocidos, como el proveedor de pagos Square. Además de los conectores nativos para más de 70 aplicaciones en la nube, los usuarios también pueden extraer datos de sus bases de datos. Es compatible con casi todos los sistemas de bases de datos populares. Desde sistemas SQL clásicos como MySQL, PostgreSQL y SQL Server de Microsoft, hasta sistemas orientados a documentos como MongoDB. Y bases de datos modernas en la nube como Amazon Aurora y DynamoDB.
Ciertamente, el sistema es conveniente. Genera automáticamente un diagrama de entidad-relación (ERD) claro para cada fuente de datos conectada. Como resultado, esto asegura que los datos sean fáciles de entender y consultar. Además, ofrece la opción de crear conectores personalizados en un entorno sin servidor como Amazon Lambda o Google Cloud Functions. Luego, Fivetran llama a las funciones sin servidor a intervalos definidos por el usuario y carga los datos en el almacén de datos. Los clientes pueden elegir entre BigQuery, Redshift, Azure SQL Data Warehouse y Snowflake.
Panoply
Otra solución de la que pueden beneficiarse startups y PyMEs es Panoply. El producto muestra que el software innovador no tiene por qué provenir de Silicon Valley. El servicio de Tel Aviv se presenta como un «Smart Data Warehouse» que lleva las herramientas ETL y una solución de almacenamiento de datos a un denominador común.
Esto significa que los usuarios no sólo pueden conectar diferentes fuentes de datos, y extraer y transformar datos automáticamente. También pueden almacenarlo directamente en Panoply. Los datos extraídos se pueden utilizar para crear tablas de datos configurables que están listas para su uso inmediato. Por lo tanto, los usuarios que eligen Panoply no necesitan exportar datos a Redshift, BigQuery u otro almacén de datos. Además, se integra con herramientas de BI populares, como el software Bime o Tableau, para evaluar datos. Los precios mensuales comienzan en alrededor de $250 (25 millones de filas y 12,5 GB de almacenamiento).
Xplenty es otra solución ETL profesional que también proviene de Tel Aviv. Las empresas más grandes con mayores requisitos de seguridad y cumplimiento pueden utilizar soluciones de clase empresarial como Talend, Matillion, Nexla y Adeptia.
Soluciones alternativas de integración de datos
Además de los sistemas ETL diseñados para una amplia audiencia para casos de uso típicos de análisis e integración de datos, existen muchas otras alternativas en el mercado. Abordan un nicho de mercado o mapean casos de uso. Por ejemplo, StarfishETL se centra en la integración y migración de datos de CRM, mientras que Dataloader.io se especializa en importar y exportar datos de Salesforce.
Skyvia es una herramienta de integración de datos asequible. Permite extraer datos de muchas aplicaciones en la nube. Pero solo permite exportarlo en archivos simples (CSV, JSON, etc.). Los gigantes de la nube Amazon y Google, a su vez, ofrecen canalizaciones de datos y flujo de datos en la nube, respectivamente. Los servicios de integración de datos rentables permiten la exportación automática de datos almacenados desde la nube respectiva a Redshift o BigQuery. No se encuentran disponibles conectores prácticos para servicios SaaS de proveedores externos.
Segment se centra en los datos del cliente
Segment tampoco es una solución ETL en el sentido estricto. Pero es una alternativa atractiva para los principiantes que desean comprender mejor a sus clientes. A diferencia de los sistemas ETL típicos, la startup fundada en San Francisco, con alrededor de 100 millones de dólares recaudados hasta la fecha, se centra exclusivamente en los datos de los clientes. Compañías conocidas como Levi’s, Trivago e IBM utilizan Segment para lograr una comprensión uniforme y general de sus clientes. Sin embargo, con precios que comienzan en $120 al mes, Segment también es una opción para empresas más pequeñas.
La solución se comercializa como una plataforma de «Infraestructura de datos del cliente». Permite a las empresas llevar toda la información de los clientes, independientemente de dónde se origine y dónde la almacenen, a un denominador común. El servicio permite la integración de datos automatizada con más de 200 sistemas. Los desarrolladores también pueden integrar los SDK nativos de Segment (Software Development Kit) en sus aplicaciones. Y mantener un registro de todas las acciones y registros de los usuarios.
Transforma tu negocio con herramientas ETL
En conclusión, las empresas líderes en una amplia variedad de industrias tienen una cosa en común. Tienen una comprensión clara y detallada de sus clientes. Por lo tanto, se adaptan continuamente cuando cambia el comportamiento del cliente para optimizar continuamente sus productos, servicios, ventas e iniciativas de marketing.
Sin embargo, es más fácil decirlo que hacerlo para lograr este entendimiento y ponerlo a disposición de todos los departamentos comerciales. Si deseas comprender todo el «recorrido del cliente», debes crear una infraestructura para recopilar datos relevantes en cada canal. Luego, guardarlo en una ubicación central y analizarlo con una herramienta de inteligencia empresarial.
Las innovadoras soluciones ETL en la nube que se presentan en este artículo pueden ayudar. Permiten a las empresas, independientemente de que sean pequeñas startups o corporaciones establecidas, automatizar por completo estos complejos procesos.
Las herramientas ETL permiten a las empresas liberar datos de sus silos y consolidarlos en un almacén de datos, donde se pueden analizar de forma centralizada.
Los datos se extraen de los silos, luego se procesan para que sean consistentes y no redundantes, y finalmente se exportan a un almacén de datos o lago de datos para su análisis central.
