ETL, ELT y Data Virtualization

ETL es un término con los siglas de las palabras en inglés Extract, Transform and Load.
ETL, como su nombre sugiere, se utiliza para categorizar a aquellos procesos que extraen información de alguna  fuente, la transforman y la depositan en un destino final para su uso posterior.
Estos procesos son cotidianos en todas las empresas, ya que siempre hay necesidad de hacer modificaciones a alguna información para depositarla en algún repositorio, por lo general un Data Warehouse.

Con el advenimiento y popularizacion del Big Data y la información en la Nube (Cloud), se hizo necesario utilizar otro tipo de proceso, similar al anterior, denominado ELT : Extract, Load and Transform.
En este caso la información se extrae de una fuente, se carga en la Nube y luego se transforma para hacerla disponible.
Este cambio en los subprocesos Load/Transform se debe a que cuando estamos trabajando con Big Data necesitamos utilizar herramientas adecuadas para un volumen muy grande de información, y estas herramientas, en general, solo están disponibles en la Nube.

Relativamente hace poco tambien está disponible otro tipo de proceso que no requiere "mover/copiar" la información: Data Virtualization, denominada también Virtual ETL. De forma breve y sencilla, la virtualización consiste en crear "vistas" a la información en sus fuentes originales sin necesidad de copiarla o moverla. Estas vistas pueden ser de información alojada en la Nube o en servidores locales (on premise).
Hay quien dice que no se puede comparar Data Virtualization con ETL/ELT, lo cual en cierta manera es correcto, sin embargo hay situaciones en las que la virtualización de datos puede utilizarse en lugar de ETL/ELT

En el caso de ETL/ELT hay disponibles una gran cantidad de herramientas  ( muchas de ellas open source ), como Pentahoo, Talend, Informatica, Nifi, Data Factory de Azure, Glue de AWS,etc.
En el caso de Data Virtualization tenemos: Denodo, Tibco, etc

Además de las herramientas  antes mencionadas, también existen librerías/módulos para diferentes lenguajes como python, java, julia, etc.
En el caso de python, un módulo ligero y con muchas funcionalidades es petl

Voy a presentar un proyecto ETL muy sencillo utilizando el módulo petl de python.

El objetivo es cargar en un tabla de un base de datos MySQL el resumen de ventas de una empresa a partir de información disponible en varios archivos csv y xlsx.
Para ello vamos a utilizar SQLite como puente para las fases Extract y Transform del proceso ETL.

A continuación el script en python:

""" ETL Example using python petl JLG 15/10/2021 """ # Modules import petl as etl import sqlite3 import MySQLdb # Functions def drop_table(conn,table): sql='drop table if exists ' + table cur = conn.cursor() cur.execute(sql) conn.commit() # Connections # csv con01_csv='sources\\customers.csv' con02_csv='sources\\salesrep.csv' con03_csv='sources\\products.csv' con04_csv='sources\\promotions.csv' con05_csv='sources\\orders.csv' # xlsx con01_xlsx='sources\\holidays.xlsx' # sqlite con01_sqlite=sqlite3.connect('etl001.db') # MySql hostname='localhost' ; username='user' ; password='pass' ; database='etl000' con01_mysql = MySQLdb.connect( host=hostname, user=username, passwd=password, db=database ) con01_mysql.cursor().execute('SET SQL_MODE=ANSI_QUOTES') # EXTRACT # sample parameter could be 0 when tables are not too big try: con01_data =etl.fromcsv(con01_csv) drop_table(con01_sqlite,'customers') etl.todb(con01_data, con01_sqlite, 'customers',create=True,dialect='sqlite',commit=True,sample=1000 ) except : print ('Error') try: con02_data =etl.fromcsv(con02_csv) drop_table(con01_sqlite,'salesrep') etl.todb(con02_data, con01_sqlite, 'salesrep',create=True,dialect='sqlite',commit=True,sample=1000) except : print ('Error') try: con03_data =etl.fromcsv(con03_csv) drop_table(con01_sqlite,'products') etl.todb(con03_data, con01_sqlite, 'products',create=True,dialect='sqlite',commit=True,sample=1000) except : print ('Error') try: con04_data =etl.fromcsv(con04_csv) drop_table(con01_sqlite,'promotions') etl.todb(con04_data, con01_sqlite, 'promotions',create=True,dialect='sqlite',commit=True,sample=1000) except : print ('Error') try: con05_data =etl.fromcsv(con05_csv) drop_table(con01_sqlite,'orders') etl.todb(con05_data, con01_sqlite, 'orders',create=True,dialect='sqlite',commit=True,sample=1000) except : print ('Error') try: con06_data =etl.fromxlsx(con01_xlsx) drop_table(con01_sqlite,'holidays') etl.todb(con06_data, con01_sqlite, 'holidays',create=True,dialect='sqlite',commit=True,sample=1000) except : print ('Error') # TRANSFORM # New holiday table with date column in diferent format drop_table(con01_sqlite,'holidays0') sql000="create table holidays0 as "+\ " select "+\ " substr( holiday_date, 9, 2 ) || '-' || "+\ " case strftime('%m', datetime(holiday_date) ) "+\ " when '01' then 'JAN' "+\ " when '02' then 'FEB' "+\ " when '03' then 'MAR' "+\ " when '04' then 'APR' "+\ " when '05' then 'MAY' "+\ " when '06' then 'JUN' "+\ " when '07' then 'JUL' "+\ " when '08' then 'AUG' "+\ " when '09' then 'SEP' "+\ " when '10' then 'OCT' "+\ " when '11' then 'NOV' "+\ " when '12' then 'DEC' "+\ " else '' "+\ " end ||'-' || "+\ " substr( holiday_date, 3, 2 ) date, "+\ " holiday_description description, is_a_holiday holiday "+\ " from holidays " cur = con01_sqlite.cursor() cur.execute(sql000) con01_sqlite.commit() # LOAD # Load MYSql table with resumen data from SQLite sql000="select t1.product_id Product, t3.product_name 'Product Name',t4.promo_id Promo, t2.customer_id Customer, t5.employee_id SalesRep, "+\ " t1.order_date Date, t1.order_id OrderID," +\ " ROUND((t1.quantity*t1.unit_price),2) Amount, t1.quantity Quantity , t6.holiday Holiday "+\ " from orders t1 "+\ " join customers t2 on t2.customer_id = t1.customer_id "+\ " join products t3 on t3.product_id = t1.product_id "+\ " left join promotions t4 on t4.promo_id = t1.promo_id "+\ " join salesrep t5 on t5.employee_id = t1.sales_rep_id "+\ " left join holidays0 t6 on t6.date = t1.order_date "+\ " group by t1.product_id ,t4.promo_id,t2.customer_id,t5.employee_id,t1.order_date,t1.order_id " cur = con01_sqlite.cursor() cur.execute(sql000) rows = cur.fetchall() con01_sqlite.commit() con01_sqlite.close() headers=['Product','Product Name','Promo','Customer','SalesRep','Date','OrderID','Amount','Quantity','Holiday'] rows.insert(0, headers) drop_table(con01_mysql,'sales_res') etl.todb(rows, con01_mysql, 'sales_res',create=True,dialect='mysql',commit=True,sample=1000 ) con01_sqlite.close() con01_mysql.close() 

En la siguiente imagen podemos ver la estructura de la BBDD SQLite que se crea:

En la siguiente imagen podemos ver el resultado de una consulta a la tabla creada en MySQL:

 

MongoDB y API de Amadeus (2)

En la entrada anterior vimos un ejemplo de como enlazar la API de Amadeus con MongoDB.

En esta entrada presento un sencillo programa en python-tkinter que permite buscar vuelos en Amadeus estableciendo varios parámetros, guardar la información en una colección de MongoDB y luego hacer consultas a esta colección.

El programa dispone de tres pestañas:

En la primera pestaña hacemos la búsqueda en Amadeus estableciendo los parámetros de los vuelos:

 

Una vez que tenemos los vuelos en MongoDB, podemos hacer consultas estableciendo varios criterios, en este caso un rango de precios:

Por último, en la tercera pestaña podemos hacer consultas mediante secuencias MQL:

A continuación el programa en python:

""" Demo interface MongoDB and Amadeus API using python and tkinter JLG 08/2021 """ from datetime import datetime from amadeus import Client, ResponseError from pymongo import MongoClient import tkinter as tk import tkinter.font as tkfont from ttkthemes import ThemedTk from tkinter import ttk from tkinter import scrolledtext from tkinter import messagebox from bson.json_util import dumps from bson.json_util import loads from bson.objectid import ObjectId from bson.son import SON import json class CrearToolTip(object): def __init__(self,elemento,texto='Info del objeto'): self.espera = 500 self.largo = 180 self.objeto = elemento self.texto = texto self.objeto.bind("<Enter>",self.entrar) self.objeto.bind("<Leave>",self.salir) self.objeto.bind("<ButtonPress>",self.salir) self.id = None self.tw = None def entrar(self,event=None): self.asignar() def salir(self,event=None): self.liberar() self.ocultar_tip() def asignar(self): self.liberar() self.id = self.objeto.after(self.espera,self.mostrar_tip) def liberar(self): id = self.id self.id = None if id: self.objeto.after_cancel(id) def mostrar_tip(self,event=None ): x = y = 0 x,y,cx,cy = self.objeto.bbox("insert") x += self.objeto.winfo_rootx() + 25 y += self.objeto.winfo_rooty() + 20 self.tw = tk.Toplevel(self.objeto) self.tw.wm_overrideredirect(True) self.tw.wm_geometry("+%d+%d"%(x,y)) label = tk.Label(self.tw,text=self.texto,justify="left", background = "white",relief="solid",borderwidth=1, wraplength = self.largo) label.pack(ipadx=1) def ocultar_tip(self): tw = self.tw self.tw = None if tw: tw.destroy() def Search_Flight(): global mycol,nflights AptDep=Dep_entry.get() AptArr=Arr_entry.get() FecVol=Date_entry.get() Adults=Adu_entry.get() Childs=Chl_entry.get() Infants=Inf_entry.get() Max=10; NonStop='false' mycol.drop() nflights=0 Flight_Offers_Search(AptDep,AptArr,FecVol,Adults,Childs,Infants,Max,NonStop) FecVol=Date0_entry.get() Flight_Offers_Search(AptArr,AptDep,FecVol,Adults,Childs,Infants,Max,NonStop) now = datetime.now() date_time = now.strftime("%m/%d/%Y, %H:%M:%S") texto = tk.StringVar() texto.set(" Flights found: " + str(nflights) + " "*220 + date_time) statusbar1.config(textvariable=texto) # MongoDB try: mymongo=MongoClient() mydb =mymongo.Amadeus mycol =mydb.flight_offers except pymongo.errors.PyMongoError as e: messagebox.showwarning(title="Error", message="MongoDB error .." + str(e)) def Query(): global mycol myqueryS = 'mycol.'+MDB_entry.get(1.0, tk.END) myqueryS = myqueryS.replace("\n", "") print (myqueryS) MDB_edit.delete('1.0', tk.END) try: mydoc = eval( myqueryS ) except (SyntaxError, NameError, TypeError, ZeroDivisionError) as e: messagebox.showwarning(title="Error", message="Error executing MQL command ..." + str(e)) return print (type(mydoc)) json_str = dumps(mydoc, indent = 2) MDB_edit.insert(tk.INSERT,json_str) def Query_MongoDB(): global mycol global treev myqueryS = 'mycol.'+'find({ "$and":[ {"$expr":{"$gte":[{"$toDouble":"$price.grandTotal"}, '+low_price_entry.get()+' ]}}, {"$expr":{"$lte":[{"$toDouble":"$price.grandTotal"}, '+hight_price_entry.get()+' ]}} ] } )' try: mydoc = eval( myqueryS ) except (SyntaxError, NameError, TypeError, ZeroDivisionError) as e: messagebox.showwarning(title="Error", message="Error executing MQL command ..." + str(e)) return i=0 j=1 treev.delete(*treev.get_children()) for (flight ) in mydoc: du=flight['itineraries'][0]['duration'][2: ] pr=flight['price'] ac=flight['validatingAirlineCodes'] treev.insert(parent='', index=i, iid=i, values=(str(j), ac[0] ,du, pr['total'] ) ) i=i+1 j=j+1 itine=flight['itineraries'] for (it ) in itine: du=it['duration'] segm=it['segments'] for (seg) in segm: dep =seg['departure']['iataCode'] atdep=seg['departure']['at'].replace('T', ' ', 1) arr =seg['arrival']['iataCode'] atarr=seg['arrival']['at'].replace('T', ' ', 1) carrier=seg['carrierCode'] flight_n=seg['number'] dus=seg['duration'] treev.insert(parent='', index=i, iid=i, tags=('1'),values=('', '' ,'', '',carrier+'-'+flight_n,dep+ '-'+ arr,atdep,atarr,dus[2: ] ) ) i=i+1 tvp=flight['travelerPricings'] for tv in tvp: tvt=tv['travelerType'] tid=tv['travelerId'] tvdetail=tv['fareDetailsBySegment'] for tvd in tvdetail: cabin=tvd['cabin'] clase=tvd['class'] i=i+1 texto = tk.StringVar() texto.set(" Flights found: " + str(j-1) ) statusbar2.config(textvariable=texto) #Amadeus API amadeus = Client( client_id=<your client ID>, client_secret=< your secret key> ) def Flight_Offers_Search(AptDep,AptArr,FecVol,Adults,Childs,Infants,Max,NonStop): global nflights try: response = amadeus.shopping.flight_offers_search.get( originLocationCode=AptDep, destinationLocationCode=AptArr, departureDate=FecVol, adults=Adults, children=Childs, infants=Infants, max=Max, nonStop=NonStop) except ResponseError as error: print('Error: ' ) ; print(error) txt_edit.insert(tk.INSERT,'\n'+AptDep+'-'+AptArr+' ' + FecVol +'\n') if 'response' in locals(): resp=response.data for flight in resp: try: mycol.insert_one(flight) nflights=nflights+1 except pymongo.errors.PyMongoError as e: messagebox.showwarning(title="Error", message="MongoDB error .." + str(e)) du=flight['itineraries'][0]['duration'][2: ] du=du.rjust(7) pr=flight['price'] ac=flight['validatingAirlineCodes'] txt_edit.insert(tk.INSERT,' Airline: '+ ac[0] + ' Duration: ' + du + ' Price: '+pr['total']+' ' + ' Base: ' + pr['base'] + ' Others: ' + str(round(float(pr['total']) - float(pr['base']),2)) + ' ' + pr['currency'] + '\n' ) def center_window(w=1200, h=640): ws = window.winfo_screenwidth() hs = window.winfo_screenheight() x = (ws/2) - (w/2) y = (hs/2) - (h/2) - 40 window.geometry('%dx%d+%d+%d' % (w, h, x, y)) def conf(event): notebook.config(height=window.winfo_height(),width=window.winfo_width()-30) # GUI window = ThemedTk(theme='scidblue') window.title("Amadeus API Demo") center_window(880, 610) style = ttk.Style(window) window.bind("<Configure>",conf) # create a notebook s = ttk.Style() s.configure('TNotebook.Tab', font=('Times','10' ) ) notebook = ttk.Notebook(window) notebook.pack(padx=0,pady=0, expand = 1, fill ="both") # create frames frame1 = ttk.Frame(notebook ) frame3 = ttk.Frame(notebook) frame2 = ttk.Frame(notebook) frame3 = ttk.Frame(notebook) frame1.pack(fill='both', expand=True) frame2.pack(fill='both', expand=True) frame3.pack(fill='both', expand=True) # add frames to notebook notebook.add(frame1, text=' Search Amadeus ') notebook.add(frame3, text=' Query Mongo ') notebook.add(frame2, text=' MQL Mongo ') # End notebook section #First Tab statusbar1 = tk.Label(frame1, text="", bd=1, relief=tk.SUNKEN, anchor=tk.W, width=450,height=1,font=('Lucida', 9,'bold'), background = "#7F8F9A",foreground = "white") statusbar1.pack(side=tk.BOTTOM, fill=tk.Y) fr_search0 = tk.Frame(frame1, relief=tk.RAISED, bd=0 ) fr_search0.pack(side=tk.LEFT, fill=tk.Y) fr_search = tk.Frame(fr_search0, relief=tk.RAISED, bd=0 ) fr_search.pack(side=tk.TOP, fill=tk.Y) Dep_label = tk.Label(fr_search,width=10,text="Departure:",font=('Lucida', 9,'bold'),anchor='e') Dep_label.grid(row=0, column=0, padx=0, pady=(5,1)) Dep_entry = ttk.Entry(fr_search,width=4,font=('Lucida', 9,'bold') ) ; Dep_entry.insert(0, "PMI") Dep_entry.grid(row=0, column=1, padx=0, pady=(5,1)) Arr_label = tk.Label(fr_search,width=10,text="Arrival:",font=('Lucida', 9,'bold'),anchor='e') Arr_label.grid(row=1, column=0, padx=5, pady=1) Arr_entry = ttk.Entry(fr_search,width=4,font=('Lucida', 9,'bold')) ; Arr_entry.insert(0, "BSL") Arr_entry.grid(row=1, column=1, padx=0, pady=1) Date_label = tk.Label(fr_search,width=10,text="Dep. Date:",font=('Lucida', 9,'bold'),anchor='e') Date_label.grid(row=2, column=0, padx=5, pady=1) Date_entry = ttk.Entry(fr_search,width=10,font=('Lucida', 9,'bold')) ; Date_entry.insert(0, "2021-09-09") Date_entry.grid(row=2, column=1, padx=(0,5), pady=1) Date0_label = tk.Label(fr_search,width=10,text="Arr. Date:",font=('Lucida', 9,'bold'),anchor='e') Date0_label.grid(row=3, column=0, padx=5, pady=1) Date0_entry = ttk.Entry(fr_search,width=10,font=('Lucida', 9,'bold')) ; Date0_entry.insert(0, "2021-09-11") Date0_entry.grid(row=3, column=1, padx=(0,5), pady=1) Adu_label = tk.Label(fr_search,width=10,text="Adults:",font=('Lucida', 9,'bold'),anchor='e') Adu_label.grid(row=4, column=0, padx=5, pady=1) Adu_entry = ttk.Entry(fr_search,width=3,font=('Lucida', 9,'bold'),justify='right' ) ; Adu_entry.insert(0, "2") Adu_entry.grid(row=4, column=1, padx=0, pady=1) Chl_label = tk.Label(fr_search,width=10,text="Childs:",font=('Lucida', 9,'bold'),anchor='e') Chl_label.grid(row=5, column=0, padx=5, pady=1) Chl_entry = ttk.Entry(fr_search,width=3 ,font=('Lucida', 9,'bold'),justify='right') ; Chl_entry.insert(0, "1") Chl_entry.grid(row=5, column=1, padx=0, pady=1) Inf_label = tk.Label(fr_search,width=10,text="Infants:",font=('Lucida', 9,'bold'),anchor='e') Inf_label.grid(row=6, column=0, padx=5, pady=1) Inf_entry = ttk.Entry(fr_search,width=3,font=('Lucida', 9,'bold'),justify='right' ) ; Inf_entry.insert(0, "0") Inf_entry.grid(row=6, column=1, padx=0, pady=1) fr_search1 = tk.Frame(fr_search0, relief=tk.RAISED, bd=0 ) fr_search1.pack(side=tk.TOP, fill=tk.Y) btn_open = tk.Button(fr_search1, text=" Search Amadeus ",font=('Lucida', 9,'bold'), command=Search_Flight) btn_open.focus_set() CrearToolTip(btn_open," Search flights in Amadeus ") btn_open.grid(row=0, column=0, padx=5, pady=10) txt_edit = scrolledtext.ScrolledText(frame1,font=('Lucida console', 10), width = 90, height = 40, background = "#243642",foreground = "white",insertbackground="red") txt_edit.pack(side=tk.LEFT, fill=tk.Y) #End First Tab #Second tab statusbar2 = tk.Label(frame3, text="", bd=1, relief=tk.SUNKEN, anchor=tk.W, width=450,height=1,font=('Lucida', 9,'bold'), background = "#7F8F9A",foreground = "white") statusbar2.pack(side=tk.BOTTOM, fill=tk.Y) fr_query = tk.Frame(frame3, relief=tk.RAISED, bd=0 ) fr_query.pack(side=tk.LEFT, fill=tk.Y) fr_query0 = tk.Frame(fr_query, relief=tk.RAISED, bd=0 ) fr_query0.pack(side=tk.TOP, fill=tk.Y) low_price_label = tk.Label(fr_query0,width=10,text="Low Price:",font=('Lucida', 9,'bold'),anchor='e') low_price_label.grid(row=0, column=0, padx=5, pady=1) low_price_entry = ttk.Entry(fr_query0,width=7,font=('Lucida', 9,'bold') ) ; low_price_entry.insert(0, '50') low_price_entry.grid(row=0, column=1, padx=5, pady=(5,1)) hight_price_label = tk.Label(fr_query0,width=10,text="Hight Price:",font=('Lucida', 9,'bold'),anchor='e') hight_price_label.grid(row=1, column=0, padx=5, pady=1) hight_price_entry = ttk.Entry(fr_query0,width=7 ,font=('Lucida', 9,'bold')) ; hight_price_entry.insert(0, '10000') hight_price_entry.grid(row=1, column=1, padx=5, pady=1) fr_query1 = tk.Frame(fr_query, relief=tk.RAISED, bd=0 ) fr_query1.pack(side=tk.TOP, fill=tk.Y) btn_MDB = tk.Button(fr_query1, text=" Query MongoDB ", command=Query_MongoDB,font=('Lucida', 9,'bold')) btn_MDB.focus_set() CrearToolTip(btn_MDB," Query flights in MongoDB ") btn_MDB.grid(row=0, column=0, padx=15, pady=5) ### tree_frame = tk.Frame(frame3, bd=0, relief=tk.SOLID) tree_frame.pack(side=tk.LEFT, fill=tk.Y) treev = ttk.Treeview(tree_frame, columns=(1,2,3,4,5,6,7,8,9), show='headings', height=25 ) header_font = tkfont.Font(family='TimesNewRoman', size=9,weight="bold") s0 = ttk.Style() s0.configure("Treeview.Heading", font=header_font, rowheight=int(12*2.5)) treev.tag_configure('0', background='#E8E8E8') treev.tag_configure('1', background='#DFDFDF') treev.pack(side=tk.LEFT, fill=tk.Y) treev.heading(1, text="ID") ; treev.column(1, minwidth=0, width=25, stretch=tk.YES) treev.heading(2, text="Airline") ; treev.column(2, minwidth=0, width=45, stretch=tk.YES) treev.heading(3, text="Duration") ; treev.column(3, minwidth=0, width=70, stretch=tk.NO) treev.heading(4, text="Price") ; treev.column(4, minwidth=0, width=70, stretch=tk.NO) treev.heading(5, text="Flight") ; treev.column(5, minwidth=0, width=70, stretch=tk.NO) treev.heading(6, text="Route") ; treev.column(6, minwidth=0, width=75, stretch=tk.NO) treev.heading(7, text="Time Dep "); treev.column(7, minwidth=0, width=120, stretch=tk.NO) treev.heading(8, text="Time Arr") ; treev.column(8, minwidth=0, width=120, stretch=tk.NO) treev.heading(9, text="Duration") ; treev.column(9, minwidth=0, width=80, stretch=tk.NO) sb = tk.Scrollbar(tree_frame, orient=tk.VERTICAL) sb.pack(side=tk.RIGHT, fill=tk.Y) treev.config(yscrollcommand=sb.set) sb.config(command=treev.yview) #End second tab #Third tab fr_mdb = tk.Frame(frame2, relief=tk.RAISED, bd=0 ) fr_mdb.pack(side=tk.TOP, fill=tk.Y) MDB_entry = scrolledtext.ScrolledText(fr_mdb, font=('Lucida console', 10), width = 106, height = 4, background = "#243642",foreground = "white",insertbackground="red",bd=1) MDB_entry.insert(tk.INSERT, 'find({"$expr":{"$lte":[{"$toDouble":"$price.grandTotal"},350.0]}},{"_id":0})') MDB_entry.grid(row=0, column=0, padx=0, pady=5) btn_MDB0 = tk.Button(fr_mdb, text=" Exec MQL MongoDB ", command=Query,font=('Lucida', 9,'bold')) btn_MDB0.focus_set() CrearToolTip(btn_MDB0," Execute MQL in MongoDB ") btn_MDB0.grid(row=1, column=0, padx=5, pady=5) MDB_edit = scrolledtext.ScrolledText(frame2,font=('Lucida console', 10), width = 106, height = 40, background = "#243642",foreground = "white",insertbackground="red") MDB_edit.pack(side=tk.TOP, fill=tk.Y) #End Third Tab window.mainloop()

MongoDB y API de Amadeus

Si uno ya tiene experiencia en RDBSM, una pregunta razonable sería: ¿para que complicarme con una BBDD NoSQL?

En este artículo presento un ejemplo de uso de MongoDB para resolver rápidamente una necesidad específica.

La empresa Amadeus dispone de una API para desarrolladores que permite hacer diferentes tipos de consultas relacionadas con los sectores de aerolíneas, hoteles, etc.

Un ejemplo de consulta a esta API es: amadeus.shopping.flight_offers_search.get()

Esta llamada permite consultar los vuelos disponibles para una ruta y fecha determinadas. La informacion devuelta está en formato JSON.

En el script Python adjunto podemos ver lo fácil que es hacer la llamada a la API e insertar la información devuelta en la colección Amadeus.flight_offers.

from amadeus import Client, ResponseError from pymongo import MongoClient import tkinter as tk from tkinter import scrolledtext # GUI window = tk.Tk() window.title("Amadeus API Demo") window.rowconfigure(0, minsize=600, weight=1) window.columnconfigure(1, minsize=600, weight=1) txt_edit = scrolledtext.ScrolledText(window) txt_edit.grid(row=0, column=1, sticky="nsew") # MongoDB try: mymongo=MongoClient() mydb =mymongo.Amadeus mycol =mydb.flight_offers except pymongo.errors.PyMongoError as e: messagebox.showwarning(title="Error", message="MongoDB error .." + str(e)) #Amadeus API amadeus = Client( client_id=<your client ID>, client_secret=< your secret key> ) def Flight_Offers_Search(AptDep,AptArr,FecVol,Adults,Childs,Infants,Max,NonStop): try: response = amadeus.shopping.flight_offers_search.get( originLocationCode=AptDep, destinationLocationCode=AptArr, departureDate=FecVol, adults=Adults, children=Childs, infants=Infants, max=Max, nonStop=NonStop) except ResponseError as error: print('Error: ' ) ; print(error) txt_edit.insert(tk.INSERT,'\n'+AptDep+'-'+AptArr+' ' + FecVol +'\n') if 'response' in locals(): resp=response.data for flight in resp: try: mycol.insert_one(flight) except pymongo.errors.PyMongoError as e: messagebox.showwarning(title="Error", message="MongoDB error .." + str(e)) du=flight['itineraries'][0]['duration'] pr=flight['price'] ac=flight['validatingAirlineCodes'] txt_edit.insert(tk.INSERT,' Airline: '+ ac[0]+' Duration: ' + du + ' Price: '+pr['total']+' ' + ' Base: ' + pr['base'] + ' Others: ' + str(round(float(pr['total']) - float(pr['base']),2)) + ' ' + pr['currency'] + '\n' ) # Flight Search mycol.drop() AptDep='PMI' ; AptArr='BSL' ; FecVol='2021-08-02' ; Adults=1; Childs=0; Infants=0 ; Max=20 ; NonStop='false' Flight_Offers_Search(AptDep,AptArr,FecVol,Adults,Childs,Infants,Max,NonStop) AptDep='BSL' ; AptArr='PMI' ; FecVol='2021-08-11' ; Adults=1 ; Childs=0; Infants=0 ; Max=20 ; NonStop='false' Flight_Offers_Search(AptDep,AptArr,FecVol,Adults,Childs,Infants,Max,NonStop) window.mainloop()

 
No hay necesidad de procesos previos para crear la BBDD ni la colección. Tampoco necesitamos saber la estructura de la información, sólo la insertamos directamente en MongoDB.

 
Una vez que tenemos la colección creada, podemos hacer las consultas que queramos.

En el ejemplo mostrado en la pantalla siguiente, consultamos los vuelos con precio menor a 150€ y sólo nos interesa que nos muestre los campos aerolínea, precio, duración del vuelo y aeropuerto de salida de cada segmento del vuelo:

Hemos encontrado 15 vuelos que cumplen los criterios de la consulta.

Como podemos ver, una solución realmente rápida y eficiente.

MongoDB: Lenguaje SQL

MongoDB es un gestor de bases de datos NoSQL, por lo que a diferencia de las bases de datos relacionales, no utiliza el lenguaje SQL. MongoDB dispone de un lenguaje de consulta de información  propio: MongoDB Query Language (MQL).

Vamos a revisar muy brevemente las caractarerísticas de cada uno de ellos: SQL y MQL.

El lenguaje SQL permite construir sentencias para hacer todo tipo de operaciones sobre bases de datos relacionales: Crear/eliminar una BBDD, crear/modificar/eliminar tablas/indices/vistas, consultar/modificar/agregar/eliminar filas de tablas, etc.

Esto es debido a que SQL incluye: un lenguaje de definición de datos, un lenguaje de manipulación de datos y un lenguaje de control de datos.

Algunos ejemplos de sentencias SQL :

• Crear una tabla:   CREATE TABLE jobs( 
                                   ID int, 
                                   country varchar(255),
                                   sector varchar(255),
                                   company varchar(255), 
                                   job_description varchar(255)
                               ); 

•  Consultar una tabla: SELECT company, country,source from jobs where sector="finance"
  

Es relativamente fácil desarrollar un programa sencillo, por ejemplo en python, para conectarse con una BBDD relacional y ejecutar sentencias SQL de cualquier tipo.

Sin embargo en MongoDB no tenemos esta flexibilidad, ya que el lenguaje MQL no se basa en sentencias, sino en comandos/instrucciones específicas para cada tipo de operación.

Por ejemplo una consulta en MQL parecida a la anterior en SQL sería:
   db.jobs.find(
        {"sector" : "finance"},
        {"company":1,"country":1,"source":1}
   )

 
En la instrucción anterior db es la variable de la conexión a MongoDB, jobs es la colección sobre la que queremos trabajar y find  es el comando especifico para la operación que queremos realizar, en este caso una consulta con la condición sector="finance", y sólo queremos mostrar los campos company, country y source.

Para los que estamos acostumbrados a trabajar con SQL no es fácil pasar de éste a MQL, ya que las estructuras son totalmente diferentes.

Sin embargo hay una serie de herramientas que nos permiten convertir secuencias SQL en MQL:

• Tenemos por ejemplo la página site24x7 que acepta sentencias SQL y genera el comando MQL equivalente.
  
• Adicionalmente algunas aplicaciones de administración de MongoDB incluyen esta facilidad, por ejemplo NoSQLBooster.
• La documentación en linea de MongoDB incluye una página con mapeo SQL a MQL: docs.mongodb.com
• La herramienta MongoDB Connector for BI permite utilizar sentencias SQL para extraer información de una BBDD  MongoDB y alimentar herramientas BI como Tableau,Qlik, MicroStrategy, etc.
  

 

MongoDB y Python GUI (tkinter)

MongoDB pertenece a los sistemas de almacenamiento de información NoSQL (Not Only SQL).

Este motor de almacenamiento es uno de los más populares cuando necesitamos administrar grandes cantidades de información con "estructura variable", es decir cuando la información está constituida por unidades que no tiene la misma estructura.

Podemos tener un colección (tabla) con documentos (filas) cuyos campos no tienen la misma estructura.
Supongamos que tenemos una colección de libros en soporte físico y electrónico. En el caso del soporte físico tal vez nos interese saber su formato : libro de bolsillo, tapa dura, etc. Esta propiedad no aplica para un libro electrónico, por lo tanto no es necesario reservar un campo para algo que no se necesita. De ahí que en este caso, la ficha de un libro físico tenga mas campos que la de un libro electrónico.

Además del tipo de información que podemos guardar,  MongoDB incluye optimizaciones como por ejemplo crecimiento horizontal, flexibilidad, búsquedas, capacidad de gestión de grandes volumenes de datos (big data), etc.

Python es una de las herramientas mas utilizadas para la gestión/análisis de datos.
Python dispone de varios módulos para trabajar con MongoDB, entre ellos está pymongo.

Supongamos que tenemos una base de datos llamada data_engineer, y en esta BBDD tenemos la colección jobs de documentos asociados a ofertas de trabajo , un script típico de conexión (asumiendo que el servidor está en el ordenador local y configurado con el puerto 27017)

try: myclient = pymongo.MongoClient("mongodb://localhost:27017/") mydb = myclient["data_engineer"] mycol = mydb["jobs"] server_info = myclient.server_info() except pymongo.errors.PyMongoError as e: messagebox.showwarning(title="Error",message="Conn error: "+str(e)) exit()  

Asumiendo que la colección jobs tiene los campos : source, date, country, sector, company, job_descripcition y job_expertice (campos donde se registra la información de cada oferta de trabajo), un script para agregar un documento en la colección sería:

try: mydict = {"source":source,"date":date,"country": country, "sector":sector,"company":company, "job_description":job_desc,"job_expertice":job_expe } x = mycol.insert_one(mydict) messagebox.showinfo(title="Estatus", message="Writed one record" ) except pymongo.errors.PyMongoError as e: messagebox.showwarning(title="Error",message="Conn error:"+str(e)) exit() 

Si deseamos desarrollar un programa en python con interfase gráfica tenemos a nuestra disposición diferentes módulos para tal fin. El mas veterano y con una gran cantidad de documentacion en internet es tkinter, que adicionalmente viene preinstalado en python

En la imagen siguiente tenemos un ejemplo de una aplicación gráfica sencilla que gestiona la colección jobs mencionada anteriormente:

En la siguiente imagen podemos ver un ejemplo sencillo de como visualizar las bases de datos existentes, sus colecciones y los primeros documentos de cada colección.
 

 
Desde luego, esto no deja de ser un ejemplo muy básico de lo que podemos hacer en python para comunicarnos con un servidor MongoDB. Existen aplicaciones comerciales y OpenSource muy completas para realizar la gestión de MongoDB : MongoDB Compass, NoSQLBooster, DBeaver, RazorSQL, etc.