Dijitalleşen bir dünyada yaşıyoruz. Teknolojiyle sürekli iç içeyiz. Günlük hayatımızın hemen her anında teknoloji var. Telefon, tablet, bilgisayar, akıllı ev aletleri ve teknolojiyle etkileştikçe veri üretiyoruz. Sadece geçtiğimiz sene insanlık olarak yüz trilyon terabayt veri üretmişiz ve ürettiğimiz veri hacmi gittikçe artmakta. Nasıl ki eskiden altın değerliydi, gümüş değerliydi, ardından petrol değerli oldu; bugün de şirketler verinin değerinin farkına varmaya başladı. Daha çok veriye sahip olan ve sahip olduğu veriden daha fazla değer elde eden şirketler, günümüzde karlılığı en yüksek olan şirketlerdir. Şirketlerin aldığı stratejik kararlar dolayısıyla karlılıkları, sahip oldukları veriden çıkardıkları değere bağlı. Aslında veri mühendisliği de tam olarak bu noktada devreye giriyor. Yani biz veri mühendisleri olarak ne yapıyoruz? Veriyi bilgiye, bilgiyi de bilgi setlerine dönüştürmeye çalışıyoruz.

Burada akış şu şekilde oluyor: Şirketlerin ürettiği veriler, bu şirketlerin veri merkezlerinde toplanıyor. Bu toplanan veriler, veri mühendisleri tarafından temizleniyor, dönüştürülüyor ve ayrıştırılıyor. Bir nevi damıtılıyor ve daha saf bilgi dediğimiz veri bilgiye dönüşüyor. Bu noktada, elimizdeki bilgiyle "Başımıza ne geldi, neden geldi, nasıl geldi?" gibi sorulara cevap bulabiliyoruz. Bir sonraki aşamada ise veri mühendisleri tarafından şirketin sahip olduğu farklı veri kaynaklarından toplanan veriler birbirleriyle bir araya getiriliyor ve sentezlenerek, yani füzyon edilerek, bu sefer kazanılmış bilgi dediğimiz daha özel bir veriye dönüştürülüyor.

Bu kazanılmış bilgiyi veri bilimcilerinize verdiğinizde, bu sefer veri bilimciler sıradaki sorulara, yani "Başımıza ne gelecek?" gibi prediktif analizler yapmaya başlıyor. Bu da sizi üst düzey bilgiye götürüyor. Yani bizim veri mühendisleri olarak amacımız, bilgi hiyerarşisi piramidini tesis etmek.