מדי יום ארגונים גדולים מתעדכנים בטכנולוגיות שמאפשרות ומתאימות יותר לכל חברה, ומתמודדות עם אתגרים גדולים המאפשרים להם לגלות ולנתח מעבר לכלים המשמשים על בסיס יומי, עבורם היא נוצרה מה שמכונה Big Data או בספרדית נתונים מסיביים שהם מערכות אחסון נתונים בקנה מידה גדול.
תופעת אחסון זו ממוסגרת בטכנולוגיות המידע והתקשורת החדשות. ביג דאטה הוא התופס את כל הפעילויות שקשורות למערכות המאחסנות מערך נתונים גדול. אחד המאפיינים העיקריים הוא שהוא עושה מניפולציה בכמות גדולה של מידע, אוסף, מסווג אותו ואז שומר אותו. מטרת האוסף היא ליצור דוחות סטטיסטיים לשימוש ארגונים, בין היתר כניתוח של תוכניות עסקיות, פרסום, ריגול.
מרווח האחסון גדל עם השנים, מאז שנת 2008 רמת האחסון נמדדה בפטאבים עד זט- בייטים של נתונים. מומחים מחפשים מעת לעת אמצעי אחסון חדשים מכיוון שישנם אזורים מסוימים בהם יש לאחסן כמויות גדולות של נתונים והתוכניות הקיימות אינן אופטימליות במיוחד.
ישנם אלפי כלים ליצירה ולניהול Big Data, אולם לא כולם זהים, ישנם שלושה סוגים של נתונים, שהם:
- נתונים מובנים: הם אלה שבהם הנתונים הם בעלי מבנה מסוים מאוד, כגון תאריכים, מספרים, בין היתר. דוגמה לכך היא גיליונות אלקטרוניים.
- נתונים לא מובנים: בדרך כלל מדובר בנתונים בעלי פורמט ספציפי ואינם ניתנים לאחסון בגליון אלקטרוני, ועוד פחות מניפולציות במידע, דוגמה למסמכי PDF.
- נתונים מובנים למחצה: סוג נתונים זה אינו בעל פורמט מסוים, מכיוון שיש לו מטא-נתונים מובנים למחצה, דוגמה לכך היא קודי HTML.
