Μεγάλα δεδομένα είναι η νέα επιστήμη της κατανόησης και της πρόβλεψης της ανθρώπινης συμπεριφοράς μελετώντας μεγάλους όγκους μη δομημένων δεδομένων. Τα μεγάλα δεδομένα είναι επίσης γνωστά ως «προγνωστικά αναλυτικά στοιχεία». Η ανάλυση των αναρτήσεων Twitter, των ροών στο Facebook, των αναζητήσεων eBay, των ιχνηλατών GPS και των μηχανών ATM είναι μερικά μεγάλα παραδείγματα δεδομένων. Η μελέτη των βίντεο ασφαλείας, των δεδομένων κίνησης, των καιρικών συνθηκών, των αφίξεων πτήσεων, των αρχείων καταγραφής πύργων κινητών τηλεφώνων και των ανιχνευτών καρδιακού ρυθμού είναι άλλες μορφές. Τα μεγάλα δεδομένα είναι μια ακατάστατη νέα επιστήμη που αλλάζει εβδομαδιαία και μόνο λίγοι ειδικοί το καταλαβαίνουν όλα.
Παραδείγματα μεγάλων δεδομένων στην κανονική ζωή
Πρόβλεψη εστιών ιών: Μελετώντας κοινωνικοπολιτικά δεδομένα, δεδομένα καιρού και κλίματος, καθώς και νοσοκομειακά / κλινικά δεδομένα, αυτοί οι επιστήμονες προβλέπουν τώρα επιδημικά κρούσματα δάγκειου πυρετού με προειδοποίηση 4 εβδομάδων.
Ρολόι ανθρωποκτονιών: αυτό το μεγάλο έργο δεδομένων προφίλ θύματα δολοφονιών, υπόπτων και εγκληματιών στην Ουάσιγκτον, DC. Τόσο ως τρόπος τιμής του νεκρού όσο και ως πηγή ευαισθητοποίησης για τους ανθρώπους, αυτό το μεγάλο έργο δεδομένων είναι συναρπαστικό.
Transit Travel Planning, NYC: Ο προγραμματιστής ραδιοφώνου WNYC Steve Melendez συνδύασε το online πρόγραμμα του μετρό με το πρόγραμμα ταξιδιού. Η δημιουργία του επιτρέπει στους Νέους Υόρκης να κάνουν κλικ στην τοποθεσία τους στον χάρτη και θα εμφανιστεί μια πρόβλεψη του χρόνου ταξιδιού για τρένα και μετρό.
Η Xerox μείωσε την απώλεια εργατικού δυναμικού: Η εργασία στο τηλεφωνικό κέντρο είναι συναισθηματικά κουραστική. Η Xerox έχει μελετήσει δέσμες δεδομένων με τη βοήθεια επαγγελματιών αναλυτών και τώρα μπορούν να προβλέψουν ποιες προσλήψεις τηλεφωνικών κέντρων είναι πιθανό να μείνουν στην εταιρεία με τη μεγαλύτερη διάρκεια.
Υποστήριξη της αντιτρομοκρατίας: Μελετώντας τα μέσα κοινωνικής δικτύωσης, οικονομικά αρχεία, κρατήσεις πτήσεων και δεδομένα ασφαλείας, η επιβολή του νόμου μπορεί να προβλέψει και να εντοπίσει υπόπτους τρομοκρατίας προτού κάνουν τις κακές πράξεις τους.
Προσαρμογή μάρκετινγκ επωνυμίας με βάση κριτικές κοινωνικών μέσων: οι άνθρωποι μοιράζονται αδιάφορα και γρήγορα τις διαδικτυακές τους σκέψεις σε μια παμπ, εστιατόριο ή γυμναστήριο. Είναι δυνατόν να μελετήσετε αυτά τα εκατομμύρια δημοσιεύσεις κοινωνικών μέσων και να παρέχετε σχόλια στην εταιρεία σχετικά με το τι πιστεύουν οι άνθρωποι για τις υπηρεσίες τους.
Ποιος χρησιμοποιεί μεγάλα δεδομένα; Τι κάνουν με αυτό;
- Πολυκατάστημα της Macy: χρησιμοποιεί μεγάλα δεδομένα για να προσαρμόσει τις τιμές του εν πτήσει για περισσότερα από 70 εκατομμύρια προϊόντα. Στέλνουν ακόμη και προσαρμοσμένα μηνύματα ηλεκτρονικού ταχυδρομείου στους πελάτες τους με βάση αυτό που πιστεύει ο Macy ότι ενδιαφέρονται.
- Απάντηση της αστυνομίας στον βομβαρδισμό του Μαραθωνίου στη Βοστώνη: Με τη χρήση μεγάλων δεδομένων για τη μελέτη εικόνων βίντεο και παρακολούθησης, η αστυνομία μπόρεσε να περιορίσει γρήγορα την αναζήτησή τους για τους υπόπτους.
- Morton’s Steakhouse: χρησιμοποιεί το Twitter για να απομακρύνει μάρκετινγκ, συμπεριλαμβανομένης της διάσημης παράδοσης από το αεροδρόμιο του Νιου Τζέρσεϊ για ένα δείπνο μπριζόλας και γαρίδας.
- Η Visa χρησιμοποιεί μεγάλα δεδομένα για τον εντοπισμό και τη σύλληψη απατεώνων: Μεμονωμένες συναλλαγές εδώ και εκεί μπορούν εύκολα να αποκρύψουν έναν ανέντιμο χρήστη πιστωτικής κάρτας, αλλά παρακολουθώντας προσεκτικά εκατομμύρια συναλλαγές, μπορούν να εντοπιστούν μοτίβα απάτης.
- Το Facebook χρησιμοποιεί μεγάλα δεδομένα για να προσαρμόσει τη διαφήμιση: Μελετώντας προσεκτικά τις προτιμήσεις σας στο FB και τις συνήθειες περιήγησης, ο γίγαντας των κοινωνικών μέσων μαζικής ενημέρωσης έχει απόκοσμη ματιά στις προτιμήσεις σας. Αυτές οι διαφημίσεις πλευρικής γραμμής που βλέπετε στη ροή σας στο Facebook επιλέγονται από πολύ σκόπιμους και πολύπλοκους αλγόριθμους που παρακολουθούν τις συνήθειες σας στο Facebook.
Γιατί τα μεγάλα δεδομένα είναι τόσο μεγάλη υπόθεση;
1. Τα δεδομένα είναι τεράστια – Δεν χωράει σε έναν σκληρό δίσκο, πολύ λιγότερο σε ένα USB stick. Ο όγκος των δεδομένων υπερβαίνει κατά πολύ αυτό που μπορεί να αντιληφθεί ο ανθρώπινος νους (σκεφτείτε ένα δισεκατομμύριο δισεκατομμύρια megabyte και στη συνέχεια πολλαπλασιάστε το με περισσότερα δισεκατομμύρια).
2. Τα δεδομένα είναι ακατάστατα και μη δομημένα – Το 50% έως 80% των εργασιών μεγάλων δεδομένων μετατρέπει και καθαρίζει τις πληροφορίες έτσι ώστε να είναι δυνατή η αναζήτηση και η ταξινόμησή τους. Μόνο μερικές χιλιάδες ειδικοί στον πλανήτη μας γνωρίζουν πλήρως πώς να κάνουν αυτήν την εκκαθάριση δεδομένων. Αυτοί οι ειδικοί χρειάζονται επίσης πολύ εξειδικευμένα εργαλεία, όπως το HPE και το Hadoop, για να κάνουν την τέχνη τους. Ίσως σε 10 χρόνια, μεγάλοι εμπειρογνώμονες δεδομένων θα γίνουν δεκάδες δεκάδες, αλλά προς το παρόν, είναι ένα πολύ σπάνιο είδος αναλυτή και το έργο τους είναι ακόμα πολύ σκοτεινό και κουραστικό.
3. Τα δεδομένα έχουν γίνει ένα εμπόρευμα που μπορεί να πωληθεί και να αγοραστεί – Υπάρχουν αγορές δεδομένων όπου επιχειρήσεις και ιδιώτες μπορούν να αγοράσουν terabyte κοινωνικών μέσων και άλλων δεδομένων. Τα περισσότερα από τα δεδομένα βασίζονται σε σύννεφο, καθώς είναι πολύ μεγάλα για να χωρέσουν σε οποιονδήποτε μεμονωμένο σκληρό δίσκο. Η αγορά δεδομένων συνεπάγεται συνήθως ένα τέλος συνδρομής όπου συνδέεστε σε ένα σύμπλεγμα διακομιστών cloud.
Οι ηγέτες των μεγάλων εργαλείων και ιδεών δεδομένων είναι το Amazon, το Google, το Facebook και το Yahoo. Επειδή αυτές οι εταιρείες εξυπηρετούν τόσα εκατομμύρια άτομα με τις διαδικτυακές υπηρεσίες τους, είναι λογικό να είναι το σημείο συλλογής και οι οραματιστές πίσω από τα μεγάλα αναλυτικά δεδομένα.
4. Οι δυνατότητες των μεγάλων δεδομένων είναι ατελείωτες – Ίσως οι γιατροί κάποια μέρα να προβλέψουν καρδιακές προσβολές και εγκεφαλικά επεισόδια για άτομα εβδομάδες πριν συμβούν. Τα αεροσκάφη και τα αυτοκινητιστικά ατυχήματα ενδέχεται να μειωθούν με προγνωστικές αναλύσεις των μηχανικών δεδομένων τους και της κίνησης και του καιρού. Οι διαδικτυακές γνωριμίες ενδέχεται να βελτιωθούν με τη δημιουργία μεγάλων προβλέψεων δεδομένων για το ποιες είναι συμβατές προσωπικότητες για εσάς. Οι μουσικοί μπορεί να μάθουν ποια μουσική σύνθεση είναι η πιο ευχάριστη για τις μεταβαλλόμενες προτιμήσεις του κοινού-στόχου. Οι διατροφολόγοι μπορεί να είναι σε θέση να προβλέψουν ποιος συνδυασμός τροφίμων που αγοράζονται στο κατάστημα θα επιδεινώσει ή θα βοηθήσει τις ιατρικές παθήσεις ενός ατόμου. Η επιφάνεια έχει γρατσουνιστεί και ανακαλύψεις σε μεγάλα δεδομένα συμβαίνουν κάθε εβδομάδα.
Τα μεγάλα δεδομένα είναι ακατάστατα
Τα μεγάλα δεδομένα είναι προγνωστικά αναλυτικά στοιχεία – τη μετατροπή τεράστιων, μη δομημένων δεδομένων σε κάτι με δυνατότητα αναζήτησης και ταξινόμησης. Αυτός είναι ένας ακατάστατος και χαοτικός χώρος που απαιτεί ένα ιδιαίτερο είδος γνώσης και υπομονής. Πάρτε για παράδειγμα τη μονολιθική υπηρεσία παράδοσης UPS. Οι προγραμματιστές στο UPS μελετούν δεδομένα από το GPS και τα smartphone των οδηγών τους για να αναλύσουν τους πιο αποτελεσματικούς τρόπους προσαρμογής στην κυκλοφοριακή συμφόρηση. Αυτά τα δεδομένα GPS και smartphone είναι τεράστια και δεν είναι αυτόματα έτοιμα για ανάλυση. Αυτά τα δεδομένα προέρχονται από διάφορες βάσεις δεδομένων GPS και χαρτών, μέσω διαφορετικών συσκευών smartphone. Οι αναλυτές της UPS έχουν περάσει μήνες μετατρέποντας όλα αυτά τα δεδομένα σε μορφή που μπορεί εύκολα να αναζητηθεί και να ταξινομηθεί. Η προσπάθεια αξίζει τον κόπο. Σήμερα, η UPS έχει εξοικονομήσει πάνω από 8 εκατομμύρια γαλόνια καυσίμου από τότε που άρχισαν να χρησιμοποιούν αυτά τα μεγάλα αναλυτικά δεδομένα. Επειδή τα μεγάλα δεδομένα είναι ακατάστατα και απαιτούν τόση προσπάθεια για τον καθαρισμό και την προετοιμασία για χρήση, οι επιστήμονες δεδομένων έχουν γίνει παρατσούκλι «καθαριστές δεδομένων» για όλη την κουραστική δουλειά που κάνουν. Ωστόσο, η επιστήμη των μεγάλων δεδομένων και της προγνωστικής ανάλυσης βελτιώνεται κάθε εβδομάδα. Αναμένετε μεγάλα δεδομένα να είναι εύκολα προσβάσιμα σε όλους έως το έτος 2025.
Είναι το Big Data μια παρεμβατική απειλή για το απόρρητο;
Ναι, εάν η νομοθεσία μας και η ατομική προστασία της ιδιωτικής ζωής δεν διαχειρίζονται προσεκτικά, τότε μεγάλα δεδομένα εισβάλλουν στο προσωπικό απόρρητο. Ως έχει, το Google και το YouTube και το Facebook παρακολουθούν ήδη τις καθημερινές σας διαδικτυακές συνήθειες. Η ζωή του smartphone και του υπολογιστή σας αφήνει ψηφιακά ίχνη κάθε μέρα, και εξελιγμένες εταιρείες μελετούν αυτά τα ίχνη. Οι νόμοι γύρω από τα μεγάλα δεδομένα εξελίσσονται. Το απόρρητο είναι ότι πρέπει τώρα να αναλάβετε προσωπική ευθύνη, καθώς δεν μπορείτε πλέον να το περιμένετε ως προεπιλεγμένο δικαίωμα.
Τι μπορείτε να κάνετε για την προστασία του απορρήτου σας
Το μεγαλύτερο μόνο βήμα που μπορείτε να κάνετε είναι να καλύψετε τις καθημερινές σας συνήθειες χρησιμοποιώντας ένα VPN. Μια υπηρεσία VPN θα ανακατέψει το σήμα σας, έτσι ώστε η ταυτότητα και η τοποθεσία σας να καλύπτονται τουλάχιστον εν μέρει από τους ιχνηλάτες. Αυτό δεν θα σας κάνει 100% ανώνυμο, αλλά ένα VPN θα μειώσει ουσιαστικά πόσο κόσμο μπορεί να παρατηρήσει τις διαδικτυακές σας συνήθειες.