Big data đã và đang phổ biến hơn bao giờ hết vì những ứng dụng to lớn của công nghệ này đóng góp cho nhân loại. Hãy cũng ECCI Việt Nam tìm hiểu khái niệm Big data, ứng dụng, ưu và nhược điểm và lộ trình học ngay nhé!
Mục lục bài viết
Big Data là gì?
Big data (Dữ liệu lớn) là một thuật ngữ mô tả khối lượng dữ liệu lớn – có cấu trúc và không có cấu trúc – sẽ tràn ngập một doanh nghiệp hàng ngày. Nhưng nó không phải là lượng dữ liệu quan trọng. Đó là những gì các tổ chức làm với dữ liệu quan trọng. Dữ liệu lớn có thể được phân tích để có những hiểu biết sâu sắc dẫn đến các quyết định tốt hơn và các bước đi kinh doanh chiến lược.
Lịch sử Big Data và các cân nhắc hiện tại
Mặc dù cụm từ “Big Data” là tương đối mới, nhưng hành động thu thập và lưu trữ một lượng lớn thông tin để phân tích đã diễn ra từ lâu. Khái niệm này xuất hiện vào đầu những năm 2000 khi nhà phân tích ngành công nghiệp Doug Laney đưa ra định nghĩa chính xác về Big Data qua 3 chữ V:
- Volume (khối lượng): Các tổ chức thu thập dữ liệu từ nhiều nguồn, bao gồm các giao dịch kinh doanh, phương tiện truyền thông xã hội và thông tin từ dữ liệu cảm biến hoặc thiết bị này tới thiết bị kia. Trong quá khứ, lưu trữ nó sẽ là một vấn đề – nhưng với các công nghệ mới (như Hadoop) đã giảm bớt gánh nặng phần nào.
- Velocity (Tốc độ): Các luồng dữ liệu ở tốc độ chưa từng thấy và phải được xử lý kịp thời. Thẻ RFID, cảm biến và hệ thống đo sáng thông minh đang thúc đẩy nhu cầu xử lý các torrent dữ liệu gần thời gian thực.
- Variety(Đa dạng): Dữ liệu có trong tất cả các loại định dạng – từ dữ liệu có cấu trúc, dữ liệu trong cơ sở dữ liệu truyền thống sang tài liệu văn bản phi cấu trúc, email, video, âm thanh, dữ liệu mã cổ phiếu và các giao dịch tài chính.
Ngoài ra, chúng ta xem xét thêm hai chiều hướng khi nói đến dữ liệu lớn:
- Variability(Sự biến đổi): Dữ liệu cũng gia tăng đột biến theo mùa, đôi khi cũng khiến chúng ta khó khăn trong việc thu thập dữ liệu vào những đợt cao điểm. Thậm chí nhiều hơn như vậy với dữ liệu phi cấu trúc.
- Complexity(Phức tạp): Dữ liệu ngày hôm nay đến từ nhiều nguồn, làm cho việc liên kết, so khớp, làm sạch và chuyển đổi dữ liệu trên các hệ thống rất khó khăn. Tuy nhiên, cần kết nối và tương quan các mối quan hệ, phân cấp và nhiều liên kết dữ liệu hoặc dữ liệu của bạn có thể nhanh chóng thoát ra khỏi sự mất kiểm soát.
Sự liên quan mật thiết của Big data và Analytics (phân tích dữ liệu)
Big data là những dữ liệu vượt quá khả năng lưu trữ, xử lý cũng như tính toán của cơ sở dữ liệu và kỹ thuật phân tích dữ liệu thông thường. Chúng yêu cầu những công cụ và phương pháp để phân tích, trích xuất thông tin từ dữ liệu có quy mô lớn.
Phân tích dữ liệu là quá trình thu thập, tổ chức và phân tích các tập dữ liệu lớn nhằm khám phá ra các thông tin hữu ích. Chúng tập hợp các công nghệ và kỹ thuật đòi hỏi những hình thức tích hợp mới để tiết lộ các giá trị ẩn từ các bộ dữ liệu lớn, khác với các công nghệ thông thường, chúng phức tạp hơn và quy mô lớn. Nó chủ yếu tập trung vào giải quyết các vấn đề mới hoặc vấn đề cũ theo những cách hiệu quả hơn.
Các loại phân tích dữ liệu lớn:
- Phân tích mô tả: Cung cấp tập dữ liệu lịch sử, cung cấp xác suất và xu hướng trong tương lai.
- Phân tích chẩn đoán: Tìm và hiểu nguyên nhân của các sự kiện và hành vi.
- Phân tích dự đoán: Sử dụng dữ liệu quá khứ, sử dụng nhiều kỹ thuật khai thác dữ liệu và trí tuệ nhân tạo để phân tích dữ liệu hiện tại và đưa ra các kịch bản về những gì có thể xảy ra.
- Phân tích quy luật: Tìm ra hành động đúng được thực hiện.
Tại sao dữ liệu lớn lại quan trọng?
Tầm quan trọng của dữ liệu lớn không xoay quanh số lượng dữ liệu bạn có, nhưng bạn sẽ làm gì với nó. Bạn có thể lấy dữ liệu từ bất kỳ nguồn nào và phân tích nó để tìm câu trả lời cho phép giảm chi phí, 2) giảm thời gian, 3) phát triển sản phẩm mới và dịch vụ được tối ưu hóa, và 4) ra quyết định thông minh. Khi bạn kết hợp dữ liệu lớn với các phân tích mạnh mẽ, bạn có thể thực hiện các tác vụ liên quan đến kinh doanh như:
- Xác định nguyên nhân gốc rễ của sự cố, sự cố và khiếm khuyết trong thời gian gần.
- Tạo phiếu giảm giá tại điểm bán hàng dựa trên thói quen mua của khách hàng.
- Tính lại toàn bộ danh mục rủi ro trong vài phút.
- Phát hiện hành vi gian lận trước khi nó ảnh hưởng đến tổ chức của bạn.
Ứng dụng tuyệt vời của Big data
Với xu hướng công nghệ 4.0 như hiện nay, Big data được ứng dụng rất đa dạng và hữu ích trong rất nhiều lĩnh vực. Những công ty trên Thế giới và Việt Nam sớm ứng dụng Big data như Amazon, IBM, Microsoft, HP, Dell, Facebook, FPT…
Phân tích khách hàng mục tiêu
Đây là lĩnh vực mà Big data tham gia nhiều nhất bằng cách phân tích hành vi, thói quen và sở thích của nhiều nhóm khách hàng. Các công ty sẽ kết hợp thêm dữ liệu về truyền thông và xã hội để thu thập một cách toàn diện về khách hàng, tiên đoán đúng những mục tiêu đề ra như thời điểm mua hàng, khả năng chi trả …
Ví dụ, Big data có thể tiên đoán gần như chính xác thời điểm một phụ nữ dự định lập gia đình hoặc có con. Từ đó, họ cung cấp những sản phẩm, dịch vụ cần thiết và phù hợp nhất với đối tượng. Điều này, vừa có tỉ lệ thành công cao, vừa giảm thiểu thời gian tìm kiếm.
Tối ưu hóa quy trình kinh doanh
Từ dữ liệu truyền thông và xã hội, hoặc dữ liệu từ xu hướng tìm kiếm trên internet, các nhà bán lẻ, nhà sản xuất, kinh doanh dễ dàng theo dõi được lượng hàng hóa phân bổ khu vực nào, vị trí của phương tiện vận chuyển và thậm chí cả tuyến đường phương tiện đi qua nhờ Big data sử dụng cảm biến định vị dạng tần số.
Ngoài ra, Big data còn đo lường được thói quen, thái độ làm việc cũng như những khu vực mà nhân viên đi đến để đo lường hiệu suất làm việc. Những nhà “săn đầu người” cũng nhận định, Big data giúp họ định hình đối tượng, giúp đánh giá khách quan về văn hóa các công ty…
Ngành y tế cộng đồng
Big data rất hữu ích cho sự phát triển sức khỏe của cộng đồng, mang lại những thành tựu đáng kể cho nền y học. Phân tích dữ liệu lớn giúp nhận định và dự đoán bệnh học chính xác bằng cách giải mã chuỗi DNA với thời gian cực ngắn. Từ đó, xây dựng được phác đồ điều trị phù hợp.
Đối với trẻ sơ sinh, đặc biệt là sinh non và có bệnh lý, Big data được ứng dụng để phân tích nhịp tim và sự thở của từng bé. Nhờ vào những thuật toán, Big data giúp giám sát, phân tích và dự đoán trước khả năng nhiễm trùng trên từng cá thể bệnh nhi giúp cứu sống nhiều trẻ sơ sinh vốn còn rất yếu ớt.
Thực tế nhất hiện nay là tình hình dịch bệnh lan tràn khắp Thế giới. Big data được ứng dụng để không chỉ thống kê số người nhiễm bệnh mà còn tham gia vào phân tích hệ gen đặc thù của virus Covid-19 (hiện nay phát hiện chủng L và chủng S), những đối tượng nào dễ nhiễm bệnh nhất, những đối tượng nào dễ bị virus phá hủy nhất, tập hợp hồ sơ y khoa của từng người, những bệnh nền người đó đã mắc sẵn hay danh sách những đối tượng nghi nhiễm.
Kinh doanh tài chính, ngân hàng
Mọi ngân hàng đều có một dữ liệu rất lớn từ thông tin hồ sơ khách hàng cho đến khả năng tài chính, thói quen tiết kiệm và đầu tư, tình trạng gia đình và nhu cầu vay tiêu dùng, hệ thống ATM, giám sát, mobile banking, hệ thống lưu trữ dữ liệu chuyên ngành, tín dụng, hệ thống liên quan đến ngân hàng nhà nước, thuế, hệ thống giao dịch…
Đầu tư chứng khoán hay cổ phiếu cũng có sự tham gia của dữ liệu lớn và các quyết định mua bán, giao dịch cũng từ thuật toán dữ liệu mà ra. Những công cụ Big data mang lại như Google Trends được sử dụng để phân tích tâm lý khách hàng hay điển hình là HFT (hoạt động giao dịch tần suất cao) giúp nhà quản lý, công ty chứng khoán phát hiện những lỗ hổng trong giao dịch hoặc những hành vi gian lận. Ở Mỹ, công cụ này chiếm hơn 60% các hoạt động giao dịch chứng khoán.
An ninh, chính trị, pháp luật
Big Data được ứng dụng trong việc cải thiện nền an ninh quốc gia, bảo mật thông tin và giúp thực thi pháp luật trên toàn quốc. Cơ quan công an sử dụng Big data để truy lùng, bắt tội phạm và theo dõi hành vi sau khi được mãn hạn tù, dự đoán những vụ tấn công, khủng bố cũng như phát hiện những gian lận kinh tế.
Tối ưu hóa máy móc, thiết bị
Big data tham gia vào việc giúp thiết bị, máy móc làm việc hiệu quả và thông minh hơn. Ví dụ, công cụ Big data được sử dụng vào việc vận hành xe tự lái, trang bị máy ảnh hay hệ thống GPS trên xe nhằm cải thiện chất lượng lưu thông mà giảm thiểu tối đa sự tham gia của con người.
Xây dựng thành phố thông minh hơn
Công cụ Big data trong việc xây dựng hệ thống giao thông, hạ tầng một cách khoa học. Big data lưu trữ, phân tích và đưa ra những dữ liệu về luồng giao thông, thời gian cao điểm, thấp điểm và nhu cầu lưu thông của các tuyến đường, tình trạng tai nạn giao thông hay vi phạm giao thông.
…và còn nhiều ứng dụng to lớn khác mà Thế Giới chưa khai thác.
Học Big data bạn phải chuẩn bị gì?
Trên Thế giới sử dụng Big data khá rộng rãi. Tại Việt Nam, trong khi nhu cầu về Big data cực kỳ lớn nhưng nhân lực vẫn còn hạn chế. Để tiên phong trong lĩnh vực này, bạn cần biết chuẩn bị thật tốt để trở thành một kỹ sư Big data thực thụ.
Cơ bản về Big data
Trước khi học những cái khó hơn như ngôn ngữ lập trình, thuật toán… bạn cần am hiểu từ gốc rễ như khởi nguồn là văn bản giấy đến số hóa, excel, cơ sở dữ liệu SQL và các công cụ cụ thể khác của Big data.
Học một ngôn ngữ lập trình
Python hay Java là ngôn ngữ lập trình mà bạn cần học nếu muốn bắt đầu với công việc Big data. Sau đó, hãy tìm hiểu những công nghệ sử dụng cho Big data phổ biến như Hadoop, Spark, NoSQL, Kafka, Storm để có một nền tảng nhất định về mô hình lập trình, cấp cao hơn có thể kể đến như H2O hay Tableau.
Những kỹ thuật cơ bản của Big data
Ở đây, cụ thể nói đến kỹ thuật phổ biến nhất mà kỹ sư Big data nào cũng biết: MapReduce. MapReduce là môi trường Java dùng để viết những chương trình cho YARN. Có 2 chức năng chính:
Map:
- Tập hợp dữ liệu
- Chuyển đổi thành bộ dữ liệu khác với các cặp khóa và giá trị.
Reduce:
- Lấy đầu ra từ Map làm đầu vào của Reduce, giảm tác vụ tạo thành một bộ dữ liệu nhỏ hơn cái ban đầu. Reduce luôn được thực hiện sau Map.
Khi viết ứng dụng bằng kỹ thuật MapReduce, ta có thể mở rộng để chạy ứng dụng trên hàng chục nghìn máy chỉ với việc thay đổi cấu hình.
Nếu như ngày trước, dầu mỏ, vàng bạc được đánh giá là kho báu. Thì ngày nay, Big data sẽ giúp mang lại nhiều thành công cho những người am hiểu và ứng dụng được nó nhờ khả năng lưu trữ, phân tích và trích xuất thông tin hữu ích cho người dùng.
Ban biên tập: Ecci
Tham khảo