Đề 10 – Bài tập, đề thi trắc nghiệm online Dữ liệu lớn (BigData)

Trong quảng cáo trực tuyến, Dữ liệu lớn được sử dụng để phân tích hành vi người dùng, sở thích, nhân khẩu học,… để cá nhân hóa quảng cáo, hiển thị quảng cáo phù hợp với từng người, từ đó tăng tỷ lệ nhấp chuột và hiệu quả chiến dịch quảng cáo.

Hadoop là một framework mã nguồn mở được thiết kế để lưu trữ và xử lý các tập dữ liệu lớn trên các cụm máy tính. Các lựa chọn khác là hệ quản trị cơ sở dữ liệu quan hệ truyền thống, không tối ưu cho Dữ liệu lớn phân tán.

Data Lake là kho lưu trữ trung tâm cho phép lưu trữ dữ liệu thô ở định dạng gốc của nó, có thể là cấu trúc, bán cấu trúc hoặc phi cấu trúc. Mục đích là để dữ liệu có thể được khám phá và phân tích sau này mà không cần chuyển đổi trước.

Hive là một hệ thống kho dữ liệu được xây dựng trên Hadoop, cho phép truy vấn và phân tích dữ liệu lớn bằng ngôn ngữ giống SQL (HiveQL). Các lựa chọn khác không được thiết kế để làm việc trực tiếp với Hadoop hoặc phân tích dữ liệu quy mô lớn.

In-memory computing cho phép xử lý dữ liệu trực tiếp trong bộ nhớ RAM, nhanh hơn đáng kể so với truy cập dữ liệu từ ổ cứng. Điều này rất quan trọng cho các ứng dụng Dữ liệu lớn thời gian thực, nơi tốc độ phản hồi là yếu tố then chốt.

Data Mining là quá trình khám phá tri thức, mẫu và xu hướng ẩn từ các tập dữ liệu lớn. Mục tiêu là biến dữ liệu thô thành thông tin hữu ích và có giá trị, hỗ trợ ra quyết định và dự đoán.

Quản lý danh sách khách hàng trong một cửa hàng nhỏ thường không đòi hỏi quy mô và độ phức tạp của Dữ liệu lớn. Các ứng dụng khác như phân tích mạng xã hội, dự báo thời tiết và đề xuất sản phẩm đều là những ví dụ điển hình tận dụng khả năng xử lý lượng lớn dữ liệu của Big Data.

Hệ sinh thái Hadoop cốt lõi bao gồm HDFS (hệ thống tệp phân tán), MapReduce (mô hình lập trình xử lý dữ liệu), và YARN (hệ thống quản lý tài nguyên). Spark SQL là một công cụ mạnh mẽ để truy vấn dữ liệu trong Hadoop, nhưng nó là một phần của hệ sinh thái Spark, không phải là thành phần cốt lõi của Hadoop.

5Vs của Big Data thường bao gồm Volume, Velocity, Variety, Veracity và Value. `Veracity′ (Độ xác thực) là một V quan trọng, trong khi `Value′ (Giá trị) thường được xem là mục tiêu cuối cùng của việc xử lý Big Data. Lựa chọn 3 (Veracity) là dư thừa trong danh sách đã cho.

Ngay cả khi dữ liệu cá nhân đã được ẩn danh, việc phân tích Dữ liệu lớn có thể tiết lộ thông tin cá nhân nhạy cảm thông qua các kỹ thuật như liên kết dữ liệu, phân tích hành vi, hoặc nhận dạng lại. Đây là một rủi ro lớn về quyền riêng tư trong kỷ nguyên Dữ liệu lớn.

Data Warehouse được thiết kế cho mục đích báo cáo và Business Intelligence (BI), với dữ liệu đã được làm sạch và cấu trúc. Data Lake linh hoạt hơn, cho phép lưu trữ dữ liệu đa dạng và hỗ trợ nhiều loại hình phân tích, bao gồm cả khám phá dữ liệu và machine learning.

Do dữ liệu lớn thường phân tán trên nhiều hệ thống và đa dạng về nguồn gốc, việc quản lý và bảo vệ dữ liệu trở nên phức tạp hơn. Việc kiểm soát truy cập, mã hóa và giám sát trên toàn bộ hệ thống phân tán là một thách thức lớn về bảo mật.

Kiến trúc Lambda bao gồm lớp Batch layer, Speed layer và Serving layer. Batch layer chịu trách nhiệm xử lý toàn bộ tập dữ liệu một cách định kỳ (ví dụ: hàng ngày, hàng tuần) để tính toán các kết quả chính xác và đầy đủ. Speed layer xử lý dữ liệu thời gian thực, và Serving layer phục vụ truy vấn.

CAP theorem khẳng định rằng trong một hệ thống phân tán, chỉ có thể đảm bảo tối đa 2 trong 3 thuộc tính: Consistency (Tính nhất quán), Availability (Tính sẵn sàng) và Partition tolerance (Khả năng chịu phân vùng). Các hệ thống NoSQL thường phải đánh đổi giữa Consistency và Availability để đạt được Partition tolerance, điều cần thiết cho Dữ liệu lớn phân tán.

Apache Spark Streaming là một framework được thiết kế để xử lý dữ liệu dòng (streaming data) trong thời gian thực. Hadoop MapReduce phù hợp hơn cho xử lý dữ liệu batch (lô), còn cơ sở dữ liệu quan hệ và Data Warehouse thường không được tối ưu cho xử lý dòng dữ liệu thời gian thực.

`Schema-on-read′ có nghĩa là lược đồ dữ liệu không được xác định trước khi dữ liệu được tải vào kho, mà chỉ được áp dụng khi dữ liệu được đọc hoặc truy vấn. Data Lake thường áp dụng `schema-on-read′ để linh hoạt lưu trữ dữ liệu đa dạng mà không cần cấu trúc ngay từ đầu. Data Warehouse thường sử dụng `schema-on-write′.

Tableau là một công cụ trực quan hóa dữ liệu mạnh mẽ, phổ biến trong lĩnh vực Dữ liệu lớn. Nó cho phép người dùng tạo ra các dashboard và báo cáo tương tác, dễ dàng khám phá dữ liệu và trình bày thông tin một cách trực quan và sinh động. Các lựa chọn khác không phải là công cụ chuyên dụng cho trực quan hóa dữ liệu.

Điện toán đám mây cung cấp cơ sở hạ tầng linh hoạt, có khả năng mở rộng cao và theo mô hình trả tiền theo mức sử dụng (pay-as-you-go). Điều này giúp giảm chi phí đầu tư ban đầu cho phần cứng và cơ sở hạ tầng, đồng thời dễ dàng mở rộng tài nguyên khi nhu cầu tăng lên cho các dự án Dữ liệu lớn.

Cơ sở dữ liệu NoSQL được thiết kế để mở rộng theo chiều ngang (horizontally scalable) và xử lý hiệu quả dữ liệu phi cấu trúc hoặc bán cấu trúc, điều mà cơ sở dữ liệu quan hệ truyền thống gặp khó khăn. NoSQL thường ưu tiên tính sẵn sàng và khả năng phân vùng hơn là tính toàn vẹn ACID đầy đủ.

Value (Giá trị) là V cuối cùng và quan trọng nhất, thể hiện mục tiêu cuối cùng của việc xử lý Dữ liệu lớn. Nó đề cập đến khả năng chuyển đổi dữ liệu thô thành thông tin có giá trị, tạo ra lợi ích kinh doanh, cải thiện quyết định và tạo ra lợi thế cạnh tranh.

Feature engineering là quá trình chọn lọc, biến đổi và tạo ra các thuộc tính (features) phù hợp từ dữ liệu thô để cung cấp thông tin tốt nhất cho mô hình machine learning. Các features tốt có thể cải thiện đáng kể độ chính xác và hiệu quả của mô hình.

Data wrangling (hay data munging) là quá trình chuẩn bị dữ liệu thô để phân tích. Nó bao gồm nhiều công việc như trích xuất dữ liệu từ nhiều nguồn, làm sạch dữ liệu (xử lý giá trị thiếu, dữ liệu nhiễu), biến đổi dữ liệu và định dạng lại để phù hợp với mục đích phân tích.

ETL là viết tắt của Extract, Transform, Load, một quy trình quan trọng trong tích hợp dữ liệu và kho dữ liệu. Nó bao gồm trích xuất dữ liệu từ nguồn, biến đổi dữ liệu cho phù hợp với nhu cầu và tải dữ liệu vào hệ thống đích.

Data silos là tình trạng dữ liệu bị phân mảnh và cô lập trong các bộ phận khác nhau của tổ chức, khiến việc tích hợp và phân tích dữ liệu toàn diện trở nên khó khăn. Điều này hạn chế khả năng khai thác triệt để giá trị tiềm ẩn của Dữ liệu lớn và tạo ra bức tranh tổng thể về hoạt động kinh doanh.

Data Governance là tập hợp các chính sách, quy trình và tiêu chuẩn để quản lý dữ liệu của tổ chức. Mục tiêu chính là đảm bảo dữ liệu có chất lượng, đáng tin cậy, bảo mật và tuân thủ các quy định pháp lý, đặc biệt quan trọng trong môi trường Dữ liệu lớn.

Data virtualization là công nghệ cho phép truy cập và kết hợp dữ liệu từ nhiều nguồn khác nhau (ví dụ: cơ sở dữ liệu, Data Lake, cloud services) thành một lớp dữ liệu ảo duy nhất. Lợi ích chính là cung cấp cái nhìn thống nhất về dữ liệu mà không cần sao chép hoặc di chuyển dữ liệu vật lý, tiết kiệm thời gian và tài nguyên.

Scale-up (mở rộng chiều dọc) là nâng cấp phần cứng của một máy chủ duy nhất (ví dụ: thêm CPU, RAM). Scale-out (mở rộng chiều ngang) là thêm nhiều máy chủ vào hệ thống phân tán. Trong Dữ liệu lớn, Scale-out thường được ưa chuộng hơn vì tính linh hoạt và khả năng mở rộng lớn hơn.

Dữ liệu phi cấu trúc không có định dạng xác định trước, thường là văn bản, hình ảnh, video, âm thanh hoặc nhật ký. Tệp nhật ký máy chủ web là ví dụ điển hình của dữ liệu phi cấu trúc. Các lựa chọn khác là dữ liệu cấu trúc hoặc bán cấu trúc.

Dữ liệu lớn thường đến từ nhiều nguồn khác nhau, đa dạng về loại hình và chất lượng. Điều này dẫn đến thách thức về chất lượng dữ liệu, bao gồm dữ liệu lỗi, thiếu thông tin, không nhất quán, hoặc không chính xác. Đảm bảo chất lượng dữ liệu là yếu tố then chốt để phân tích Dữ liệu lớn hiệu quả.

Trong y tế, Dữ liệu lớn được sử dụng để phân tích dữ liệu bệnh án điện tử, dữ liệu từ thiết bị đeo, dữ liệu gen,… nhằm cải thiện chẩn đoán, điều trị, dự đoán dịch bệnh, cá nhân hóa chăm sóc sức khỏe và tối ưu hóa hoạt động bệnh viện. Các lựa chọn khác không liên quan đến ứng dụng Dữ liệu lớn trong y tế.