Đề 15 – Bài tập, đề thi trắc nghiệm online Khai phá dữ liệu

Rời bỏ giá trị ngoại lai (Outlier Removal) là phương pháp trực tiếp nhất để giảm ảnh hưởng của outliers bằng cách loại bỏ chúng khỏi tập dữ liệu. Các phương pháp khác có thể không trực tiếp giải quyết vấn đề outliers.

Recall (độ phủ) đo lường khả năng của mô hình trong việc tìm ra tất cả các trường hợp dương tính thực tế. Nó được tính bằng số lượng True Positives chia cho tổng số True Positives và False Negatives.

TF-IDF (Term Frequency-Inverse Document Frequency) là một kỹ thuật để tính trọng số quan trọng của từ trong một văn bản so với toàn bộ tập văn bản, giúp xác định từ nào quan trọng và đặc trưng cho từng văn bản.

Phân loại dữ liệu (Data Classification) là một kỹ thuật khai phá dữ liệu để xây dựng mô hình dự đoán lớp, trong khi chuẩn hóa, rời rạc hóa và làm sạch dữ liệu là các phương pháp tiền xử lý dữ liệu để cải thiện chất lượng dữ liệu trước khi khai phá.

Dữ liệu nhiễu là dữ liệu không chính xác, lỗi, hoặc không liên quan, gây ảnh hưởng tiêu cực đến quá trình khai phá và kết quả. Nó khác với dữ liệu thiếu giá trị hoặc dữ liệu lớn về kích thước.

Quá khớp (overfitting) xảy ra khi mô hình học quá chi tiết dữ liệu huấn luyện, bao gồm cả nhiễu, dẫn đến hiệu suất tốt trên dữ liệu huấn luyện nhưng kém khi tổng quát hóa trên dữ liệu mới (tập kiểm thử).

F1-score là trung bình điều hòa của precision và recall, trở nên quan trọng hơn accuracy khi dữ liệu bị mất cân bằng lớp, vì accuracy có thể bị đánh lừa bởi lớp chiếm đa số. F1-score đánh giá toàn diện hơn khi các lớp không có tỷ lệ mẫu tương đương.

Precision (độ chính xác) đo lường tỷ lệ dự đoán dương tính chính xác trong số tất cả các trường hợp được dự đoán là dương tính. Nó được tính bằng số lượng True Positives chia cho tổng số True Positives và False Positives.

Điền giá trị trung bình (Mean Imputation) là một phương pháp phổ biến để xử lý dữ liệu thiếu, bằng cách thay thế các giá trị thiếu bằng giá trị trung bình của thuộc tính đó. Các lựa chọn khác không trực tiếp giải quyết vấn đề dữ liệu thiếu.

Trực quan hóa dữ liệu sử dụng đồ họa để biểu diễn thông tin, giúp con người nhận diện mẫu, xu hướng và hiểu dữ liệu một cách trực quan và dễ dàng hơn, hỗ trợ quá trình phân tích và ra quyết định.

Hồi quy (Regression) là kỹ thuật phù hợp để dự đoán giá trị số liên tục (giá nhà) dựa trên các biến đầu vào, khác với phân loại (cho đầu ra rời rạc).

Giảm chiều dữ liệu nhằm mục đích đơn giản hóa dữ liệu bằng cách giảm số lượng thuộc tính, giúp giảm phức tạp tính toán và tránh `lời nguyền chiều cao′, trong khi vẫn cố gắng bảo toàn thông tin quan trọng.

Phân tích thành phần chính (PCA) là một kỹ thuật giảm chiều dữ liệu hiệu quả, biến đổi dữ liệu sang một không gian mới với số chiều ít hơn nhưng vẫn giữ lại phần lớn phương sai của dữ liệu gốc.

Support (độ hỗ trợ) của một tập mục đo lường tần suất xuất hiện của tập mục đó trong toàn bộ cơ sở dữ liệu giao dịch, thường được biểu diễn bằng tỷ lệ phần trăm giao dịch chứa tập mục.

Học có giám sát sử dụng dữ liệu đã được gán nhãn để huấn luyện mô hình. Cây quyết định (Decision Tree) là một thuật toán phân loại thuộc nhóm học có giám sát, trong khi K-Means, Apriori và PCA thuộc nhóm học không giám sát hoặc giảm chiều dữ liệu.

Tập huấn luyện (training set) là dữ liệu được sử dụng để huấn luyện hoặc xây dựng mô hình khai phá dữ liệu trong các bài toán học có giám sát. Tập kiểm thử (test set) được dùng để đánh giá hiệu suất.

CRISP-DM là quy trình chuẩn cho khai phá dữ liệu, bao gồm các bước: Hiểu nghiệp vụ, Hiểu dữ liệu, Chuẩn bị dữ liệu, Mô hình hóa, Đánh giá và Triển khai. Lập trình không phải là một bước chính thức trong CRISP-DM.

Boosting là một kỹ thuật học tập hợp (ensemble learning), kết hợp nhiều mô hình yếu (weak learners) để tạo ra một mô hình mạnh mẽ hơn. Các phương pháp boosting như AdaBoost và Gradient Boosting thường được sử dụng để cải thiện độ chính xác của mô hình.

Chia dữ liệu thành các tập khác nhau giúp đánh giá khách quan hiệu suất mô hình trên dữ liệu chưa từng thấy (tập kiểm thử), và tập xác thực dùng để tinh chỉnh siêu tham số, từ đó đảm bảo mô hình tổng quát hóa tốt và tránh hiện tượng quá khớp.

K-Means là một thuật toán phân cụm phổ biến, mục tiêu là chia dữ liệu thành k cụm khác nhau dựa trên độ tương đồng về khoảng cách, không phải phân loại, hồi quy hay khai thác luật kết hợp.

Phân cụm (Clustering) là kỹ thuật chính để nhóm các đối tượng tương tự lại với nhau mà không cần nhãn lớp định trước, phù hợp với việc phân nhóm khách hàng dựa trên hành vi mua sắm.

Độ chính xác (Accuracy) là một độ đo phổ biến để đánh giá hiệu suất của mô hình phân loại, biểu thị tỷ lệ dự đoán đúng trên tổng số dự đoán. RMSE, MAE, và SSE thường được dùng cho bài toán hồi quy.

Tiền xử lý dữ liệu nhằm mục đích làm sạch, chuyển đổi và tích hợp dữ liệu, cải thiện chất lượng dữ liệu đầu vào, từ đó nâng cao hiệu quả của các thuật toán khai phá.

Dữ liệu thứ bậc, thể hiện mối quan hệ cha-con hoặc cấp bậc, thường được biểu diễn tự nhiên nhất bằng cấu trúc cây (tree), trong đó mỗi nút con thuộc về một nút cha. Đồ thị có thể biểu diễn mối quan hệ phức tạp hơn, bảng và ma trận phù hợp với dữ liệu phẳng hơn.

Apriori là một thuật toán kinh điển trong khai thác luật kết hợp, được thiết kế để tìm kiếm các tập mục phổ biến trong cơ sở dữ liệu giao dịch, từ đó sinh ra các luật kết hợp.

Dữ liệu định danh (categorical data) biểu diễn các nhóm, danh mục hoặc nhãn, ví dụ như màu sắc (đỏ, xanh, vàng) hoặc loại sản phẩm (quần áo, điện tử, thực phẩm). Nó khác với dữ liệu số hoặc dữ liệu thời gian.

Độ tin cậy (confidence) của luật A → B được định nghĩa là P(B|A), tức là xác suất tìm thấy B trong các giao dịch đã chứa A.

Kho dữ liệu (data warehouse) được thiết kế để lưu trữ dữ liệu lịch sử, tích hợp từ nhiều nguồn khác nhau, đã được làm sạch và chuyển đổi, phục vụ cho mục đích phân tích và báo cáo, khác với các hệ thống giao dịch trực tuyến.

Phát hiện dị thường (Anomaly Detection) là kỹ thuật lý tưởng để xác định các giao dịch gian lận thẻ tín dụng, vì các giao dịch này thường là những trường hợp bất thường, khác biệt so với hành vi giao dịch thông thường.

KNN dựa trên khoảng cách giữa các điểm dữ liệu, do đó nó hoạt động tốt nhất với dữ liệu liên tục (numerical data) để tính toán khoảng cách một cách hiệu quả. Dữ liệu rời rạc, văn bản hoặc đồ thị cần xử lý thêm trước khi dùng KNN.