Đề 1 – Bài tập, đề thi trắc nghiệm online Xử lý ngôn ngữ tự nhiên

Overfitting (quá khớp) xảy ra khi mô hình học quá chi tiết dữ liệu huấn luyện, bao gồm cả nhiễu, dẫn đến hiệu suất rất tốt trên dữ liệu huấn luyện nhưng kém khi áp dụng vào dữ liệu mới chưa từng thấy.

Lemmatization chú trọng đến việc đưa từ về dạng lemma (gốc từ có nghĩa) dựa trên từ vựng và phân tích hình thái, trong khi stemming chỉ đơn giản cắt bỏ hậu tố dựa trên quy tắc, có thể tạo ra gốc từ vô nghĩa.

Mạng nơ-ron hồi quy (RNNs) được thiết kế đặc biệt để xử lý dữ liệu tuần tự, trong đó thông tin từ các bước trước ảnh hưởng đến bước hiện tại, rất phù hợp cho các tác vụ NLP như dịch máy, tạo văn bản, và phân tích chuỗi thời gian.

Cơ chế chú ý (attention mechanism) cho phép mô hình Transformer tập trung có chọn lọc vào các phần quan trọng nhất của chuỗi đầu vào khi xử lý, bằng cách gán trọng số khác nhau cho các từ dựa trên mức độ liên quan của chúng đến từ hiện tại.

Dropout là một kỹ thuật regularization giúp giảm overfitting trong mạng nơ-ron bằng cách ngẫu nhiên tắt một số nơ-ron trong quá trình huấn luyện, buộc mạng phải học các đặc trưng mạnh mẽ hơn và ít phụ thuộc vào các nơ-ron cụ thể.

Phân tích cú pháp (parsing) là quá trình phân tích cấu trúc ngữ pháp của câu, xác định mối quan hệ cú pháp giữa các từ và cụm từ để hiểu cấu trúc và ý nghĩa của câu.

Fine-tuning (tinh chỉnh) là quá trình tiếp tục huấn luyện một mô hình ngôn ngữ đã được pre-trained trên một tập dữ liệu nhỏ hơn và cụ thể hơn, liên quan đến tác vụ mục tiêu, để mô hình điều chỉnh kiến thức đã học được cho phù hợp với tác vụ mới.

Tiền xử lý nhằm mục đích làm sạch và chuẩn hóa dữ liệu văn bản bằng cách loại bỏ nhiễu và định dạng không nhất quán, từ đó giúp mô hình NLP hoạt động hiệu quả hơn.

Intent recognition (nhận dạng ý định) trong chatbot là quá trình xác định mục đích hoặc mong muốn mà người dùng muốn thể hiện qua câu nói của họ, ví dụ như đặt lịch hẹn, hỏi thông tin sản phẩm, hoặc yêu cầu hỗ trợ.

Các mô hình ngôn ngữ lớn như BERT và GPT thường được huấn luyện trước (pre-training) trên lượng lớn dữ liệu văn bản thô, không có nhãn từ internet hoặc sách, để mô hình học được các đặc trưng ngôn ngữ chung trước khi được tinh chỉnh cho các tác vụ cụ thể.

Cross-validation (kiểm định chéo) là phương pháp đánh giá mô hình bằng cách chia dữ liệu thành nhiều phần, huấn luyện trên một số phần và kiểm tra trên phần còn lại, lặp lại quá trình này để có đánh giá tổng quan và khách quan về hiệu suất mô hình.

Phân tích cảm xúc (sentiment analysis) là quá trình xác định và phân loại cảm xúc hoặc thái độ được thể hiện trong văn bản, thường là tích cực, tiêu cực hoặc trung lập.

Mặc dù lo ngại về việc NLP thay thế con người là có, nhưng các vấn đề đạo đức chính trong NLP hiện nay tập trung vào thiên kiến dữ liệu, bảo mật riêng tư, và nguy cơ lạm dụng công nghệ cho mục đích tiêu cực như thao túng thông tin, chứ không phải việc thay thế hoàn toàn con người.

Dialog management (quản lý hội thoại) trong chatbot điều phối toàn bộ cuộc hội thoại, theo dõi trạng thái, lịch sử hội thoại và ý định của người dùng để quyết định phản hồi phù hợp tiếp theo, đảm bảo hội thoại diễn ra mạch lạc và hướng đến mục tiêu.

Nhận dạng khuôn mặt là một lĩnh vực của thị giác máy tính, không phải là ứng dụng trực tiếp của Xử lý ngôn ngữ tự nhiên (NLP), vốn tập trung vào xử lý và hiểu ngôn ngữ văn bản hoặc giọng nói.

Stop words là các từ phổ biến, ít mang ý nghĩa nội dung (ví dụ: `là`, `của′, `và`). Loại bỏ chúng giúp giảm nhiễu, tăng hiệu quả xử lý và tập trung vào các từ quan trọng hơn.

Named Entity Recognition (NER) là kỹ thuật nhận diện và phân loại các thực thể có tên trong văn bản, như tên người, tổ chức, địa điểm, thời gian, v.v.

Học tăng cường (Reinforcement learning) có thể được sử dụng để huấn luyện chatbot bằng cách cho phép chatbot học cách tương tác với người dùng và cải thiện phản hồi của mình dựa trên phần thưởng (khi tương tác tốt) và phạt (khi tương tác kém), giúp tạo ra chatbot tự nhiên và hiệu quả hơn.

Stemming là kỹ thuật đơn giản, dựa trên quy tắc để loại bỏ các hậu tố (và đôi khi tiền tố) từ từ, nhằm mục đích đưa các từ về dạng gốc chung.

Tokenization là quá trình chia văn bản thành các `token′, thường là từ, cụm từ hoặc ký tự, để dễ dàng xử lý và phân tích.

Backpropagation là thuật toán cốt lõi trong huấn luyện mạng nơ-ron, dùng để tính toán gradient (độ dốc) của hàm mất mát đối với trọng số của mạng, sau đó sử dụng gradient này để điều chỉnh trọng số nhằm giảm thiểu lỗi dự đoán.

Word embeddings (biểu diễn từ) như Word2Vec và GloVe biến từ thành các vector số trong không gian đa chiều, trong đó vị trí và khoảng cách giữa các vector thể hiện sự tương đồng về ý nghĩa ngữ nghĩa giữa các từ.

NLP được ứng dụng trong y tế để phân tích hồ sơ bệnh án điện tử, báo cáo y tế, và các văn bản y khoa khác, giúp cải thiện chẩn đoán bệnh, phát triển phương pháp điều trị cá nhân hóa, và hỗ trợ nghiên cứu y học.

Beam search là thuật toán tìm kiếm heuristic dùng trong dịch máy và tạo văn bản, nó duy trì một `beam′ (chùm) các giả thuyết đầu ra tốt nhất tại mỗi bước và mở rộng chúng, thay vì chỉ chọn một giả thuyết tốt nhất duy nhất, để tăng khả năng tìm được đầu ra tốt hơn so với greedy decoding.

Part-of-speech tagging (POS tagging) là quá trình gán nhãn từ loại cho mỗi từ trong câu, xác định vai trò ngữ pháp của từ đó (như danh từ, động từ, giới từ, v.v.).

Học chuyển giao (transfer learning) cho phép tận dụng kiến thức đã học được từ một tác vụ hoặc tập dữ liệu lớn (thường là huấn luyện trước trên dữ liệu khổng lồ) để cải thiện hiệu suất trên một tác vụ mới với dữ liệu huấn luyện hạn chế hơn, giúp giảm nhu cầu về dữ liệu lớn và thời gian huấn luyện.

Mô hình ngôn ngữ (language model) là một mô hình thống kê dự đoán xác suất của một chuỗi từ xuất hiện trong ngôn ngữ, thường được sử dụng để tạo văn bản, dịch máy, và các tác vụ NLP khác.

Zero-shot learning là khả năng của mô hình NLP thực hiện tốt các tác vụ hoặc phân loại các đối tượng mà nó chưa từng được huấn luyện trực tiếp trên dữ liệu liên quan đến tác vụ đó, mà dựa trên kiến thức đã học được từ các tác vụ khác.

Kiến trúc Transformer, với cơ chế `Attention′, đã cách mạng hóa dịch máy và các tác vụ NLP khác bằng cách xử lý hiệu quả các chuỗi dài và nắm bắt mối quan hệ xa giữa các từ trong câu, vượt trội hơn RNNs trong nhiều trường hợp.

F1-score là trung bình điều hòa của Precision (độ chính xác) và Recall (độ phủ), cung cấp một thước đo cân bằng giữa khả năng dự đoán chính xác các trường hợp dương tính và khả năng tìm ra tất cả các trường hợp dương tính thực sự.