⭐️ Tên bài báo: Distilling Large Language Models for Structured Query Language Generation with Reverse Kullback–Leibler and Dynamic α Scheduler

Tác giả: Lê Hồ Bảo Nhật và Ninh Trần Hoàng Quân (Cựu sinh viên hệ Chất lượng cao Khóa tuyển 2020)

Người hướng dẫn:

- TS. Nguyễn Tiến Huy – Giảng viên Khoa Công nghệ Thông tin, Trường Đại học Khoa học tự nhiên, ĐHQG-HCM;

- TS. Lê Thanh Tùng – Giảng viên Khoa Công nghệ Thông tin, Trường Đại học Khoa học tự nhiên, ĐHQG-HCM.

✅ Tóm tắt công trình: Bài báo tập trung vào hướng nghiên cứu Text-to-SQL – chuyển đổi ngôn ngữ tự nhiên thành câu lệnh SQL, một công nghệ quan trọng giúp con người khai thác dữ liệu dễ dàng và hiệu quả hơn.

✅ Nghiên cứu đã đề xuất phương pháp knowledge distillation mới với hai cải tiến nổi bật:

✨ Ứng dụng Reverse Kullback–Leibler Divergence để nâng cao sự ổn định và chính xác khi học từ mô hình ngôn ngữ lớn.

✨ Giới thiệu Dynamic α Scheduler, cơ chế điều chỉnh động mức độ ảnh hưởng giữa mô hình “teacher” và “student” trong từng giai đoạn huấn luyện.

Phương pháp này giúp xây dựng các mô hình gọn nhẹ, tiết kiệm tài nguyên nhưng vẫn duy trì hiệu quả cao, đặc biệt phù hợp cho triển khai trên thiết bị đầu cuối như điện thoại di động, IoT và các nền tảng phân tích dữ liệu thông minh.

Link bài báo: https://doi.org/10.1016/j.compeleceng.2025.110607

Về tạp chí Computers and Electrical Engineering: Đây là tạp chí khoa học quốc tế uy tín thuộc nhà xuất bản Elsevier, được xếp hạng Q1. Tạp chí chuyên công bố các công trình chất lượng trong các lĩnh vực trí tuệ nhân tạo, học máy, điện toán, kỹ thuật điện – điện tử và hệ thống thông minh, có tầm ảnh hưởng rộng rãi trong cộng đồng khoa học quốc tế.

Xin chúc mừng các tác giả và thầy hướng dẫn với thành tựu nghiên cứu xuất sắc này.

Chúc bạn sẽ tiếp tục đạt được thành công trong tương lai. 

(Ảnh: từ trái sang là TS. Lê Thanh Tùng, tác giả Ninh Trần Hoàng Quân, tác giả Lê Hồ Bảo Nhật và TS. Nguyễn Tiến Huy)