Chúc mừng nhóm nghiên cứu từ fit@hcmus đã chiến thắng và được chấp nhận bài báo khoa học “A Textual-Visual-Entailment-based Unsupervised Algorithm for Cheapfake Detection” trong Grand Challenge: Detecting CheapFakes, thuộc khuôn khổ hội nghị A* ACM MM 2022 (Lisbon, Bồ Đào Nha).

Về Grand Challenge Cheapfake:

“ACMMM 2022 Grand Challenge on Detecting Cheapfake” bao gồm 2 challenge như sau:

Task 1: Người tham gia được yêu cầu đưa ra các phương pháp để phát hiện bộ ba 2 chú thích - 1 hình ảnh sai ngữ cảnh. Cụ thể hơn, với các bộ ba (Image, Caption1, Caption2) làm đầu vào, mô hình được đề xuất sẽ dự đoán các nhãn lớp tương ứng (OOC hoặc NOOC). Mục tiêu cuối cùng của nhiệm vụ này không phải là xác định chú thích nào trong hai chú thích là đúng / sai, mà là để phát hiện sự tồn tại của việc hiểu sai văn bản. Mục tiêu của challenge này là hỗ trợ người kiểm tra thông tin xác thực, vì việc phát hiện bộ ba phụ đề hình ảnh xung đột cho phép họ thu hẹp không gian tìm kiếm của mình.

Task 2: Một nhãn sai ngữ cảnh từ Task 1 không đưa ra kết luận về tính xác thực của các tuyên bố. Trong thực tế, nhiều chú thích có thể không có sẵn cho một hình ảnh nhất định. Trong tình huống như vậy, nhiệm vụ của ta là xác minh liệu hình ảnh và chú thích có xác thực với nhau không. Đây là một nhiệm vụ đầy thách thức, ngay cả đối với những người kiểm duyệt là con người, khi không có kiến ​​thức trước về nguồn gốc hình ảnh. Trong challenge này, những người tham gia được yêu cầu đưa ra các phương pháp để xác định xem một cặp (Hình ảnh, Chú thích) là thật hay được tạo ra (giả).

Về phương pháp nghiên cứu:

Nội dung nghiên cứu của công trình này là xây dựng một mô hình dự đoán sự đúng/sai ngữ cảnh trong bộ ba bao gồm một bức ảnh và hai tiêu đề.

Mục tiêu của bài toán không phải là phát hiện chú thích sai so với hình ảnh, mà tập trung vào việc phát hiện sự mâu thuẫn trong ngữ cảnh. Nhóm nghiên cứu đã đề xuất hai hướng tiếp cận là sử dụng mô hình học có giám sát và mô hình kết hợp. Hướng tiếp cận bằng mô hình kết hợp đã đạt được kết quả cao hơn phương pháp baseline.

Phương pháp của nhóm vận dụng sự kết hợp giữa các mô hình SOTA trong các tác vụ Xử lí ngôn ngữ tự nhiên khác nhau, mở ra nhiều hướng mới để phát triển một hệ thống hoàn thiện hơn. Các phương pháp này sau khi kết hợp với nhau đã khắc phục được các điểm yếu của COSMOS và tăng độ chính xác thêm 7.2% trên bộ dữ liệu Test của cuộc thi. Ngoài ra, đối với tác vụ thứ hai thì phương pháp của nhóm cũng đã được áp dụng và đạt được độ chính xác 73%.

Đội thi chủ yếu gồm các thành viên đến từ CLB An toàn Thông tin, Khoa Công nghệ Thông tin, trường Đại học Khoa học Tự nhiên (ĐHQG-HCM); phối hợp với học viên cao học tại trường Đại học Công nghệ Thông tin (ĐHQG-HCM) và các thầy đến từ NICT (Nhật Bản), University of Bergen (Na Uy).

• SV Trần Quang Tiến (Chương trình Cử nhân tài năng khóa 2018).
• SV Trần Thanh Phúc (Chương trình Cử nhân tài năng khóa 2018).
• HV Lã Tuấn Vinh (HVCH trường Đại học Công nghệ Thông tin)
• ThS. Trần Anh Duy (trường Đại học Khoa học Tự nhiên)
• TS. Đào Minh Sơn (NICT, Nhật Bản)
• PGS.TS. Đặng Nguyễn Đức Tiến (University of Bergen, Na Uy)

Bp. TLSV