Ảnh minh hoạ bởi Unsplash
Hãy nhắm mắt lại và tưởng tượng về cách bạn giao tiếp với thế giới xung quanh. Khi một người bạn kể chuyện cười, bạn không chỉ "đọc" kịch bản bằng chữ trong đầu. Bạn nghe được giọng điệu châm biếm của họ (Âm thanh), bạn nhìn thấy cái nháy mắt ranh mãnh của họ (Hình ảnh chuyển động), và bạn kết hợp tất cả các giác quan đó lại để bật cười. Con người luôn xử lý thông tin dưới dạng Đa phương thức (Multimodal).
Tuy nhiên, suốt hàng chục năm qua, máy tính lại là một kẻ "mù, điếc, và câm" đúng nghĩa. Nó bị nhốt trong một cái lồng chật hẹp của Văn bản (Text). Nếu bạn muốn máy tính phân tích một bức ảnh, bạn phải thuê một lập trình viên hì hục gõ mã code bằng chữ mô tả bức ảnh đó. Kỷ nguyên của văn bản thuần túy đã trói buộc tiềm năng thực sự của công nghệ. Nhưng giờ đây, những phiên bản AI mới nhất (như GPT-4o, Gemini 1.5 Pro) đã chính thức chọc thủng cái lồng đó, mang đến cho máy móc khả năng Mở Mắt và Vểnh Tai. Chào mừng bạn đến với kỷ nguyên của AI Đa Phương Thức (Multimodal AI).
Phần 1: Sự Đột Phá Khỏi Chiếc Lồng "Văn Bản"
AI Đa phương thức không phải là việc ghép 3 phần mềm rời rạc lại với nhau (Một phần mềm đọc chữ + một phần mềm nhận diện ảnh + một phần mềm nghe giọng nói). Kiểu ghép nối đó rất chậm và hay bị mất mát thông tin. Đột phá thực sự nằm ở chỗ: Một bộ não duy nhất được huấn luyện đồng thời trên cả Hình ảnh, Âm thanh, Video và Chữ viết ngay từ gốc rễ (Natively Multimodal).
Hãy xem một ví dụ kinh điển: Nếu bạn gửi cho AI bức ảnh chụp màn hình một biểu đồ doanh thu đang lao dốc không phanh, và bật micro hỏi bằng giọng nói đầy lo lắng: "Này AI, tình hình tháng này có vẻ tệ nhỉ, cậu phân tích thử xem?".
AI sẽ lập tức QUAN SÁT biểu đồ (thấy mũi tên đỏ đâm xuống), NGHE được sự hoang mang trong chất giọng của bạn (sóng âm thanh), và TRẢ LỜI bằng một giọng nói trầm tĩnh an ủi: "Vâng, đúng là doanh thu tháng 8 đã giảm 20% so với tháng trước do mảng bán lẻ sụt giảm, anh đừng quá lo, tôi đề xuất 3 giải pháp kích cầu sau...". Nó hiểu bạn giống hệt cách một người đồng nghiệp bằng xương bằng thịt đang ngồi cạnh bạn hiểu bạn.
Phần 2: Sức Mạnh Đáng Sợ Của Việc "Mở Mắt" - Phân Tích Hình Ảnh
Ứng dụng mạnh mẽ nhất và đang bùng nổ nhất của Multimodal AI chính là khả năng Thị giác máy tính (Computer Vision) kết hợp LLM (được gọi là Vision-Language Models).
- Dịch ngược từ Bản phác thảo (Sketch-to-Code): Một designer vẽ nguệch ngoạc giao diện app lên một tờ giấy ăn (khăn giấy) bằng bút chì. Chụp tờ giấy đó đưa cho ChatGPT. Vài giây sau, ChatGPT nhả ra một file code HTML/CSS tạo ra giao diện website y hệt bức vẽ tay đó. Đây không còn là phép thuật, nó đã trở thành công cụ thường ngày của giới Dev.
- Đọc biểu đồ và bảng biểu phức tạp: Trước đây, để máy tính đọc báo cáo tài chính PDF, con người rất khốn khổ vì bảng biểu thường bị máy tính hiểu lộn xộn cột nọ xọ cột kia. Giờ đây, bạn cứ việc quăng nguyên bức ảnh chụp cái bảng đó vào AI. Khả năng không gian (Spatial Reasoning) của AI đủ sức nhìn và biết chính xác số "100 triệu" nằm ở cột Doanh thu tháng 1.
- Ứng dụng trong Y tế: Các bác sĩ đang tải phim chụp X-Quang, ảnh siêu âm lên các mô hình AI y tế chuyên biệt (Med-PaLM) để AI khoanh vùng chỉ ra những điểm mờ nghi ngờ là khối u mà mắt thường của bác sĩ có thể bị bỏ sót sau ca trực 24h mệt mỏi.
Phần 3: Đôi Tai Siêu Nhạy Và Khả Năng Xử Lý Video (Âm Thanh & Hình Ảnh Chuyển Động)
Nếu hình ảnh là một điểm dừng tĩnh lặng, thì Video là một dòng chảy thông tin khổng lồ chứa hàng ngàn khung hình (Frames) và âm thanh hòa quyện. Google Gemini 1.5 Pro đã làm chấn động giới công nghệ khi có thể "nuốt" trọn một đoạn video dài 1 tiếng đồng hồ vào bộ nhớ.
- Trích xuất Sự kiện trong Video: Hãy ném một đoạn video camera an ninh dài 24 tiếng đồng hồ vào AI và ra lệnh: "Tìm cho tôi khoảnh khắc có người mặc áo đỏ đi qua cửa". AI sẽ tua thẳng đến phút thứ 45:12 và trả kết quả ngay lập tức, tiết kiệm cho nhân viên an ninh hàng ngày trời phải ngồi căng mắt ra dòm màn hình.
- Bóc băng và Dịch thuật Âm thanh (Audio Transcription): Các tổng đài viên chăm sóc khách hàng (Call Center) hiện đang được gắn AI vào tai nghe. Khi một khách hàng gọi điện phàn nàn và chửi bới, AI sẽ Lắng Nghe cuộc hội thoại (Speech-to-Text), phân tích cảm xúc (Sentiment Analysis) rằng khách hàng đang Rất Giận Dữ, và lập tức hiện lên màn hình của nhân viên câu nói làm dịu tình hình tốt nhất. Tất cả diễn ra trong thời gian thực (Real-time).
Phần 4: Bài Toán "Tam Giác Quỷ" Về Tính Chân Thực (Deepfake)
Tuy nhiên, công nghệ nào cũng có bóng tối của nó. Khi AI có khả năng NHẬN DIỆN đa phương thức xuất sắc, nó cũng đồng thời có khả năng TẠO RA (Generate) đa phương thức xuất sắc không kém. Và đây chính là nguồn cơn của thảm họa Deepfake (Giả mạo sâu).
Bạn nhận được một cuộc gọi Zalo video. Đầu dây bên kia hiện lên khuôn mặt người mẹ ruột của bạn, với chất giọng địa phương quen thuộc, đang mếu máo nói rằng bà vừa bị tai nạn cần chuyển gấp 50 triệu viện phí. Bạn hoảng hốt chuyển tiền. Nhưng sự thật là: Không có tai nạn nào cả. Khuôn mặt đó, giọng nói đó hoàn toàn do AI tạo ra từ một video cũ mẹ bạn đăng trên Facebook cách đây 2 năm. Kẻ gian đã lợi dụng AI Đa phương thức để dựng lên một vở kịch lừa đảo hoàn hảo.
Xã hội loài người sắp bước vào giai đoạn khủng hoảng niềm tin chưa từng có: Chúng ta không thể tin vào những gì mắt thấy tai nghe trên màn hình nữa. "Có video làm bằng chứng" sẽ không còn là một khẳng định chắc nịch trước tòa án.
Lời kết:
Sự hội tụ của Đa phương thức đang hoàn thiện mảnh ghép cuối cùng để máy tính thực sự "bước ra ngoài đời thực". Các cỗ máy robot giờ đây đã có thể được trang bị một camera trên đầu, quan sát môi trường xung quanh (tránh né chướng ngại vật) và nói chuyện với con người bằng ngôn ngữ tự nhiên.
Nhưng đối với thị trường Việt Nam chúng ta, trước khi mơ về viễn cảnh robot dọn nhà, các doanh nghiệp đang phải vật lộn với một bài toán sống còn tưởng chừng đơn giản nhưng lại siêu hóc búa: Bóc tách tự động dữ liệu từ Giấy tờ tùy thân, Hóa đơn đỏ, Biên lai ngân hàng của người Việt. Một bài toán mà các ông lớn AI thế giới như ChatGPT vẫn thường xuyên ngã ngựa vì vấp phải Rào cản tiếng Việt phức tạp. Mời bạn cùng tôi khám phá "nỗi đau" này trong bài viết tiếp theo: OCR tiếng Việt - Cuộc chiến đằng sau những con chữ có dấu.
