Công nghệ nâng cấp hình ảnh mới bằng AI của Google đã có một số cải tiến đáng kể góp phần đem tới khả năng tái tạo các bức ảnh có chất lượng thấp thành chất lượng cao.
Việc nâng cao chất lượng và cải thiện độ sắc nét của hình ảnh trong phim và chương trình thường bị chê bai vì không đạt được tính tối ưu. Nhưng một nghiên cứu về cách tăng cường chất lượng hình ảnh của Google bằng cách sử dụng AI cho thấy không gì là không thể.
Trong một bài đăng có tiêu đề “Tạo hình ảnh trung thực cao bằng mô hình khuếch tán” mới được chia sẻ trên Google AI Blog, các nhà nghiên cứu trong nhóm Brain Team của Google đã chia sẻ về những đột phá mới liên quan đến hình ảnh siêu phân giải.
Với một bức ảnh siêu độ phân giải, mô hình máy học được đào tạo có thể biến ảnh có độ phân giải thấp thành ảnh độ phân giải cao với đủ chi tiết. Ứng dụng tiềm năng của công nghệ này có rất nhiều, bao gồm việc khôi phục lại ảnh cũ và cải thiện chất lượng hình ảnh trong thăm khám và chữa trị các căn bệnh.
Google đã và đang khám phá ra một khái niệm mới được gọi là “mô hình khuếch tán” từng được đề xuất vào năm 2015. Tuy nhiên phải cho đến gần đây, nó mới trở thành cơ sở cho một nhóm các phương pháp học sâu có tên “diffusion models”. Công ty nhận thấy, kết quả từ nghiên cứu của họ với cách tiếp cận mới sẽ giúp đánh bại các công nghệ hiện có.
Cách tiếp cận đầu tiên được gọi là SR3, hoặc Super-Resolution via Repeated Refinement. Đây là giải thích kỹ thuật:
“SR3 là mô hình khuếch tán siêu phân giải lấy đầu vào là hình ảnh có độ phân giải thấp và tạo ra hình ảnh có độ phân giải cao tương ứng. Mô hình sẽ được đào tạo về quy trình khiến cho hình ảnh bị hỏng, trong đó các phần bị noise sẽ được thêm dần vào hình ảnh có độ phân giải cao cho đến khi chỉ còn lại những hạt noise ít nhất. Sau đó, nó học cách đảo ngược quá trình này bắt đầu từ những hạt noise ít nhất và loại bỏ dần những hạt noise để đạt được mục tiêu thông qua hướng dẫn của hình ảnh đầu vào có độ phân giải thấp”.
SR3 đã được chứng minh hoạt động tốt trong việc nâng cấp ảnh chân dung và ảnh tự nhiên. Khi được sử dụng để nâng cấp độ phân giải lên 8x trên khuôn mặt, tỷ lệ phục hồi của nó đạt tới gần 50% trong khi các phương pháp hiện có chỉ là 34%. Nó cũng cho thấy kết quả thực sự giống với hình ảnh thực tế.
Dưới đây là các ảnh chân dung khác được nâng cấp từ ảnh gốc có độ phân giải thấp:
Khi Google nhìn thấy hiệu quả của SR3 trong việc nâng cấp ảnh, công ty đã tiến thêm một bước với cách tiếp cận thứ hai có tên CDM, một mô hình khuếch tán có điều kiện theo lớp.
“CDM là mô hình khuếch tán có điều kiện theo lớp được đào tạo dựa trên dữ liệu ImageNet để tạo ra hình ảnh tự nhiên có độ phân giải cao. Vì ImageNet là một tập dữ liệu khó, entropy cao, chúng tôi đã xây dựng CDM như một chuỗi gồm nhiều mô hình khuếch tán. Phương pháp tiếp cận theo tầng này bao gồm việc xâu chuỗi nhiều mô hình tạo ra với nhau trên một số độ phân giải không gian: một mô hình khuếch tán tạo ra dữ liệu ở độ phân giải thấp, tiếp theo là một chuỗi các mô hình khuếch tán siêu phân giải SR3, tăng dần độ phân giải của hình ảnh để tạo lên độ phân giải cao nhất”.
Google đã xuất bản một tập hợp các ví dụ hiển thị các bức ảnh có độ phân giải thấp được nâng cấp theo tầng. Ảnh 32 × 32 có thể được nâng cấp lên 64 × 64 và sau đó là 256 × 256. Ảnh 64 × 64 có thể được nâng cấp lên 256 × 256 và sau đó là 1024 × 1024.
Các nhà nghiên cứu của Google chia sẻ: “Với SR3 và CDM, chúng tôi đã đẩy hiệu suất của các mô hình khuếch tán lên mức cao nhất trên các tiêu chuẩn tạo ImageNet có độ phân giải siêu cao. Chúng tôi rất vui khi được kiểm tra thêm các giới hạn của các mô hình khuếch tán đối với nhiều mô hình tổng hợp khác nhau”.
Việc nâng cao chất lượng và cải thiện độ sắc nét của hình ảnh trong phim và chương trình thường bị chê bai vì không đạt được tính tối ưu. Nhưng một nghiên cứu về cách tăng cường chất lượng hình ảnh của Google bằng cách sử dụng AI cho thấy không gì là không thể.
Trong một bài đăng có tiêu đề “Tạo hình ảnh trung thực cao bằng mô hình khuếch tán” mới được chia sẻ trên Google AI Blog, các nhà nghiên cứu trong nhóm Brain Team của Google đã chia sẻ về những đột phá mới liên quan đến hình ảnh siêu phân giải.
Với một bức ảnh siêu độ phân giải, mô hình máy học được đào tạo có thể biến ảnh có độ phân giải thấp thành ảnh độ phân giải cao với đủ chi tiết. Ứng dụng tiềm năng của công nghệ này có rất nhiều, bao gồm việc khôi phục lại ảnh cũ và cải thiện chất lượng hình ảnh trong thăm khám và chữa trị các căn bệnh.
Google đã và đang khám phá ra một khái niệm mới được gọi là “mô hình khuếch tán” từng được đề xuất vào năm 2015. Tuy nhiên phải cho đến gần đây, nó mới trở thành cơ sở cho một nhóm các phương pháp học sâu có tên “diffusion models”. Công ty nhận thấy, kết quả từ nghiên cứu của họ với cách tiếp cận mới sẽ giúp đánh bại các công nghệ hiện có.
Cách tiếp cận đầu tiên được gọi là SR3, hoặc Super-Resolution via Repeated Refinement. Đây là giải thích kỹ thuật:
“SR3 là mô hình khuếch tán siêu phân giải lấy đầu vào là hình ảnh có độ phân giải thấp và tạo ra hình ảnh có độ phân giải cao tương ứng. Mô hình sẽ được đào tạo về quy trình khiến cho hình ảnh bị hỏng, trong đó các phần bị noise sẽ được thêm dần vào hình ảnh có độ phân giải cao cho đến khi chỉ còn lại những hạt noise ít nhất. Sau đó, nó học cách đảo ngược quá trình này bắt đầu từ những hạt noise ít nhất và loại bỏ dần những hạt noise để đạt được mục tiêu thông qua hướng dẫn của hình ảnh đầu vào có độ phân giải thấp”.
SR3 đã được chứng minh hoạt động tốt trong việc nâng cấp ảnh chân dung và ảnh tự nhiên. Khi được sử dụng để nâng cấp độ phân giải lên 8x trên khuôn mặt, tỷ lệ phục hồi của nó đạt tới gần 50% trong khi các phương pháp hiện có chỉ là 34%. Nó cũng cho thấy kết quả thực sự giống với hình ảnh thực tế.
Dưới đây là các ảnh chân dung khác được nâng cấp từ ảnh gốc có độ phân giải thấp:
Khi Google nhìn thấy hiệu quả của SR3 trong việc nâng cấp ảnh, công ty đã tiến thêm một bước với cách tiếp cận thứ hai có tên CDM, một mô hình khuếch tán có điều kiện theo lớp.
“CDM là mô hình khuếch tán có điều kiện theo lớp được đào tạo dựa trên dữ liệu ImageNet để tạo ra hình ảnh tự nhiên có độ phân giải cao. Vì ImageNet là một tập dữ liệu khó, entropy cao, chúng tôi đã xây dựng CDM như một chuỗi gồm nhiều mô hình khuếch tán. Phương pháp tiếp cận theo tầng này bao gồm việc xâu chuỗi nhiều mô hình tạo ra với nhau trên một số độ phân giải không gian: một mô hình khuếch tán tạo ra dữ liệu ở độ phân giải thấp, tiếp theo là một chuỗi các mô hình khuếch tán siêu phân giải SR3, tăng dần độ phân giải của hình ảnh để tạo lên độ phân giải cao nhất”.
Google đã xuất bản một tập hợp các ví dụ hiển thị các bức ảnh có độ phân giải thấp được nâng cấp theo tầng. Ảnh 32 × 32 có thể được nâng cấp lên 64 × 64 và sau đó là 256 × 256. Ảnh 64 × 64 có thể được nâng cấp lên 256 × 256 và sau đó là 1024 × 1024.
Các nhà nghiên cứu của Google chia sẻ: “Với SR3 và CDM, chúng tôi đã đẩy hiệu suất của các mô hình khuếch tán lên mức cao nhất trên các tiêu chuẩn tạo ImageNet có độ phân giải siêu cao. Chúng tôi rất vui khi được kiểm tra thêm các giới hạn của các mô hình khuếch tán đối với nhiều mô hình tổng hợp khác nhau”.
Theo VN review
