Mô hình AI mới nhất PaLM 2 của Google: Ít tham số, nhiều dữ liệu
PaLM 2,ôhìnhAImớinhấtPaLMcủaGoogleÍtthamsốnhiềudữliệtruyện cười vỡ bụng mô hình ngôn ngữ lớn (LLM) mới nhất của Google vừa công bố tuần trước, sử dụng dung lượng dữ liệu đào tạo gần gấp 5 lần so với “người tiền nhiệm” của năm 2022, cho phép nó có thể lập trình, giải toán và sáng tạo nội dung nâng cao hơn.
Tại sự kiện Hội nghị các nhà phát triển Google I/O, gã khổng lồ tìm kiếm đã giới thiệu PaLM 2 - mô hình ngôn ngữ được đào tạo dựa trên 3,6 ngàn tỷ mã thông báo (token). Các token này là chuỗi các từ - nền tảng tạo thành khối dùng trong đào tạo LLM dự đoán từ tiếp theo sẽ xuất hiện.
Phiên bản trước đó của PaLM được phát hành vào năm 2022 và được đào tạo bằng 780 tỷ mã thông báo.

Mặc dù Google liên tục giới thiệu sức mạnh AI trong những tác vụ tìm kiếm, email, xử lý văn bản và bảng tính, song công ty này không muốn công khai kích thước hoặc chi tiết về bộ dữ liệu đào tạo của mình. OpenAI cũng giữ bí mật chi tiết thông số huấn luyện LLM mới nhất của họ là GPT-4.
Các công ty công nghệ lý giải nguyên nhân do bản chất cạnh tranh của hoạt động kinh doanh. Cả Google và OpenAI đều đang chạy đua thu hút người dùng với các sản phẩm chatbot thay vì công cụ tìm kiếm truyền thống.
Nhỏ gọn, mạnh mẽ, tiết kiệm chi phí
Google cho biết, PaLM 2 có kích thước nhỏ gọn hơn so với những mô hình tiền nhiệm, khi được huấn luyện với 340 tỷ tham số so với 540 tỷ tham số của phiên bản trước đó. Điều này cho thấy công nghệ của công ty đang trở nên hiệu quả hơn trong thực thi những tác vụ phức tạp.
Để đạt được điều này, PaLM 2 sử dụng kỹ thuật mới gọi là “tối ưu điện toán mở rộng”, mang lại “hiệu suất tổng quát tốt hơn, bao gồm khả năng suy luận nhanh hơn với ít tham số làm giảm chi phí hoạt động”.
Mô hình AI ngôn ngữ mới nhất của Google được đào tạo trên 100 ngôn ngữ, đang thực hiện nhiều nhiệm vụ khác nhau cho 25 tính năng và sản phẩm, bao gồm cả chatbot thử nghiệm Bard. PaLM 2 có bốn phiên bản dựa trên kích cỡ, từ nhỏ nhất đến lớn nhất: Gecko (Tắc kè), Otter (Rái cá), Bison (Bò rừng) và Unicorn (Kỳ lân).
Theo các tài liệu công khai, PaLM 2 mạnh hơn bất kỳ mô hình nào hiện có. LlaMA của Facebook, ra mắt vào tháng 2, được huấn luyện dựa trên 1,4 ngàn tỷ token. Trong khi đó, lần gần nhất OpenAI công khai kích cỡ dữ liệu đào tạo cho ChatGPT là phiên bản GPT-3 với 300 tỷ mã thông báo.
Sự bùng nổ các ứng dụng AI đã tạo ra những tranh cãi xung quanh công nghệ này. Đầu năm nay, El Mahdi El Mhamdi, một nhà khoa học cấp cao tại Google Research đã từ chức để phản đối sự thiếu minh bạch của gã khổng lồ tìm kiếm.
Tuần này, CEO OpenAI Sam Altman cũng có phiên điều trần trước tiểu ban Tư pháp Thượng viện Mỹ về quyền riêng tư và công nghệ trong bối cảnh AI trở nên phổ biến. Tại đây, “cha đẻ” ChatGPT nhất trí với các nhà lập pháp rằng cần có quy định mới để quản lý AI.
(Theo CNBC)

‘Cha đẻ’ ChatGPT lo ngại AI can thiệp bầu cử Mỹ
Ngày 16/5, CEO Sam Altman của OpenAI, startup đằng sau ChatGPT bày tỏ lo ngại rằng trí tuệ nhân tạo (AI) có thể được sử dụng để can thiệp vào quá trình bầu cử.下一篇:Nhận định, soi kèo Everton vs MU, 19h30 ngày 22/2: Dễ tổn thương
相关文章:
- Nhận định, soi kèo Thanh Hóa vs Quảng Nam, 18h00 ngày 23/2: Đối thủ yêu thích
- Nhận định, soi kèo U17 Mali vs U17 Morocco, 19h00 ngày 25/11
- Nhận định, soi kèo PSS Sleman vs Barito Putera, 15h00 ngày 26/11
- Nhận định, soi kèo PSS Sleman vs Barito Putera, 15h00 ngày 26/11
- Nhận định, soi kèo Levski Sofia vs Spartak Varna, 22h45 ngày 21/2: Tôn trọng đối thủ
- Nhận định, soi kèo CSKA 1948 Sofia vs Arda, 17h45 ngày 26/11
- DJ số 1 Việt Nam làm show tại 3 nước
- Nhận định, soi kèo Selangor FA vs Perak, 16h30 ngày 25/11
- Nhận định, soi kèo Ipswich vs Tottenham, 22h00 ngày 22/2: Bất ngờ hợp lý
- Nhận định, soi kèo Sioni Bolnisi vs Merani Martvili, 17h00 ngày 27/11
相关推荐:
- Nhận định, soi kèo Saint
- Nhận định, soi kèo Nữ Thái Nguyên vs Nữ Hà Nội, 14h30 ngày 26/11
- Nhận định, soi kèo Santa Tecla vs Municipal Limeno, 8h00 ngày 26/11
- Nhận định, soi kèo Sioni Bolnisi vs Merani Martvili, 17h00 ngày 27/11
- Nhận định, soi kèo Newcastle vs Nottingham Forest, 21h00 ngày 23/2: Rút ngắn khoảng cách
- Thành viên MTV trượt ngã hài hước trên sân khấu
- Mỹ Linh tiết lộ bí quyết giữ hạnh phúc
- Mr.Đàm “ăn gạch” vì “10 năm xách dép” cho Mỹ Tâm
- Siêu máy tính dự đoán Aston Villa vs Chelsea, 00h30 ngày 23/2
- Nhận định, soi kèo Dinamo Tbilisi II vs Kolkheti Khobi, 17h00 ngày 27/11
- Nhận định, soi kèo Saint
- Nhận định, soi kèo Levski Sofia vs Spartak Varna, 22h45 ngày 21/2: Tôn trọng đối thủ
- Nhận định, soi kèo Barito Putera vs Bali United, 19h00 ngày 24/2: Lịch sử gọi tên
- Nhận định, soi kèo NorthEast United vs Bengaluru, 21h00 ngày 21/2: Bảo vệ thứ hạng top 6
- Nhận định, soi kèo Newcastle vs Nottingham Forest, 21h00 ngày 23/2: Rút ngắn khoảng cách
- Soi kèo góc Everton vs MU, 19h30 ngày 22/2
- Nhận định, soi kèo Beroe vs Hebar, 20h15 ngày 21/2: Cửa trên đáng tin
- Nhận định, soi kèo NorthEast United vs Bengaluru, 21h00 ngày 21/2: Bảo vệ thứ hạng top 6
- Nhận định, soi kèo Nice vs Montpellier, 23h15 ngày 23/2: Dìm khách xuống đáy
- Nhận định, soi kèo Barito Putera vs Bali United, 19h00 ngày 24/2: Lịch sử gọi tên