Bảng giải thích các thuật ngữ quan trọng trong khóa học CS146S
Mô hình ngôn ngữ lớn - AI được huấn luyện trên lượng text khổng lồ để hiểu và sinh văn bản. Các LLM phổ biến: GPT-4, Claude, Gemini.
Đơn vị nhỏ nhất mà LLM xử lý, có thể là một từ, một phần từ, hoặc ký tự đặc biệt. Trung bình 1 token ≈ 4 ký tự tiếng Anh.
Lượng tokens tối đa mà LLM có thể xử lý trong một lần. Claude có context window ~200K tokens, GPT-4 Turbo ~128K tokens.
Hiện tượng LLM tạo ra thông tin sai nhưng nghe có vẻ đúng và tự tin. Đây là một trong những giới hạn quan trọng cần lưu ý khi sử dụng AI.
Tham số điều chỉnh độ "sáng tạo" của LLM. Temperature = 0 cho output nhất quán, temperature cao (0.7-1.0) cho output đa dạng hơn.
Quá trình huấn luyện thêm một LLM đã có sẵn trên dữ liệu cụ thể để cải thiện hiệu suất cho task nhất định.
Kỹ thuật huấn luyện LLM bằng phản hồi từ con người, giúp model trả lời an toàn và hữu ích hơn.
Câu lệnh hoặc hướng dẫn gửi đến LLM để yêu cầu thực hiện task. Chất lượng prompt quyết định chất lượng output.
Kỹ thuật yêu cầu LLM thực hiện task mà không cung cấp ví dụ mẫu.
Cung cấp một số ví dụ mẫu trong prompt để LLM hiểu pattern cần theo.
Kỹ thuật yêu cầu LLM "suy nghĩ từng bước" trước khi đưa ra kết quả, giúp cải thiện độ chính xác cho các task phức tạp.
Kỹ thuật kết hợp tìm kiếm thông tin từ nguồn bên ngoài với LLM để sinh câu trả lời chính xác và cập nhật hơn.
Mô hình kết hợp suy luận và hành động, cho phép LLM tương tác với công cụ bên ngoài để giải quyết vấn đề.
Kỹ thuật cho phép LLM khám phá nhiều đường suy luận song song và chọn đường tốt nhất.
Hệ thống AI có khả năng tự động thực hiện chuỗi hành động để hoàn thành mục tiêu, có thể sử dụng tools và ra quyết định.
Giao thức tiêu chuẩn của Anthropic cho việc kết nối AI với tools và resources bên ngoài. Cho phép AI truy cập files, databases, APIs một cách an toàn.
Khả năng của LLM gọi các functions/tools được định nghĩa sẵn để thực hiện các tác vụ cụ thể như search, code execution, API calls.
Công cụ AI coding của Anthropic, hoạt động trong terminal để hỗ trợ viết code, debug, và quản lý codebase.
AI IDE dựa trên VS Code, tích hợp AI trực tiếp vào môi trường phát triển với các tính năng như chat, autocomplete, và code generation.
AI software engineer của Cognition, có khả năng tự động thực hiện các task phát triển phần mềm phức tạp.
Quy trình làm việc mà AI agent chủ động thực hiện nhiều bước, ra quyết định và tương tác với môi trường để hoàn thành task.
Mô hình AI với sự giám sát của con người trong các bước quan trọng, đảm bảo độ chính xác và an toàn.
Tài liệu mô tả chi tiết yêu cầu sản phẩm. Trong AI development, PRD giúp AI hiểu rõ context và mục tiêu của task.
Nghệ thuật chuẩn bị và cung cấp context phù hợp cho AI để đạt kết quả tốt nhất. Bao gồm việc chọn files, documentation, và examples phù hợp.
Phong cách lập trình "feel good" với AI mà không cần review kỹ. Không được khuyến khích cho production code.
Quy trình kiểm tra code bởi đồng nghiệp hoặc AI trước khi merge. Quan trọng đặc biệt với AI-generated code.
Phương pháp kiểm tra bảo mật bằng cách phân tích source code mà không cần chạy ứng dụng.
Phương pháp kiểm tra bảo mật bằng cách tấn công ứng dụng đang chạy để tìm lỗ hổng.
Kỹ thuật tấn công bằng cách đưa prompts độc hại vào input để thay đổi hành vi của AI system.
Danh sách 10 rủi ro bảo mật web phổ biến nhất, bao gồm Injection, Broken Authentication, XSS, v.v.
Hiện tượng chất lượng output của LLM giảm dần khi context window bị đầy với thông tin không liên quan.
Môi trường cô lập để chạy code không tin cậy một cách an toàn, ngăn chặn truy cập hệ thống.
Phương pháp của Google áp dụng software engineering vào operations để đảm bảo hệ thống reliable và scalable.
SLI (Service Level Indicator): Metrics đo lường. SLO (Objective): Mục tiêu. SLA (Agreement): Cam kết với khách hàng.
Ngân sách lỗi cho phép - phần trăm downtime hoặc errors được chấp nhận trong khoảng thời gian.
Khả năng hiểu trạng thái bên trong hệ thống thông qua logs, metrics, và traces. Ba trụ cột quan trọng cho monitoring.
Quy trình xử lý sự cố khi hệ thống gặp vấn đề. AI có thể hỗ trợ tự động phát hiện và giải quyết incidents.