AI Vision (Thị giác AI)
Hỏi một câu về những gì đang trên màn hình, và trả lời bằng dạng mà flow rẽ nhánh được.
Các node phát hiện khác hỏi câu bạn đã biết trước đáp án: đúng ảnh này có ở đây không (Find Image), ô này có những ký tự gì (Read Text), hình chữ nhật này có đỏ không (Check Region). AI Vision dành cho câu hỏi không diễn đạt được theo cách đó — tôi đang ở màn hình nào, nút Continue nằm đâu trên một layout chưa từng thấy, dialog này là lỗi hay là phần thưởng.
Có ở cả hai workspace.
Câu trả lời bị giới hạn, không phải văn xuôi tự do
Đây chính là chỗ làm nó dùng được trong tự động hoá. Bạn cấp cho node một Tác vụ và một danh sách Đối tượng quan tâm; các đối tượng đó trở thành những giá trị duy nhất câu trả lời được phép nhận. Một mô hình có thể đáp bằng bất kỳ câu nào thì vô dụng với flow — bạn sẽ phải phân tích văn xuôi lúc chạy. Ở đây, "một trong ba màn hình này" chỉ có th ể trả về đúng một trong ba.
| Tác vụ | Bạn cấp gì | Dùng cho |
|---|---|---|
| Phân loại màn hình | Đối tượng — các màn hình bạn dự kiến | "Tôi đang ở shop, bản đồ, hay màn đăng nhập?" |
| Tìm vị trí phần tử | Đối tượng — những thứ cần tìm | Tìm một control trên layout hay đổi chỗ, hoặc không có template |
| Trích xuất giá trị | Đối tượng — tên các trường | Lấy nhiều giá trị có nhãn ra khỏi một panel trong một lượt |
| Trả lời câu hỏi | Một Câu hỏi | Một phán đoán lẻ: "hàng đợi trống chưa?" |
| Mô tả khung cảnh | — | Chẩn đoán và Run Evidence: một câu về những gì đã ở trên màn |
| Tuỳ chỉnh (JSON schema) | Schema trả lời của riêng bạn | Khi không dạng nào ở trên vừa |
Mỗi dòng một đối tượng. Đối tượng là một cụm ngắn, và dấu phẩy bên trong nó là nội dung chứ không phải dấu phân tách — cùng quy tắc với tham số của Open App.
Thiết lập
| Thiết lập | Kiểu | Khoảng | Mặc định | Tác dụng |
|---|---|---|---|---|
| Tác vụ | lựa chọn | sáu mục ở trên | Phân loại màn hình | Bắt buộc. Quyết định câu được hỏi và dạng của câu trả lời |
| Đối tượng quan tâm | danh sách chuỗi | ≤ 60 ký tự mỗi dòng | — | Các trạng thái, phần tử, trường hay lựa chọn mà tác vụ nói về |
| Câu hỏi | chuỗi | ≤ 300 ký tự | — | Dùng bởi Trả lời câu hỏi và Tuỳ chỉnh |
| Vùng cần nhìn | hình chữ nhật | — | cả màn hình | Nhìn ở đâu. Bỏ trống là cả màn hình |
| Timeout | integer | 1000–300000 ms | — | Chờ câu trả lời bao lâu |
Hai núm dành cho người thạo — schema của tác vụ tuỳ chỉnh và ngân sách image token — được flow đã lưu chấp nhận nhưng không hiện trong panel. Chúng có mặc định hợp lý, và giá trị bạn tự viết tay không bao giờ bị editor ghi đè.
Khung cho chặt. Vùng là tuỳ chọn và mặc định là cả màn hình, điều đó đúng khi phân loại màn hình và dở khi cần đọc một panel nhỏ. Đo trên một thử thách mã: khung cả tấm thẻ thì đọc ra tiêu đề thay vì mã; khung đúng phần hình thì đọc ra mã.
Port
| Port | Đi vào khi | Bắt buộc |
|---|---|---|
| Success | Mô hình đã cho câu trả lời hợp schema | Có |
| Failure | Không có khung hình, không tới được runtime, hoặc mô hình không thoả được schema | Không |
| Cancelled | Lần chạy bị dừng giữa câu hỏi | Không — không bao giờ được đi |
| Fatal | Cấu hình không hợp lệ | Không — không bao giờ được đi |
Ví dụ cơ bản
Biết mình đang ở màn hình nào trước khi quyết bất cứ điều gì:
- Tác vụ: Phân loại màn hình
- Đối tượng:
shop,bản đồ,màn đăng nhập - Lưu câu trả lời vào một biến, rồi rẽ bằng If theo giá trị của nó.
Lỗi thường gặp
| Lỗi | Hậu quả | Cách sửa |
|---|---|---|
| Không điền đối tượng cho tác vụ cần nó | Câu trả lời không có gì để bị giới hạn vào | Điền Đối tượng cho Phân loại / Tìm vị trí / Trích xuất |
| Các đối tượng chồng nghĩa nhau | Câu trả lời chập chờn giữa các lần chạy | Làm chúng loại trừ nhau |
| Rẽ theo port thay vì theo giá trị | Cả hai đáp án đều ra bằng Success | Rẽ bằng If trên biến nhận được |
| Để cả màn hình cho một panel nhỏ | Mô hình trả lời về đúng thứ khác | Khoanh vùng quanh panel |
| Dùng nó ở chỗ template làm được | Chậm hơn và kém chắc chắn hơn pixel | Find Image cho ảnh cố định |
Node liên quan
- Find Image — khi bạn có sẵn đúng pixel
- Read Text — khi bạn cần ký tự trong một ô
- If — rẽ theo thứ nhận được
- Check Region — màu và thay đổi, không cần mô hình