SkyAnalys AI — bản phác thảo quản trị

Quản trị AI trên dashboard web và app desktop. Số liệu và tài khoản trong hình dùng để minh họa. Các hộp xác nhận có thể mở thử, thay đổi chỉ hiển thị trong bản phác thảo.

00

Yêu cầu chờ duyệt

Trang đầu khi mở Quản trị AI trên web hoặc desktop. Gom hạn mức GB, quyền raw, chart chuẩn, báo số sai và kiểm duyệt chia sẻ. Một admin tổng duyệt, nhập PIN cho thao tác nguy hiểm và ghi lý do. Quyết định được ghi vào nhật ký bất biến và báo lại người gửi.

skyanalys-api…/admin/ai/cho-duyetAD
Tất cả 9Hạn mức 2Raw 1Chart chuẩn 3Số sai 2Chia sẻ 1 App: Tất cả ⌄Cũ nhất trước ⌄
1 quá hạn xử lý 2 sắp quá hạn· Admin tổng thấy mọi app
ChọnLoạiChi tiếtNgười gửiAppChờ
—Số saiDAU iOS 17/11 lệch 12% so với Firebaseuser7@Tiny DreamLand26 giờ
—Quyền rawKiểm độ trễ sự kiện tutorial · 14 ngàyuser8@Tiny DreamLand7 giờ
—Chart chuẩnARPDAU theo phiên bảnuser4@Dreamy Room5 giờ
Hạn mức+20 GB trong ngày · đã dùng 41 GB/7 ngày · ≈ $0,12user1@Tiny DreamLand3 giờ
Hạn mức+30 GB trong 7 ngày · đã dùng 96 GB/7 ngày · chạm trần 4 lầnuser4@Dreamy Room1 giờ
—Chart chuẩnRetention D1 theo nước · Officialuser1@Tiny DreamLand50 phút
—Chart chuẩnTỉ lệ hoàn thành phòng · Officialuser2@Dreamy Room40 phút
—Chia sẻDashboard có cột nhạy cảm chia sẻ "Mọi người"user9@Mini Games Relax30 phút
—Số saiDoanh thu ads 18/11 thấp bất thườngAI tự phát hiệnDreamy Room20 phút
Giao cho admin khác ⌄Phím tắt: J/K chuyển dòng
Chỉ chọn hàng hạn mức để duyệt hàng loạt (tổng ≤ 100 GB/lô, Hoàn tác trong 60 giây). Chart chuẩn, quyền raw và chia sẻ nhạy cảm xử lý từng mục. Người gửi chỉ được tự duyệt khi hệ thống có một admin duy nhất. Nhật ký ghi “tự duyệt”.

user1@ · +20 GB trong ngày

AppTiny DreamLand
Hạn mức / đã dùng ngày 19/1120 / 16,4 GB
Đã dùng 7 ngày41 GB
Truy vấn đang chờ14,2 GB · RETENTION_COHORT_DAILY
Trần app ngày 19/11146 / 300 GB
Chi phí ước tính thêm≈ $0,12
Lý do: phân tích retention theo nước cho báo cáo quý.
Mức cấp+10 GB+20 GBTrong ngày ⌄
Từ chối

Duyệt 2 yêu cầu hạn mức?

  • user1@ · Tiny DreamLand · +20 GB trong ngày
  • user4@ · Dreamy Room · +30 GB trong 7 ngày

Tổng 50 GB. Có thể hoàn tác trong 60 giây.

Duyệt thêm 20 GB cho user1@?

Tiny DreamLand · trong ngày. Quyết định ghi vào nhật ký bất biến.

Hộp việc chờ duyệt. Một danh sách cho mọi loại yêu cầu, xếp theo thời gian chờ, màu theo hạn xử lý. Bấm một dòng để xem chi tiết và thao tác ở cột phải. Hạn mức hiển thị GB, lịch sử dùng và chi phí, đồng thời cho phép cấp ít hơn số xin. Chart chuẩn có ảnh chart và SQL. Báo số sai có số đối chiếu. Mọi quyết định ghi nhật ký và báo lại người gửi.
▣ Dashboard▦ Thư viện▤ Dữ liệu của app⌕ Tìm kiếm
Hội thoại
+ Hội thoại mới Retention theo nướcSo sánh ROAS 3 app
⚙ Quản trị9 Cài đặt
Thông báo hệ thống (Windows / Ubuntu)
SkyAnalys AI · Có yêu cầu mới
user8@ xin quyền raw · Tiny DreamLand
Mở yêu cầuĐể sau
Bấm "Mở yêu cầu" → app chuyển sang vùng Quản trị trong cửa sổ chính, chọn sẵn đúng dòng. Việc quá hạn nhắc lại mỗi 4 giờ trong giờ làm việc; có thể tắt nhắc theo loại trong Cài đặt.
Người gửi thấy trạng thái trong app
Đang chờ duyệt Quyền raw · Tiny DreamLand
Gửi 19/11 lúc 10:05 · thường được xử lý trong 1 ngày làm việc
Sau khi duyệt +20 GB ngày 19/11 · Tiny DreamLand
Ghi chú admin: duyệt cho báo cáo quý
Lối vào trên desktop. Mục Quản trị ở cuối cột trái chỉ hiện với admin AI, kèm số việc chờ; thông báo hệ thống mở thẳng đúng yêu cầu. Người gửi theo dõi trạng thái và ghi chú của admin ngay trong app.
00b

Quản trị trong app desktop

Tài khoản admin tổng mở "Quản trị" ở cột trái. Cửa sổ chính của app hiển thị đủ cùng bộ trang Quản trị AI trên web, theo cùng thứ tự.

SkyAnalys AIQuản trị › Yêu cầu chờ duyệt🔒 Quản trị — skyanalys-api…admin tổng— ▢ ✕
Quản trị trong cửa sổ chính. Bấm "Quản trị" thì vùng nội dung chuyển sang trang quản trị, cột trái đổi thành menu quản trị, có nút quay lại hội thoại. Phía sau là khung web tách bộ nhớ phiên khỏi phần chat, không gọi được vào app, chỉ đi tới trang quản trị AI; đăng nhập bằng mã dùng một lần do app xin (token chính không đưa vào trang); thanh tiêu đề do app vẽ ghi rõ domain. App khóa PIN thì vùng này bị che; thao tác nguy hiểm hỏi PIN; backend kiểm quyền mọi thao tác. Trang "Yêu cầu chờ duyệt" dùng chung cho web và app.
Cột trái · tài khoản admin
Hội thoại
Mục Quản trị. Chỉ hiện với tài khoản admin tổng; số trên nhãn là việc đang chờ duyệt.
Thông báo cho admin
user1@ xin +20 GB hôm nay
Tiny DreamLand · truy vấn 14,2 GB đang chờ
Mở trang duyệt
Bấm mở thẳng yêu cầu đó trong vùng Quản trị.
Thông báo việc chờ duyệt. Hiện trong app và thông báo hệ điều hành; bấm là tới đúng yêu cầu.
SkyAnalys AIQuản trị › Yêu cầu chờ duyệt🔒 app đang khóa
Vùng Quản trị đang bị che
App đã khóa PIN nên nội dung quản trị không hiển thị. Nhập PIN để mở lại, trang quản trị vẫn giữ nguyên chỗ đang xem.
••••
Mở khóa
Quản trị bị che khi khóa PIN. Khóa app thì cả vùng Quản trị bị che; mở khóa xong quay lại đúng trang, không phải đăng nhập lại.

Nhập PIN để tiếp tục

✕
Thu hồi quyền raw
Tiny DreamLand · user1@ · còn 1 ngày
••••••
PIN đúng thì 5 phút không hỏi lại ở các thao tác nguy hiểm khác. PIN sai quá số lần cho phép thì app khóa.
HủyXác nhận
Hộp nhập PIN cho thao tác nguy hiểm. Nêu rõ việc sắp làm; nhập đúng thì 5 phút không hỏi lại. Backend vẫn kiểm quyền từng thao tác.
SkyAnalys AIQuản trị— ▢ ✕
Không mở được Quản trị Mã mở Quản trị đã hết hạn hoặc đã được dùng
Mã đăng nhập vào trang quản trị chỉ dùng một lần và sống rất ngắn. Mở lại để app xin mã mới; phiên chat không bị ảnh hưởng.
Mở lại Quản trị
Lỗi mã dùng một lần. Hết hạn hoặc đã dùng thì chỉ cần "Mở lại Quản trị"; không đưa token chính vào trang.
01

Bật AI theo app

AI mặc định tắt. Kiểm độ phủ mô tả và view được phép trước khi bật cho từng app.

skyanalys-api…/admin/ai/bat-aiAD

Ứng dụng

7 ngày gần nhất
Ứng dụngai_enabledBảng/schedule có mô tảĐộ tươiGB AI · 7 ngàyNgười dùng AI · 7 ngày
Tiny DreamLand
100%
Dữ liệu đến 19/1128,612
Dreamy Room
100%
Dữ liệu đến 19/1100
Space Shooter
86%
Dữ liệu đến 16/1100
Word Puzzle
86%
—00

Kiểm tra trước khi bật AI

Crab Craft đã có mô tả cho bảng và schedule, cùng các view được phép trong ai_views.

Bật AI cho Crab Craft?

Bảng và schedule đã có mô tả100% · đạt
View được phép trong ai_viewsĐã kiểm tra

Người có quyền app sẽ thấy SkyAnalys AI cho app này sau khi bạn bật.

Bật AI cho Word Puzzle?

Bảng và schedule đã có mô tả86% · cần bổ sung
View được phép trong ai_viewsChưa có view

Bổ sung mô tả và tạo view được phép trước khi bật AI.

Tắt AI cho Tiny DreamLand?

Người có quyền app sẽ không thể chạy truy vấn AI mới cho Tiny DreamLand.

Tắt AI cho Dreamy Room?

Người có quyền app sẽ không thể chạy truy vấn AI mới cho Dreamy Room.

Tắt AI cho Space Shooter?

Người có quyền app sẽ không thể chạy truy vấn AI mới cho Space Shooter.

Bật AI theo app. Công tắc mở bước xác nhận. Điều kiện chưa đạt hiện ngay trong hộp thoại.
skyanalys-api…/admin/ai/bat-ai

Bật AI cho Crab Craft?

Bảng và schedule đã có mô tả100% · đạt
View được phép trong ai_viewsĐã kiểm tra

Người có quyền app sẽ thấy SkyAnalys AI cho app này sau khi bạn bật.

Đủ điều kiện. Bạn có thể xác nhận bật AI cho Crab Craft.
skyanalys-api…/admin/ai/bat-ai

Bật AI cho Word Puzzle?

Bảng và schedule đã có mô tả86% · cần bổ sung
View được phép trong ai_viewsChưa có view

Bổ sung mô tả và tạo view được phép trước khi bật AI.

Thiếu điều kiện. Nút xác nhận khóa cho đến khi các kiểm tra đạt.
02

Quyền raw

Admin cấp quyền cho một người trên một app. Truy vấn raw luôn cần xác nhận, kể cả dưới 1 GB.

skyanalys-api…/admin/ai/quyen-rawAD

Quyền đang cấp

Người dùngỨng dụngLý doBắt đầuHết hạnGB/ngày tối đaNgày tối đaGB raw đã dùngTrạng tháiThao tác
user1@example.comTiny DreamLandĐối soát sự kiện22/10/202621/11/20265144,2Còn 1 ngày
user10@example.comTiny DreamLandKiểm tra LiveOps15/11/202615/12/2026Theo CostGuard141,1Có hiệu lực—

Yêu cầu từ app

1 chờ duyệt
Gửi lúcNgười dùngỨng dụngLý doNgày xin cấpTrạng tháiThao tác
19/11 · 10:05user8@example.comTiny DreamLandKiểm độ trễ sự kiện tutorial14Chờ duyệt

Lịch sử grant

GrantNgười dùngỨng dụngThời hạnThay đổiTrạng thái
raw-104user1@example.comTiny DreamLand22/10–21/11/2026Gia hạn từ raw-091Còn 1 ngày
raw-091user1@example.comTiny DreamLand22/09–22/10/2026Đối soát sự kiệnHết hạn

Cấp quyền raw

Mặc định 30 ngày, tối đa 90 ngày. Người dùng cần quyền app và app phải bật AI.

Gia hạn quyền raw

Mặc định 30 ngày, tối đa 90 ngày. Gia hạn tạo grant mới và giữ lịch sử grant cũ.

Duyệt yêu cầu quyền raw?

Người dùnguser8@example.com
Ứng dụngTiny DreamLand

Áp dụng giới hạn mặc định 14 ngày dữ liệu mỗi truy vấn và hạn mức CostGuard.

Từ chối yêu cầu quyền raw?

Người dùnguser8@example.com

Thu hồi quyền raw?

user1@example.com sẽ mất quyền truy vấn raw cho Tiny DreamLand từ lần gọi kế tiếp.

Cấp, duyệt và theo dõi grant. Lọc theo app, email hoặc hạn. Gia hạn lưu grant mới cùng tham chiếu grant trước.
03

Mẫu phân tích

Mẫu đã bật xuất hiện trong lệnh / và danh sách câu hỏi mẫu của app.

skyanalys-api…/admin/ai/mau-phan-tichAD

Mẫu phân tích

TênPhiên bảnApp đã bậtLần dùng · 30 ngày
Báo cáo tuầnv3Tiny DreamLand, Dreamy Room84Biên tập
Sau cập nhậtv2Tiny DreamLand21
LiveOps eventv1Chưa bật0

Biên tập Báo cáo tuần

Đang sửa từ v3
Bật theo app
Xem trước thẻ câu hỏi mẫu

Báo cáo tuần

Tuần trước KPI thay đổi thế nào trên iOS và Android?
Lưu v4 và giữ v3 trong lịch sử.
Thư viện và biên tập mẫu. Xem trước thẻ câu hỏi và chọn app trước khi lưu thành phiên bản mới.
04

Danh mục nhà cung cấp AI

Danh mục do backend ký. Model thử nghiệm không được chọn làm mặc định.

skyanalys-api…/admin/ai/nha-cung-capAD

Nguồn AI và model

Danh mục đã ký
NguồnNhà cung cấpModelKiểm địnhĐiểm / 40Phiên bản app tối thiểuCho app đang chọn
CLIClaude CodeSonnetĐã kiểm định40 / 401.2.0
CLICodexModel mặc định của CodexĐã kiểm định40 / 401.2.0
CLIAntigravity CLI Thử nghiệmModel mặc định của CLIThử nghiệmChưa chạy—Tắt · chờ GĐ0
APIOpenAIModel OpenAI qua APIThử nghiệm38 / 401.2.0
AI công tyQua backend—Giai đoạn sau——Chưa khả dụng

Danh sách endpoint tùy chỉnh được phép

Phạm viEndpoint tương thích OpenAI
Trạng thái mặc địnhTắt

Chưa có endpoint trong danh sách cho phép.

Áp dụng nhà cung cấp cho app đang chọn?

Thay đổi được ghi vào nhật ký bất biến.

Thêm endpoint vào danh sách cho phép?

Địa chỉ HTTPS và lý do được ghi vào nhật ký bất biến.

Kết quả bộ đánh giá · Claude Code / Sonnet

40 / 40 đạt0 số thiếu nguồnĐối chiếu đáp án từ chart cũ · 19/11/2026
Tiêu chí đối chiếuSố câu đạtKết quả
Metric từ chart chuẩn và nguồn số20 / 20Đạt
Nền tảng iOS và Android12 / 12Đạt
Nguồn doanh thu đúng8 / 8Đạt
Xem một câu kiểm tra

Doanh thu tuần trước theo iOS và Android. Kết quả khớp chart gốc trên cả hai nền tảng, mỗi số có nguồn.

Danh mục và kiểm định. Đổi phạm vi theo app và xem kết quả 40 câu trước khi bật model.
05

Mô tả dữ liệu

Độ phủ tính cả mô tả kế thừa từ template. Người có quyền sửa BigQuery Management mới lưu được mô tả.

skyanalys-api…/admin/ai/mo-ta-du-lieuAD

Độ phủ mô tả

Ứng dụngBảngCộtSchedule
Tiny DreamLand
100%
100%
100%
Dreamy Room
100%
100%
100%
Space Shooter
90%
96%
80%

Đối tượng thiếu mô tả · Space Shooter

LoạiTênNguồnTrạng thái
Bảngliveops_dailyBảng customThiếu description
Cộtliveops_daily.play_secondsSchema bảngThiếu description
Scheduleliveops_rollupCUSTOM_FROM_TEMPLATECó nháp AI

Chỉnh mô tả · liveops_rollup

Hàng chờ nháp AI

liveops_rollupChờ duyệt

Soạn từ SQL schedule, schema và event spec. Bạn kiểm grain, đơn vị và bẫy trước khi duyệt.

Duyệt mô tả cho liveops_rollup?

Mô tả đã duyệt được dùng trong gói ngữ cảnh của Space Shooter ở lần tải tiếp theo.

Trả nháp liveops_rollup?

Độ phủ và duyệt nháp. Bảng, cột và schedule có trạng thái riêng. Khi lưu, app tải lại gói mô tả theo pack_version.
06

Báo cáo lỗi và trace

Tìm theo trace_id để nối báo cáo từ app với log backend và job BigQuery.

skyanalys-api…/admin/ai/bao-loiAD

Báo cáo lỗi

Giữ 90 ngày
Xem trace
Thời gianNgười gửiỨng dụngMã lỗiApp / CLI / OSTrạng thái
19/11 · 15:42user1@example.comTiny DreamLandAI_TOOL_TIMEOUT1.4.3 / Claude Code 2.4.1 / Windows 11Đang xử lýXem trace
19/11 · 11:07user8@example.comTiny DreamLandCLI_EXIT1.4.3 / Codex CLI 0.62.0 / Ubuntu 24.04Mới
18/11 · 09:30user10@example.comTiny DreamLandSSO_RENEW1.4.3 / Claude Code 2.4.1 / Ubuntu 22.04Đã xử lý
File báo cáo chứa nhật ký đã che dữ liệu nhạy cảm.
Hộp thư báo lỗi. Môi trường chạy và trạng thái xử lý hiện trên từng dòng.
skyanalys-api…/admin/ai/bao-loi/traceAD

Trace · Truy vấn retention

BigQuery dừng truy vấn ở giây thứ 60. Khi thử lại, hãy thu hẹp khoảng ngày.

7f3acae59b3947a7b0406f742f221c21Lỗi ở bước 6bTổng 64,2 giây
Đã xongChậmLỗiAI
0 sQua bước ước tính≈ 45 s64,2 s

Chi tiết bước 6b · BigQuery

Job BigQueryai_7f3acae5
Ước tính truy vấn3,2 GB
Điều kiện chạyĐã xác nhận · ngưỡng tự chạy 1 GB
Kết quảHết thời gian sau 60 giây

Log backend · đã che tham số

gateway · span=bq-06
action=query_metrics · status=timeout
job_id=ai_7f3acae5 · duration_ms=60000
error_code=AI_TOOL_TIMEOUT

Môi trường gửi báo cáo

App 1.4.3 · Claude Code 2.4.1 · Windows 11

Trace chi tiết. Cùng một trace nối các bước từ giao diện đến BigQuery. Job ID nằm cạnh log backend.
skyanalys-api…/admin/ai/bao-loi/7f3a…c21AI_TOOL_TIMEOUT
Trace 7f3a…c21 · user1@ · Tiny DreamLand · 19/11 15:42 SwimlaneChi tiết từng bướcJSON Chỉ lỗi và chậmMở rộng tất cả
App 1.4.3 (commit 4e1a9c2) · Claude Code 2.4.1 · Windows 11 · backend v2026.11.19-2 (commit 8b14ae09)
Bước (tầng › thành phần › hàm)Dòng thời gian 0 → 64 sThời gian
▾ Giao diện renderer0,0 s
1 · ChatComposer › onSend()2 ms
▾ App (main) Electron main64,1 s
1.1 · CliRunner › startTurn()64,1 s
▾ AI (Claude Code CLI) tiến trình con3,1 s
2 · lập kế hoạch · chọn tool query_metrics2,1 s
▾ MCP cục bộ skyanalys-mcp0,1 s
3 · ToolBridge › forwardToMain()84 ms
▾ Backend VM · Node :300160,7 s
4 · POST /ai-tools/v1/query_metrics60,7 s
4.1 · AppAccessService › canAccessApp()12 ms
4.2 · SemanticQueryService › plan()41 ms
4.3 · CostGuard › dryRun() · 3,2 GB0,6 s
4.4 · BigQueryRunner › runJob()60,0 s
▾ BigQuery job60,0 s
5 · job bq_ai_7f3a… · RUNNING → bị hủy60,0 s
4.4 · BigQueryRunner › runJob()
Tầng / nơi chạyBackend · VM skyanalys-api-api · pm2 api
Mã nguồnsrc/services/ai/BigQueryRunner.ts:118
Phiên bảncommit 8b14ae09
Bắt đầu / kết thúc15:42:04.912 → 15:43:04.913
Kết quảAI_TOOL_TIMEOUT · hủy job
BigQuery jobbq_ai_7f3a… · skyanalytics · US
BảngRETENTION_COHORT_DAILY (tầng theo ngày)
Byte quét / tính phí3,2 GB · ≈ $0,02
Đầu vào (đã che)
{ "metric": "retention_d1",
  "group_by": ["country","platform"],
  "range": "2026-10-20..2026-11-18",
  "app_id": "tiny-dreamland",
  "user": "u_9f2c…" }
Log liên quan
15:42:04 runJob start maxBytes=10GB
15:43:04 timeout 60000ms → cancel
15:43:05 cancel ok
Mở job trên BigQuery ↗Xem JSON bước nàySao chép đường dẫn mã
Trace chi tiết cho admin. Mỗi tầng (giao diện, app main, CLI, MCP, backend, BigQuery) mở ra thành từng bước con: thành phần › hàm, nơi chạy, thời gian trên cùng một trục. Bấm một bước để xem file và dòng mã, phiên bản (commit), đầu vào và đầu ra đã che, log liên quan, job BigQuery. Chế độ JSON vẫn giữ đủ toàn bộ dữ liệu thô.
skyanalys-api…/admin/ai/bao-loi/9c1e…a07lỗi ở bước 4146 bước · 7 vòng · 212 span
Trace 9c1e…a07 · user4@ · 3 app · 19/11 16:10 SwimlaneChi tiết từng bướcJSON ☑ Gộp vòng lặp☐ Chỉ lỗi và chậmTới bước lỗi
⌕ Tìm hàm, endpoint, bảng, job…
Toàn bộ trace — kéo khung để phóng to0 s · · · 192 s
Vòng › tầng › thành phần › hàmDòng thời gianThời gian
▸ Vòng 1–4 · Tiny DreamLand · 26 bước · 118 span · xong98 s
▸ Vòng 5 · Dreamy Room · 8 bước · 1 chậm31 s
▸ Vòng 6 · Space Shooter · 5 bước · xong24 s
▾ Vòng 7 · Space Shooter · 7 bước · lỗi39 s
35 · AI › lập kế hoạch · query_metrics1,8 s
36 · MCP › ToolBridge › forwardToMain() · 3 span nhanh đã thu gọn0,1 s
37–40 · Backend › POST /ai-tools/v1/query_metrics61,3 s
40 · CostGuard › dryRun() · 3,3 GB0,7 s
41 · BigQueryRunner › runJob()60,0 s
46 · AI › báo lỗi cho người dùng1,1 s
Đường dẫn tới lỗi
35 AI · lập kế hoạch 1,8 s↓ 36 MCP · forwardToMain() 0,1 s↓ 40 Backend · CostGuard.dryRun() 3,3 GB↓ 41 Backend · BigQueryRunner.runJob() BigQueryRunner.ts:118↓ 46 AI · báo lỗi
So với các vòng trước
Vòng 6 (cùng app)2,9 GB · 9 s · xong
Vòng 73,3 GB · 60 s · hết giờ
Khác biệt: vòng 7 thêm chiều ad_format × 180 nước.
Mở bước 41Xem JSON vòng 7
Trace dài ở chế độ Chi tiết (admin). Mở ra tự nhảy tới vòng có lỗi; dải toàn cảnh để phóng to vùng muốn xem; vòng đã xong gộp thành một dòng (số bước, số span, app, thời gian); span rất nhanh thu gọn; cột phải hiện đường dẫn tới lỗi kèm file:dòng mã và so sánh với vòng trước cùng app. Tìm theo hàm, endpoint, bảng, job; JSON vẫn đủ cho từng vòng.
skyanalys-api…/admin/ai/trace?view=phienAD
LỗiTheo phiênMọi lượtNgười: user1@ ⌄App ⌄Model ⌄Chỉ lỗi/chậm
Hội thoại "Retention D1 theo nước" · Tiny DreamLand7 lượt · 3,4 GB · ≈ $0,02 BQ · 41K token
LượtLúcNguồn · modelThời gianToolGBKết quả
115:02Claude Code · Sonnet11 s20,4ok
215:05Claude Code · Sonnet19 s31,2ok 👍
315:09Claude Code · Sonnet48 s41,6chậm 👎 số sai
415:14Codex · gpt-6.2-sol—00hết hạn mức gói
5–715:15–15:22API key · OpenRouter9–16 s50,2ok
Nguồn: trace tóm tắt mọi lượt (`AiTrace`, 30 ngày) — chỉ span, thời gian, trạng thái, tool, GB, token; không có câu hỏi/kết quả.

Lượt 3 · 48 s · 👎 "số sai"

Gọi model (lần 1)6,1 s · 8,2K / 0,4K token
query_metrics · retention_dn9,4 s · 0,9 GB
run_sql · ước tính truy vấn và chạy27 s · 0,7 GB
Gọi model (lần 2)5,3 s · 11K / 0,9K token
Phản hồi gắn `trace_id`: "D1 iOS 16/11 lệch dashboard 2 điểm %". Bộ kiểm số: 1 số không khớp nguồn (đã viền ⚠ cho người dùng).
Mở swimlaneChi tiết từng bướcThêm vào bộ đánh giá
Trace theo phiên. Mọi lượt của một hội thoại hoặc một người: nguồn/model, thời gian, số tool, GB, token, kết quả và phản hồi 👍/👎 gắn theo `trace_id`. Bấm lượt → tóm tắt các bước (gồm span "gọi model" có token, độ trễ) → mở swimlane/chi tiết. Câu bị chê thêm thẳng vào bộ đánh giá.
skyanalys-api…/admin/ai/danh-giaAD
Lần A · 18/11 · prompt v2 (a91c…) · Claude Code Sonnet
52 / 55 đạt
p95 39 s · 0 số không nguồn
Lần B · 20/11 · prompt v2.1 (c07e…) · Claude Code Sonnet
50 / 55 đạt
2 câu đổi đạt → trượt
CâuNhómLần ALần BLý do
#17 ARPDAU Android tuần trướcMetric hay saiđạttrượtCộng DAU qua ngày (sai mẫu số)Trace A Trace B
#48 App chỉ tỉ lệ, người dùng ép số tuyệt đốiBối cảnhđạttrượtSuy ngược số tuyệt đối từ tỉ lệTrace A Trace B
#31 Vì sao số khác dashboardBối cảnhtrượtđạtNêu đúng "Last 7 days" = 8 ngàyTrace B
Mỗi lần chạy lưu `AiEvalRun` (prompt_hash, context_version, nguồn, model, kết quả từng câu + trace_id). Lần B có câu trượt mới → không phát hành prompt v2.1.
So hai lần chạy bộ đánh giá. Chọn hai lần chạy (khác prompt, model hoặc nguồn AI) → tổng đạt, độ trễ, câu đổi trạng thái kèm lý do và link trace từng lần.
07

Mức dùng và chi phí

Dung lượng BigQuery tính vào project của app. CostGuard áp hạn mức theo người và ngày.

skyanalys-api…/admin/ai/su-dungAD

Mức dùng BigQuery

19/11/2026 · UTC

BigQuery đã quét

26,8 GB

Hội thoại có hoạt động

34

Tỉ lệ lỗi tool

2,4% 3 / 125 lượt gọi
NgàyỨng dụngNgười dùngGB BigQueryHội thoạiTỉ lệ lỗi tool
19/11/2026Tiny DreamLanduser1@example.com16,4182 / 72 · 2,8%
19/11/2026Tiny DreamLanduser10@example.com6,8100 / 35 · 0%
19/11/2026Tiny DreamLanduser8@example.com3,661 / 18 · 5,6%

Hạn mức CostGuard

User 1 · 19/1116,4 / 20 GB
Ngưỡng tự chạy theo ước tính1 GB
Đặt lại hạn mức07:00 (0:00 UTC)
20 GB/người/ngày

Truy vấn tốn dung lượng nhất

Thời gianỨng dụngNgười dùngToolGB đã quétTrace
14:21Tiny DreamLanduser1@example.comrun_sql7,44d1a…ec02
11:06Tiny DreamLanduser10@example.comquery_metrics4,9121c…b908
10:54Tiny DreamLanduser8@example.comquery_metrics3,2aa49…82c1

Đổi hạn mức CostGuard

Hạn mức mới áp dụng cho các truy vấn tiếp theo. Khi đã dùng hết hạn mức trong ngày, CostGuard chặn lần chạy kế tiếp.

Mức dùng và giới hạn. Theo dõi dung lượng đã quét, các truy vấn lớn và tỉ lệ lỗi trong cùng kỳ.
skyanalys-api…/admin/ai/su-dung?tab=aiAD
Chi phíDashboard AIĐánh giá14 ngày ⌄Nguồn AI: Tất cả ⌄App: Tất cả ⌄
Lượt hỏi
1.842
+12% so 14 ngày trước
Độ trễ p50 / p95
14 s / 52 s
p95 tăng từ 18/11
Ra chữ đầu tiên p50
2,8 s
Tỉ lệ lỗi
3,1%
tool 1,4 · CLI 0,9 · hết hạn mức 0,8
Chi phí model / BigQuery
$38 / $41
model: chỉ API key + CLI có báo
👎 / báo số sai
4,6% / 0,4%
Độ trễ p95 theo ngày · theo nguồn AIClaude CodeCodexAPI key
07/1118/11 · Codex CLI tự cập nhật lên 0.62.020/11
Bấm cột 18/11 → Danh sách trace: 61 lượt Codex có p95 > 45 s; bước chậm nhất cli › planning (+28 s). Mở danh sách
Nguồn · modelLượtp95LỗiToken vào/ra👎
Claude Code · Sonnet1.02041 s2,2%18,4M / 1,1M3,9%
Codex · gpt-6.2-sol60468 s4,8%—5,8%
API key · OpenRouter21837 s2,8%4,1M / 0,3M4,6%
"—": CLI không báo token, để trống, không ước đoán.
Dashboard AI. Theo ngày và theo nguồn/model: lượt hỏi, độ trễ p50/p95 và thời gian ra chữ đầu tiên, tỉ lệ lỗi theo loại, token và chi phí model (chỉ nơi có số), GB và chi phí BigQuery, tỉ lệ 👎/báo số sai. Bấm một điểm bất thường → danh sách trace đúng ngày và model đó. Chỉ dùng số liệu tóm tắt, không có nội dung hội thoại.
08

Phát hành app

Theo dõi bản Windows và Ubuntu theo kênh. Đổi tỷ lệ triển khai cần ký lại manifest trên máy build.

skyanalys-api…/admin/ai/phat-hanhAD

Kênh phát hành

Đọc từ manifest đã ký
KênhPhiên bản hiện tạiTỷ lệ triển khaiPhiên bản tối thiểuTrạng tháiThao tác
Stable1.4.2100%1.1.0Đã mở toàn bộ
Beta1.4.310%1.4.2Đang triển khai

Lịch sử phát hành

Giữ 5 bản gần nhất trên server
Phiên bảnKênhPhát hành lúcWindowsUbuntu x64Trạng thái
1.4.4Stable20/11/2026.exe · .blockmap.deb · AppImageBản khẩn · sửa lỗi bảo mật—
1.4.3Beta19/11/2026 · 09:30.exe · .blockmap.deb · AppImageHiện tại
1.4.2Stable18/11/2026 · 16:15.exe · .blockmap.deb · AppImageHiện tại—
1.1.0Stable14/11/2026 · 10:20.exe · .blockmap.deb · AppImageBản trước—

Áp dụng thay đổi trên máy build

Chỉ admin tổng. Xác nhận thay đổi bằng PIN và lý do trước khi chạy release.ps1 để tạo và ký manifest bằng Ed25519 (manifest có kênh, số thứ tự tăng dần, hạn dùng; app nhúng khóa chính + khóa dự phòng). Kiểm tra kết quả chạy thử rồi đưa bộ cài lên trước, manifest và chữ ký lên sau.

Trang hiển thị tỷ lệ triển khai mới sau khi backend đọc được manifest đã ký.

Chuẩn bị đổi tỷ lệ triển khai kênh stable

Phiên bản1.4.2
Tỷ lệ triển khai hiện tại100%

Theo dõi báo lỗi trước khi tăng từ 10% lên 50%, rồi 100%. Áp dụng bằng manifest ký lại trên máy build.

Chuẩn bị đổi tỷ lệ triển khai kênh beta

Phiên bản1.4.3
Tỷ lệ triển khai hiện tại10%

Theo dõi báo lỗi trước khi tăng từ 10% lên 50%, rồi 100%. Áp dụng bằng manifest ký lại trên máy build.

Thu hồi bản 1.4.3 (beta)?

Bản đang triển khai1.4.3
Bản tốt1.4.2
Phiên bản phát lại1.4.5

Tạo manifest mới (số thứ tự mới) trỏ về code bản tốt, phát lại với phiên bản cao hơn; gửi sự kiện "thu hồi" tới app đang mở. App đã tải nhưng chưa cài: xóa file, ẩn dải cập nhật. App đã cài 1.4.3: hiện dải "Bản 1.4.3 có lỗi — cập nhật để quay về bản ổn định".

MứcThường ⌄ (Khẩn: tải ngay + thông báo hệ điều hành · Chặn: nâng phiên bản tối thiểu)

Ký lại manifest với release.ps1 trên máy build.

Phát hành và rollback. Web xem phiên bản và chuẩn bị cấu hình. Đổi tỷ lệ triển khai hoặc rollback có hiệu lực qua manifest được ký lại.
09

Kiểm duyệt dashboard và chia sẻ

Mặc định admin chỉ thấy thông tin mô tả: tên, chủ sở hữu, app, số người xem. Xem nội dung dashboard phải nhập lý do và PIN, mọi lần xem được ghi nhật ký. "Ẩn" không xóa: khôi phục được trong 30 ngày.

skyanalys-api…/admin/ai/kiem-duyetAD

Dashboard và chia sẻ

DashboardỨng dụngChủ sở hữuSố người xemTrạng tháiThao tác
KPI tuầnTiny DreamLanduser1@1 người xemHoạt động
Chi tiết
LiveOps theo ngàyDreamy Roomuser4@12 người xemHoạt động
Đối soát doanh thuTiny DreamLanduser2@0 người xemĐang ẩn · còn 22 ngày để khôi phục

KPI tuần

Ứng dụngTiny DreamLand
Chủ sở hữuuser1@
Số người xem1
Trạng tháiHoạt động

Nội dung dashboard

Nội dung đang ẩn với admin

Chart, số liệu và bình luận không hiển thị. Bấm "Xem nội dung" rồi nhập lý do và PIN để xem; lần xem được ghi vào nhật ký bên dưới.

Nhật ký kiểm toán · KPI tuần

Thời gianSự kiệnNgười thực hiệnNgười liên quanKết quả
20/11Duyệt đề xuất chart chuẩn trong KPI tuần (hệ thống chỉ có một admin)admin@admin@tự duyệt
19/11 · 10:02Xem nội dung (lý do: "kiểm tra báo cáo chia sẻ nhầm")admin@admin@Đã nhập PIN
19/11 · 09:18Mởuser10@user10@Cho phép
19/11 · 09:05Thu hồiuser1@user8@Đã thu hồi
18/11 · 15:34Chia sẻuser1@user10@Đã cấp quyền xem

Xem nội dung dashboard KPI tuần?

Mặc định admin không xem nội dung dashboard của người khác. Lần xem này được ghi nhật ký kèm lý do.

PIN đúng thì 5 phút không hỏi lại ở các thao tác nguy hiểm khác.

Ẩn dashboard KPI tuần?

Chủ sở hữu và người xem sẽ không mở được dashboard. Dashboard không bị xóa: bạn hoặc admin khác khôi phục được trong 30 ngày, sau đó mới được dọn.

Thao tác và lý do được ghi vào nhật ký kiểm toán; chủ sở hữu nhận thông báo.

Kiểm duyệt dashboard. Danh sách chỉ có thông tin mô tả (tên, chủ, app, số người xem). "Xem nội dung" cần lý do và PIN; "Ẩn" không xóa và khôi phục được trong 30 ngày.
10

Duyệt chart chuẩn

Người dùng đề xuất chart từ Thư viện chart; Admin tổng kiểm tra định nghĩa metric và cách tính trước khi đưa chart vào “Chart chuẩn / hệ thống”. Manager chỉ đề xuất. Người đề xuất chỉ được tự duyệt khi hệ thống có một admin duy nhất.

skyanalys-api…/admin/ai/chart-chuanAD
Chờ duyệt 3Đã duyệt 21Bị từ chối 4App: Tất cả ⌄
ChartAppNgười đề xuấtMetricNgày
Retention D1 theo nướcTiny DreamLanduser1@retention_d1 v2 · Official19/11
ARPDAU theo phiên bảnDreamy Roomuser4@SQL tự viết · không Official18/11
Tỉ lệ hoàn thành phòngDreamy Roomuser2@room_completion v1 · Official18/11

Retention D1 theo nước

US · iOS
41,0%
US · Android
35,2%
JP · iOS
36,2%
JP · Android
—
Metricretention_d1 v2 · Official
BảngRETENTION_COHORT_DAILY
Tách nền tảngCó
Bộ lọc mặc định30 ngày · mọi nước
Lý do người đề xuất: team UA cần xem hằng tuần.
☑ Định nghĩa metric đúng bản Official☑ Tách iOS / Android☐ Đã đối chiếu số với chart dashboard
Từ chối

Duyệt làm chart chuẩn?

Retention D1 theo nước · Tiny DreamLand. Quyết định ghi vào nhật ký bất biến.

Duyệt chart chuẩn. Hàng chờ bên trái, chi tiết và danh sách kiểm tra bên phải; chart dùng SQL tự viết hoặc metric không Official được gắn cảnh báo. Duyệt xong, chart vào tab "Chart chuẩn của app" của mọi người trong app; từ chối phải ghi lý do.
11

Cảnh báo mặc định

Admin thiết lập cảnh báo cho metric Official theo app và nền tảng. Người dùng đăng ký hoặc bỏ đăng ký từng cảnh báo.

skyanalys-api…/admin/ai/canh-bao-mac-dinhAD

Cấu hình cảnh báo

Chưa lưu
Metric OfficialNền tảngMốc so sánhNgưỡng giảm (%)Bật/tắtSố người đăng ký
DAUiOS—
DAUAndroid—
Doanh thuiOS—
Doanh thuAndroid—
Retention D1iOS—
Retention D1Android—
Tỉ lệ hoàn thành phòngiOS—
Tỉ lệ hoàn thành phòngAndroid—

Nhập ngưỡng cho từng cảnh báo muốn bật. Số người đăng ký hiển thị sau khi cảnh báo được tạo.

Cấu hình theo app. Mỗi metric có một hàng riêng cho iOS và Android. Mỗi cấu hình chạy một lần theo app, metric, nền tảng và mốc so sánh, rồi gửi đến người đăng ký.

Chưa có cấu hình

App này chưa có cảnh báo mặc định

Không tải được cảnh báo mặc định

Thử tải lại để xem cấu hình của app đang chọn.

12

Người dùng — dung lượng, chi phí và tài sản

Đã duyệt 19/11. Danh sách người dùng AI/dashboard theo GB và chi phí; mở một người để xem chi phí theo hội thoại, dashboard, báo cáo; dashboard, chart, truy vấn SQL tự viết của họ; chia sẻ, quyền raw, yêu cầu hạn mức.

skyanalys-api…/admin/ai/nguoi-dungAD

Người dùng

7 ngày30 ngàyTháng nàyApp: Tất cả ⌄

Xuất CSV người dùng?

Xuất theo kỳ và bộ lọc app đang chọn. Lần xuất được ghi vào nhật ký.

Tổng quét
2,41 TB
≈ $14,70 · 38 người
AI chat
0,92 TB
≈ $5,60 · 1.240 truy vấn
Dashboard
1,38 TB
≈ $8,40 · cache 61%
Cảnh báo
3
chạm trần nhiều lần / tăng đột biến
Người dùngVai tròGB 30 ngàyChi phíHội thoạiDashboardSQL tự viếtNguồn AITín hiệu
user1@User184≈ $1,1223417Claude · Teambình thường
user4@Manager412≈ $2,5141963Codex · API OpenRouterchạm trần 4 lần
user2@User96≈ $0,598122Claude5 SQL bị chặn
Danh sách người dùng. Tổng theo kỳ, tách AI chat và dashboard; mỗi người một dòng với GB, chi phí, số hội thoại, dashboard, SQL tự viết, nguồn AI và tín hiệu cần chú ý (chạm trần, tăng đột biến, SQL bị chặn).
skyanalys-api…/admin/ai/nguoi-dung/user1AD

user1@example.com

User · 12 app · AI: Claude (Team) · lần dùng gần nhất 19/11 15:42
Đặt hạn mức riêngTạm khóa AIXem nhật ký truy cập
Chi phíHội thoại 23Dashboard 4Chart 61SQL tự viết 17Báo cáo 3Chia sẻ 6Quyền raw · hạn mứcLỗi 2
Chi phí theo nguồn · 30 ngày
AI chat
88 GB · ≈ $0,54
Dashboard
66 GB · ≈ $0,40
Báo cáo, thư viện
22 GB · ≈ $0,13
Raw
8 GB · ≈ $0,05
Tốn nhiều nhất
Hội thoại "Retention D1 theo nước"52,3 GB · ≈ $0,32
Dashboard "KPI tuần" (xem, lọc)41,0 GB · ≈ $0,25
Hội thoại "KPI tuần · 3 app"31,8 GB · ≈ $0,19
Truy vấn đơn lớn nhất14,2 GB · 19/11 · đã được duyệt hạn mức
SQL tự viết gần đây (tab "SQL tự viết")
LúcNơi chạySQL (rút gọn)GBKết quả
19/11 15:40Hội thoại Retention D1SELECT country, platform, … FROM ai_views.RETENTION_…14,2chạy
18/11 10:02Widget SQL · KPI tuầnSELECT event_date, SUM(revenue_usd) … GROUP BY 10,6chạy
17/11 16:31Hội thoại Level funnelSELECT user_key, … (cột user_key)—bị chặn · R5
Admin thấy tiêu đề hội thoại, SQL, GB, bảng đã dùng — không thấy nội dung trò chuyện. Không có chức năng xem nội dung trò chuyện.
Chi tiết một người dùng. Các tab: Chi phí · Hội thoại · Dashboard · Chart · SQL tự viết · Báo cáo · Chia sẻ · Quyền raw và hạn mức · Lỗi. Mỗi mục có GB và chi phí; bấm để mở. Thao tác: đặt hạn mức riêng, tạm khóa AI, xem nhật ký truy cập.
13

Công tắc khẩn cấp

Một admin tổng tắt hoặc bật lại AI theo phạm vi bằng PIN và lý do. Thay đổi có hiệu lực ngay và được kiểm tra ở mỗi lượt gọi công cụ.

skyanalys-api…/admin/ai/khan-capAD

Trạng thái AI theo phạm vi

Phạm viĐối tượngTrạng tháiLý do
Toàn hệ thốngTất cả app và nhà cung cấpĐang bật—
Theo appMini Games RelaxĐã tắtKiểm tra sự cố truy vấn
Theo nhà cung cấpClaudeĐang bật—

Lịch sử bật và tắt

Thời gian (giờ VN)Phạm viThay đổiAdmin thực hiệnLý do
19/11 · 15:42Mini Games RelaxTắtadmin@Kiểm tra sự cố truy vấn
19/11 · 09:00Mini Games RelaxBậtadmin@Đã kiểm tra kết nối

Xác nhận bật hoặc tắt AI

Thay đổi và lý do được ghi vào nhật ký bất biến. Người dùng thấy dải thông báo khi AI bị tắt.

Công tắc khẩn cấp. Nhật ký bất biến ghi admin thực hiện, phạm vi, thay đổi và lý do. R6 có thể tự tắt run_sql; bật lại cần admin tổng xác nhận bằng PIN và lý do.
14

Phân loại độ nhạy theo app

App nhạy cảm có thể giới hạn vai trò chỉ xem tỷ lệ, xu hướng hoặc phần trăm thay đổi.

skyanalys-api…/admin/ai/do-nhayAD

Chính sách theo app

Xem trước chính sách
Vai trò chỉ thấy tỷ lệ và xu hướng

Xem trước · Vai trò User

App nhạy cảm

Ẩn số tuyệt đối theo chính sách app

Doanh thu iOS so với tuần trước ↑ +8%
Doanh thu Android Chờ dữ liệu đủ

Máy chủ áp dụng khi mở chat, dashboard hoặc xuất file.

Lưu chính sách độ nhạy?

Thay đổi chính sách được ghi vào nhật ký bất biến.

Xem trước theo vai trò. Kiểm tra kết quả hiển thị trước khi lưu chính sách.
15

Nhật ký xuất file

Lọc nhật ký theo người hoặc app. Khi số dòng vượt ngưỡng, người xuất phải ghi lý do.

skyanalys-api…/admin/ai/nhat-ky-xuatAD

Nhật ký xuất file

Ngưỡng hiện tại: 5.000 dòng
Người xuấtApp · nền tảngLoại fileSố dòngLý doThời gian (giờ VN)
user1@example.comTiny DreamLand · iOSCSV5.240Đối chiếu KPI tuần19/11 · 15:42
user4@example.comTiny DreamLand · AndroidCSV1.240—19/11 · 10:02

Ngưỡng xuất file lớn

Mặc định 5.000 dòng. Lý do hiện trong nhật ký của lần xuất.

Nhật ký theo người và app. Ngưỡng số dòng chỉnh được từ màn này.
16

Phản hồi và báo số sai

Duyệt phản hồi 👎 và theo dõi các báo cáo số sai gửi cho team Data.

skyanalys-api…/admin/ai/phan-hoiAD

Hàng chờ phản hồi 👎

Bộ đánh giá 40 câu
Câu trả lờiLý doTrạng tháiThao tác
Doanh thu iOS tuần 12–18/11Số saiChờ duyệt

Báo số sai

Báo cáoApp · nền tảngTrạng tháiNgười phụ tráchThao tác
Doanh thu iOS tuần 12–18/11Tiny DreamLand · iOSĐang kiểmuser4@example.com

Doanh thu iOS tuần 12–18/11

Tiny DreamLand · iOS · trace_id 7f3a…c21

Đính kèm câu hỏi, SQL, bộ lọc, nguồn và ảnh chart.

Hai hàng xử lý. Duyệt phản hồi cho bộ đánh giá và cập nhật tiến độ báo số sai tại đây.