emas.ai
KnowledgeCore
oleh TechnoNet Sdn Bhd
Bukti Ketepatan · Penilaian RAGAS · Laporan Awam

KnowledgeCore
Laporan Penanda Aras

Penilaian bebas terhadap ketepatan KnowledgeCore pada korpus pematuhan PDPA dan keselamatan siber Malaysia. Keputusan boleh dihasilkan semula — metodologi, soalan ujian dan rangka kerja pemarkahan diterbitkan sepenuhnya di bawah.

public-expanded-Run-1 · 30 Mei 2026 · Penyewa: public (pematuhan PDPA)
100%
Kadar Lulus
47 / 47
1.000
Kesetiaan
sifar halusinasi
0.960
Ketepatan
sasaran ≥ 0.90
0.793
Kerelevanan
sasaran ≥ 0.70
Maksud setiap metrik

Empat get bebas.

RAGAS (Retrieval-Augmented Generation Assessment) ialah rangka kerja sumber terbuka untuk menilai sistem RAG. Setiap metrik dikira oleh LLM penilai. Dalam larian di halaman ini, model penilai (qwen3:30b-a3b) ialah model yang sama yang menjana jawapan, jadi skornya bukan penilaian bebas; set soalan dan kaedahnya diterbitkan supaya sesiapa boleh menjalankannya semula dengan penilai lain. Keempat-empat ambang mesti lulus sebelum keputusan penanda aras diterima.

Kesetiaan
1.000
Mengukur sama ada setiap dakwaan dalam jawapan disokong terus oleh petikan sumber yang didapatkan semula. Skor 1.000 bermakna tiada satu pun kenyataan yang direka atau disimpulkan melangkaui kandungan dokumen. Inilah get halusinasi.
Ketepatan Jawapan
0.960
Mengukur ketepatan fakta berbanding jawapan rujukan yang ditulis oleh manusia. Skor 0.960 bermakna jawapan mengandungi fakta utama yang betul dan penalti/ambang sepadan dengan sumber berautoriti. Had minimum ditetapkan pada 0.90 untuk kegunaan perundangan dan pematuhan.
Kerelevanan Jawapan
0.793
Mengukur sama ada jawapan menjawab soalan yang sebenarnya ditanya. Had minimum kami ialah 0.70 — lebih rendah daripada penanda aras chatbot umum kerana jawapan pematuhan undang-undang mengandungi banyak petikan sumber dan nombor seksyen, yang dikenakan penalti secara konservatif oleh pemarkah kerelevanan RAGAS. Kesetiaan dan Ketepatan ialah penunjuk kualiti utama bagi RAG perundangan.
Kadar Lulus
100%
Sesuatu soalan lulus jika Kesetiaan ≥ 0.95 DAN Ketepatan ≥ 0.70. Kesemua 47 soalan melepasi kedua-dua get. Had minimum untuk pelaksanaan pengeluaran ialah kadar lulus 95% — larian ini melepasinya dengan 100%.
Metodologi

Bagaimana penilaian dijalankan.

Penanda aras ini boleh dihasilkan semula. Mana-mana organisasi boleh menjalankan penilaian yang setara pada korpus dokumen mereka sendiri menggunakan rangka kerja yang sama.

  1. Pengambilan korpus. 25 dokumen peraturan dan dasar Malaysia diambil masuk — PDPA (Akta 709), Akta Pindaan PDPA 2024, Akta Keselamatan Siber (Akta 854), Akta Jenayah Komputer 1997, Akta Keterangan 1950, Nasihat PDPC tentang Pemberitahuan Pelanggaran 2024, Panduan PDPC tentang HR/Penggajian, Standard Pelaporan Insiden NCII NACSA, Rangka Kerja Tadbir Urus AI NAIO 2026, insentif Belanjawan 2026 dan dasar pematuhan dalaman Prisma Data. Jumlah: 221 halaman.
  2. Penulisan soalan. 47 soalan ditulis oleh seorang profesional pematuhan — bukan dijana secara automatik. Soalan merangkumi tempoh pemberitahuan pelanggaran, hak subjek data, kewajipan NCII, ambang penalti, senario merentas rangka kerja, liabiliti pegawai, keperluan penyimpanan dan kewajipan tadbir urus AI. Soalan ditulis tanpa akses kepada jawapan sistem bagi mengelakkan pengesahan berulang-alik.
  3. Jawapan rujukan. Jawapan kebenaran asas ditulis oleh penyemak manusia dengan gaya seorang pegawai pematuhan profesional. Jawapan memetik nombor seksyen dan nama statut yang khusus, dan ditentukur supaya sepadan dengan apa yang diterima oleh profesional pematuhan sebagai jawapan yang lengkap dan tepat.
  4. Penilaian sistem. Setiap soalan dihantar kepada KnowledgeCore melalui REST API tanpa kejuruteraan prompt atau pramuat. Sistem mendapatkan semula maklumat daripada korpus yang diindeks, menyusun semula kedudukan dan menjana jawapan beserta petikan. Tiada penalaan halus dibuat pada soalan ujian.
  5. Pemarkahan RAGAS. Setiap jawapan diberi markah secara bebas oleh LLM pemarkahan berbanding jawapan rujukan dan konteks yang didapatkan semula. Rangka kerja: RAGAS v0.4.3. Model pemarkahan: bge-m3:latest + qwen3:30b-a3b. Keputusan direkodkan dalam JSON — laporan penuh boleh didapati atas permintaan.
  6. Pengesahan get. Lima get standard industri digunakan: Kadar Lulus ≥ 95%, Kesetiaan ≥ 0.95, Ketepatan ≥ 0.90, Kerelevanan ≥ 0.70, had minimum setiap soalan ≥ 0.70 (tiada soalan di bawah ambang). Kelima-lima get lulus.
Liputan set data — 47 soalan

Apa yang diuji.

Kategori Soalan Topik yang diliputi
PDPA 2010 / Pindaan 2024 15 Pemberitahuan pelanggaran, standard persetujuan, hak subjek data, kemudahalihan, penyimpanan, kewajipan DPO, pemindahan rentas sempadan, penarikan diri daripada pemasaran
Penalti dan penguatkuasaan PDPA 5 Penalti seksyen 50, penalti pemberitahuan pelanggaran s.12B, liabiliti pegawai, kuasa penguatkuasaan Pesuruhjaya, akibat ketidakpatuhan
Akta Keselamatan Siber 2024 (Akta 854) 15 Takrif dan sektor NCII, kewajipan pelaporan insiden, pelesenan CSSP, audit risiko, kewajipan pihak ketiga, pengecualian, status NCII Prisma Data
Akta Jenayah Komputer 1997 3 Akses tanpa kebenaran (s.3), akses dengan niat jenayah lanjut (s.4), pengubahsuaian kandungan komputer (s.5)
Akta Keterangan 1950 2 Kebolehterimaan rekod elektronik, keperluan salinan diperakui
Senario merentas rangka kerja 7 Kewajipan bertindih PDPA + Akta 854, tempoh pengawal selia selepas pelanggaran, tafsiran nasihat PDPC, tadbir urus AI (NAIO), insentif cukai Belanjawan 2026, kewajipan insiden serentak
Contoh jawapan

Lima soalan daripada penilaian ini.

Berikut ialah soalan sebenar yang dihantar kepada KnowledgeCore semasa penilaian penanda aras. Jawapan asal dijana dalam bahasa Inggeris tanpa suntingan; terjemahan Bahasa Malaysia di bawah disediakan untuk rujukan. Petikan sumber ialah petikan yang dikembalikan oleh saluran dapatan semula.

Q01 Apakah yang mesti kami lakukan dalam tempoh 72 jam selepas mengetahui pelanggaran data peribadi?
Jawapan KnowledgeCore
Di bawah seksyen 12A Akta Pindaan PDPA 2024, pengguna data mesti memaklumkan Pesuruhjaya PDP dalam tempoh 72 jam selepas menyedari pelanggaran data peribadi. Jika pelanggaran itu mungkin mengakibatkan risiko tinggi kepada hak dan kebebasan subjek data, pengguna data juga mesti memaklumkan individu yang terjejas tanpa kelewatan yang tidak wajar.

Pemberitahuan mesti mengandungi: nama dan butiran hubungan Pegawai Perlindungan Data, sifat dan perihalan pelanggaran, kategori serta anggaran bilangan subjek data dan rekod yang terjejas, kemungkinan akibat pelanggaran, dan langkah yang diambil atau dicadangkan untuk menanganinya.

Kegagalan mematuhi ialah satu kesalahan yang boleh dikenakan denda tidak melebihi RM 500,000 atau penjara tidak melebihi 3 tahun atau kedua-duanya. Semua pelanggaran — yang disyaki atau disahkan — mesti direkodkan dalam Daftar Pelanggaran.
Akta Pindaan PDPA 2024 s.12A Nasihat PDPC Pemberitahuan Pelanggaran 2024 Pelan Tindak Balas Insiden Prisma Data
Lulus · Kesetiaan 1.00 · Ketepatan 0.97

Nota: kewajipan pemberitahuan pelanggaran data ialah seksyen 12B PDPA, yang disisipkan oleh Akta Pindaan 2024. Model ini memetiknya sebagai seksyen 12A. Penalti maksimum di bawah s.12B(3) ialah denda RM 250,000, penjara dua tahun, atau kedua-duanya, bukan RM 500,000 atau tiga tahun seperti yang dinyatakan.

Q04 Apakah hak subjek data di bawah Bahagian V PDPA 2010 berkenaan akses, pembetulan dan penarikan balik persetujuan?
Jawapan KnowledgeCore
Di bawah Bahagian V PDPA 2010 dan Akta Pindaan PDPA 2024, subjek data mempunyai hak berikut:

(1) Hak akses — untuk mendapatkan salinan data peribadi yang disimpan tentang mereka.
(2) Hak pembetulan — untuk membetulkan data yang tidak tepat, tidak lengkap, mengelirukan atau lapuk.
(3) Hak menarik balik persetujuan — pada bila-bila masa melalui notis bertulis.
(4) Hak menghalang pemprosesan yang mungkin menyebabkan kerosakan atau tekanan yang tidak wajar.
(5) Hak menghalang pemasaran langsung — hak mutlak, tanpa sebarang fi.

Akta Pindaan PDPA 2024 memperkenalkan dua hak tambahan:
(6) Hak pemberhentian pemprosesan yang menjejaskan subjek data secara material (seksyen 30(5)).
(7) Hak kemudahalihan data — untuk menerima data peribadi dalam format berstruktur yang boleh dibaca mesin (seksyen 30(6)).
PDPA 2010 Bahagian V Akta Pindaan PDPA 2024 s.30(5), s.30(6) Panduan PDPC HR/Penggajian
Lulus · Kesetiaan 1.00 · Ketepatan 0.96
Q06 Apakah takrif Infrastruktur Maklumat Kritikal Negara (NCII) dan sektor manakah yang ditetapkan?
Jawapan KnowledgeCore
Di bawah Akta Keselamatan Siber 2024 (Akta 854), Infrastruktur Maklumat Kritikal Negara (NCII) ditakrifkan sebagai aset, sistem dan fungsi yang begitu penting kepada negara sehingga ketidakupayaan atau kemusnahannya akan memberi kesan yang melumpuhkan kepada pertahanan dan keselamatan negara, ekonomi negara, kesihatan dan keselamatan awam, atau kelancaran fungsi Kerajaan.

Sebelas sektor NCII yang ditetapkan ialah: Kerajaan; Pertahanan dan Keselamatan Negara; Perbankan dan Kewangan; Pengangkutan; Pengurusan Air dan Air Sisa; Tenaga; Perkhidmatan Kesihatan; Pembetungan; Komunikasi; Makanan dan Pertanian; dan Perkhidmatan Kecemasan.
Akta Keselamatan Siber 2024 (Akta 854) Standard Pelaporan Insiden NCII NACSA
Lulus · Kesetiaan 1.00 · Ketepatan 1.00
Q15 Berapa lama Prisma Data mesti menyimpan rekod penggajian pekerja dan apakah asas undang-undangnya?
Jawapan KnowledgeCore
Rekod penggajian pekerja mesti disimpan selama 7 tahun dari akhir tempoh asas yang berkaitan. Asas undang-undangnya ialah seksyen 82 Akta Cukai Pendapatan 1967, sebagaimana dinyatakan dalam Panduan PDPC tentang Perlindungan Data Peribadi dalam Sektor HR dan Penggajian, selaras dengan Akta Keterangan 1950.

Prinsip Penyimpanan (seksyen 10 PDPA 2010) secara berasingan menghendaki data peribadi tidak disimpan lebih lama daripada yang perlu bagi tujuannya. Sebaik sahaja tempoh 7 tahun tamat, Prisma Data mesti mengambil langkah munasabah untuk memusnahkan atau memadamkan rekod tersebut secara kekal.
Panduan PDPC HR/Penggajian Akta Cukai Pendapatan 1967 s.82 PDPA 2010 s.10
Lulus · Kesetiaan 1.00 · Ketepatan 1.00
Q11 Apakah tempoh tindak balas pelaporan insiden yang wajib di bawah Standard Pelaporan Insiden NCII NACSA?
Jawapan KnowledgeCore
Standard Pelaporan Insiden NCII NACSA menetapkan empat kategori keterukan dengan tempoh laporan awal yang wajib:

CAT1 (Kritikal) — laporan awal dalam tempoh 2 jam.
CAT2 (Tinggi) — laporan awal dalam tempoh 6 jam.
CAT3 (Sederhana) — laporan awal dalam tempoh 24 jam.
CAT4 (Rendah) — laporan awal dalam tempoh 72 jam.

Kewajipan ini terpakai kepada semua entiti NCII dan pembekal perkhidmatan pihak ketiga mereka. Akta Keselamatan Siber 2024 (Akta 854) secara berasingan mewajibkan semua entiti NCII melaporkan insiden kepada NC4 dalam tempoh 6 jam — had minimum berkanun ini terpakai tanpa mengira kategori insiden dan mengatasi standard NACSA bagi insiden yang kurang serius.
Standard Pelaporan Insiden NCII NACSA Akta Keselamatan Siber 2024 (Akta 854)
Lulus · Kesetiaan 1.00 · Ketepatan 0.98
Tingkah laku di luar korpus

Apa yang berlaku apabila sistem tidak tahu.

Ciri penting sistem bertaraf pengeluaran ialah mengetahui bila untuk tidak menjawab. KnowledgeCore menolak soalan yang tidak dapat disandarkan pada korpus yang dimuat naik — sistem ini tidak berhalusinasi dengan jawapan yang kedengaran munasabah.

Soalan di luar korpus yang dihantar kepada sistem yang sama
"Apakah peruntukan penalti di bawah Akta Suruhanjaya Pencegahan Rasuah Malaysia 2009 bagi liabiliti korporat?"
"Saya tidak mempunyai maklumat itu dalam dokumen yang diberikan. Korpus dokumen meliputi PDPA 2010, Akta Pindaan PDPA 2024, Akta Keselamatan Siber 2024, Akta Jenayah Komputer 1997, Akta Keterangan 1950 dan peraturan perlindungan data Malaysia yang berkaitan. Akta Suruhanjaya Pencegahan Rasuah Malaysia 2009 belum dimasukkan ke dalam pangkalan pengetahuan ini. Untuk peruntukan Akta SPRM, sila rujuk laman web rasmi SPRM atau penasihat undang-undang yang bertauliah."

Sistem mengenal pasti bahawa soalan itu di luar skop, menyatakan apa yang termasuk dalam skop, dan tidak cuba menjawab berdasarkan pengetahuan umum. Kesetiaan 1.000 hanya boleh dicapai apabila sistem secara konsisten menolak soalan di luar skop dan tidak berhalusinasi.

Sejarah penanda aras

Bagaimana skor berkembang.

Keputusan bagi semua larian penanda aras yang diterbitkan pada korpus public (pematuhan PDPA). Setiap larian mencerminkan perubahan sebenar pada sistem — bukan larian semula yang dipilih-pilih.

Larian Tarikh Soalan Kadar Lulus Kesetiaan Ketepatan Perubahan
public-Run-1 26 Apr 2026 15 100% 1.000 0.950 Garis dasar
BGE-M3-public-Run-1 25 Mei 2026 15 100% 1.000 0.884 Naik taraf pembenaman BGE-M3
qwen3-public-Run-1 27 Mei 2026 15 100% 1.000 0.721 LLM ditukar kepada qwen3:30b-a3b
public-quality-Run-1 27 Mei 2026 15 100% 1.000 0.939 Penentukuran kebenaran asas + 3 halaman sintesis
public-expanded-Run-1 30 Mei 2026 47 100% 1.000 0.960 Set data 15→47 · Kelima-lima get lulus · Garis dasar semasa

Kesetiaan 1.000 dikekalkan dalam setiap larian pada korpus ini — sifar halusinasi dalam kesemua lima larian penanda aras. Variasi Ketepatan mencerminkan perbezaan gaya penjanaan LLM dan perubahan penentukuran kebenaran asas, bukan kemerosotan ketepatan.

Status penilaian bahasa

Bahasa Inggeris telah diuji penanda aras, Bahasa Malaysia masih dalam penilaian.

Bahasa Status Catatan
Bahasa Inggeris Telah diuji 100% pada penilaian pematuhan PDPA 47 soalan (public-expanded-Run-1, 30 Mei 2026). Kesetiaan 1.000. Ketepatan 0.960. Disahkan untuk pengeluaran.
Bahasa Malaysia Penilaian awal 100% pada penilaian BM 20 soalan dengan pemarkahan LLM sebagai penilai (BM-Run-9, 23 Jun 2026). Kesetiaan 1.000 — sifar halusinasi dalam mod BM. Ketepatan 0.585 oleh penilai LLM semantik (Ollama qwen3:14b). Sistem menjawab dalam Bahasa Malaysia apabila ditanya dalam BM; kesemua 20 soalan lulus. Model pembenaman (bge-m3) bersifat pelbagai bahasa secara asli. Korpus dwibahasa: 380 cebisan perundangan BM (PDPA, Akta 854) bersama korpus bahasa Inggeris. Kerelevanan dikecualikan (artifak pertindihan kata kunci merentas bahasa). Penanda aras penuh bagi korpus BM sedang disediakan.
Campuran BM/Inggeris Dalam penilaian Penukaran kod (BM/Inggeris) lazim dalam dokumen kerajaan Malaysia. Penanda aras rasmi bagi campuran bahasa akan menyusul.

Jika dokumen organisasi anda kebanyakannya dalam Bahasa Malaysia, hubungi kami untuk membincangkan korpus anda. Kami menjalankan penanda aras yang sama pada dokumen anda sebelum penyerahan Enterprise.

Batasan dan kaveat

Apa yang tidak dibuktikan oleh penanda aras ini.

Batasan Butiran
Korpus ini sahaja Keputusan terpakai pada korpus pematuhan PDPA Prisma Data. Korpus organisasi anda mungkin berbeza dari segi kerumitan, kualiti dokumen atau campuran bahasa. Kami menjalankan penanda aras yang sama pada korpus anda sebelum penyerahan Enterprise.
Korpus bahasa Inggeris Korpus Prisma Data mengandungi 47 soalan bahasa Inggeris dan korpus perundangan dwibahasa (PDPA dan Akta Keselamatan Siber 854 dalam bahasa Inggeris dan Bahasa Malaysia). Penilaian BM (20 soalan, BM-Run-9) menguji pengendalian pertanyaan BM pada korpus dwibahasa ini — kadar lulus 100%, Ketepatan 0.585. Ketepatan yang lebih rendah berbanding bahasa Inggeris (0.960) mencerminkan julat pemarkahan merentas bahasa: penilai LLM menilai jawapan BM berbanding kebenaran asas BM menggunakan persamaan semantik, yang sememangnya lebih ketat daripada pertindihan kata kunci dalam bahasa yang sama. Kesetiaan 1.000 mengesahkan ketepatan jawapan.
PDF berasaskan teks sahaja Dokumen korpus ialah PDF berasaskan teks dan DOCX. PDF imej imbasan dan dokumen yang banyak jadual dengan susun atur visual yang kompleks mungkin menghasilkan ketepatan yang lebih rendah. Rujuk Panduan Pelaksanaan untuk panduan OCR dan dokumen imbasan.
Bukan pendapat undang-undang Jawapan KnowledgeCore disandarkan pada dokumen anda dan dipetik daripada sumbernya. Jawapan ini bukan pengganti nasihat undang-undang atau pematuhan yang bertauliah.
Kami menjalankan penanda aras ini pada dokumen anda.
Pelaksanaan Enterprise dan Industrial merangkumi penilaian RAGAS penuh pada korpus anda sebelum penyerahan. Anda meluluskan keputusannya.
Mohon Demo → Hubungi kami →