Overview Proyek

Inter Intelligence adalah platform analitik migrasi kerja terampil Australia yang dibangun di atas data SkillSelect EOI (Expression of Interest) real-time. Platform ini menggabungkan data warehouse 18 juta baris dengan tiga model machine learning untuk membantu calon imigran dan migration agent membuat keputusan berbasis data — bukan spekulasi.

Dashboard mencakup seluruh pipeline visa skilled migration: dari analisis EOI pool dan tren shortage pekerjaan, hingga prediksi pathway visa yang paling optimal dan probabilitas approval per state.

Snapshot data terbaru (Maret 2026) menunjukkan 1.185.841 active EOI dengan 22.450 active invitations, tersebar di 489 unique occupations di tiga visa subclass utama: 189, 190, dan 491.

Ide Bisnis

Proses aplikasi skilled migration Australia sangat opaque. Calon imigran menghadapi pertanyaan yang sama berulang kali: apakah occupation saya masuk shortlist? State mana yang paling realistis? Berapa poin minimum yang perlu saya kejar?

Selama ini jawaban atas pertanyaan itu datang dari forum, grup WhatsApp, atau intuisi migration agent bukan dari data aktual. Padahal data SkillSelect dipublikasikan setiap bulan oleh Department of Home Affairs.

Inter Intelligence mengisi gap ini dengan mengolah data mentah SkillSelect menjadi intelligence yang actionable:

• EOI pool tracking

  — siapa yang submit, siapa yang diundang, dan seberapa kompetitif tiap occupation

• Shortage forecasting

  — historical OSL 2021–2025 + ML forecast 2026–2030 berbasis RandomForest untuk 916 occupation

• Visa pathway prediction

  — GradientBoosting model yang merekomendasikan subclass visa terbaik berdasarkan profil individu

• Approval probability scoring

  — XGBoost model yang menghitung probabilitas lodgement EOI per state dengan what-if analysis

Target pengguna adalah migration agent dan konsultan yang butuh data granular untuk advise klien, serta individu yang ingin navigasi proses secara mandiri.

How We Executing

Data Layer

Fondasi platform adalah SQLite warehouse berisi 18 juta baris yang di-ingest dari snapshot bulanan SkillSelect, data OSL (Occupation Shortage List) DESE, JSA Labour Market projections, dan NERO Index untuk regional stability. Data pipeline berjalan otomatis dan dashboard menampilkan status LIVE dengan jumlah row aktual.

Analytics Module

Dashboard dibagi menjadi beberapa modul fungsional:

EOI Analysis — tabel 482 occupations dengan filter year, state, dan visa type. Setiap baris menampilkan EOI pool, invitation count, pipeline total, invitation rate, dan points range. Chart tren bulanan menunjukkan EOI growth vs new invitations dari April 2025 hingga sekarang.

Occupation Shortage Analysis — dua tab: historical OSL 2021–2025 dan ML Forecast 2026–2030. User bisa filter per state (NSW, VIC, QLD, SA, WA, TAS, NT, ACT) dan per tahun. Visualisasi mencakup top 10 highest-risk occupations, shortage trajectory chart, dan full table 5-year forecast dengan color-coding High/Medium/Low.

Predictors — modul yang belum ditampilkan di screenshot utama, namun terintegrasi dalam pipeline prediksi.

ML Models

Tiga model dibangun dan di-deploy langsung ke platform:

Visa Pathway Predictor menggunakan GradientBoostingClassifier dengan 200 estimators, trained pada 17 Visa×State combinations, 3 features (occupation, state, points). Output: ranked pathway dengan confidence score. Untuk profil 80 poin di NSW, misalnya, model merekomendasikan Visa 491 NSW (80%), diikuti 190 NSW (71%), dan 189 national (54%).

Approval Probability Scorer berbasis XGBoost dengan 13 features. Model ini memprediksi probabilitas lodgement EOI berdasarkan visa type, occupation, English proficiency level, state, dan jumlah EOI dalam cohort. Fitur what-if analysis menampilkan probabilitas approval di semua 8 state sekaligus — membantu user memilih state strategis. Contoh: Web Designer (Visa 491) dengan proficiency level proficient memiliki approval probability tertinggi di TAS (8.31%) dibanding NSW (0.19%).

Shortage ML Forecast menggunakan RandomForest trained pada data OSL historis untuk proyeksi 2026–2030. Output per occupation mencakup probability score dan trend direction.

Chat Interface

Platform juga dilengkapi Migration Advisor Chat berbasis Gemini 2.5 dengan RAG pipeline yang mengindeks 25.000+ dokumen lokal — mencakup EOI records (8.3M+), Shortage OSL, JSA Labour data, dan NERO Index. Self-correction dan typo protection aktif untuk menjaga akurasi query.

Report Generator

Modul Reports menghasilkan PDF 6 halaman (Cover, EOI Trends, Shortage, Pathway, Approval, Summary) yang bisa di-generate berdasarkan profil spesifik klien — siap digunakan migration agent untuk presentasi ke klien.

Challenge We Facing

Data consistency across snapshots. Data SkillSelect dirilis dalam format yang tidak selalu konsisten antar bulan — ada perubahan struktur kolom, ada occupation yang rename ANZSCO code-nya. Normalisasi data lintas 14+ bulan snapshot menjadi pekerjaan yang lebih berat dari yang diantisipasi awal.

EOI pool disambiguation. Status EOI (Submitted, Invited, Lodged, Closed, Hold) memiliki transisi yang kompleks. Satu person bisa muncul di multiple status di snapshot berbeda. Membangun logika pipeline yang benar untuk menghitung "active pool" yang akurat membutuhkan beberapa iterasi.

Model accuracy vs interpretability. Untuk Approval Probability Scorer, ada trade-off antara model yang akurat secara statistik dengan output yang explainable ke user non-technical. Akhirnya dipilih pendekatan hybrid — model XGBoost untuk prediksi, tapi output disajikan dengan feature importance yang visual dan what-if analysis yang intuitif.

Keeping ML features meaningful. Dengan hanya 3 features di Pathway Predictor, ada risiko underfitting. Namun menambah features tanpa data yang cukup granular justru memasukkan noise. Trade-off ini diselesaikan dengan transparan — model info (algorithm, estimators, features, file) ditampilkan langsung di UI agar user tahu batas model.

Performance dengan 18M rows. Query analitik di atas SQLite 18 juta baris membutuhkan indexing yang cermat. Beberapa query awal membutuhkan 8–12 detik — tidak acceptable untuk dashboard. Optimasi query dan caching snapshot bulanan memangkas waktu respons ke bawah 2 detik untuk sebagian besar view.

Success Metrics

Platform saat ini beroperasi dengan data live dan menampilkan beberapa indikator validasi:

Data coverage: 18M rows warehouse, 1.185.841 active EOI (snapshot 03/2026), 489 unique occupations, 916 occupations dalam ML shortage forecast.

Model performance: Pathway Predictor menghasilkan confidence rating Good untuk profil standar. Approval Scorer menunjukkan diferensiasi yang signifikan antar state (range 0.19% hingga 8.31% untuk profil yang sama), mengkonfirmasi bahwa model menangkap perbedaan supply-demand nyata per state — bukan sekadar angka flat.

Feature richness: Dashboard mencakup 8 modul analitik (Dashboard, EOI Analysis, Shortage, Predictors, Pathway, Approval, Chat, Reports) — dari overview nasional hingga rekomendasi individual yang spesifik.

Operational: Platform berjalan dengan snapshot data real-time (status LIVE dengan row count aktual), bukan data statis. RAG pipeline Chat telah mengindeks 8.3M+ EOI records dengan knowledge base aktif di 4 sumber data.

Metrik yang sedang di-track ke depan: accuracy validation model prediksi terhadap outcome aktual (invitation yang terjadi post-prediction), retention pengguna per modul, dan conversion dari chat query ke report generation.