Menjalankan Model gemma-3n-E2B-it-int4.litertlm di Linux

Pernahkah Anda membayangkan memiliki "otak" AI yang canggih di komputer Anda, tanpa perlu koneksi internet? Model gemma-3n-E2B-it-int4.litertlm adalah jawaban dari Google untuk impian tersebut. Ini adalah model AI yang dirancang untuk berjalan langsung di komputer Anda, bukan di cloud.

Apa Itu gemma-3n-E2B-it-int4.litertlm?Model ini adalah "otak" AI yang pintar, tetapi hemat energi.

• Gemma: Ini adalah nama keluarga model AI dari Google. Gemma adalah versi yang lebih kecil dan ringan dari model AI Google, Gemini.
• 3n: Model ini menggunakan teknologi khusus yang membuat performanya sangat efisien. Teknologi ini memiliki beberapa model "dalam model", sehingga dapat beroperasi dengan cepat tanpa membebani komputer.
• E2B: Angka ini mengacu pada jejak memori yang setara dengan model berukuran 2 miliar parameter, meskipun model ini memiliki parameter lebih banyak. Hal ini memungkinkan model berjalan di perangkat dengan memori terbatas, seperti laptop biasa.
• it: Singkatan dari instruction-tuned. Artinya, model ini sudah dilatih untuk mengikuti instruksi atau perintah, seperti menjawab pertanyaan atau meringkas teks.
• int4: Model ini menggunakan teknik "kuantisasi" yang membuatnya menjadi sangat ringan. Kuantisasi ini membuat ukuran model jauh lebih kecil dan hemat memori, tanpa mengorbankan kualitasnya.
• .litertlm: Ini adalah format file dari Google AI Edge. Format ini khusus untuk menjalankan model di perangkat (on-device) menggunakan runtime (mesin pelaksana) bernama LiteRT-LM.

Dengan kata lain, model ini adalah versi hemat dari model AI Google yang dapat digunakan langsung di komputer.

Cara Menjalankan Model Ini di Komputer (Sistem Linux)Untuk menjalankan model ini, perlu mengkompilasi program khusus yang dibuat oleh Google.

Langkah 1: Siapkan apa yang Dibutuhkan

Buka Terminal dan ketikkan perintah ini:

sudo apt update
sudo apt install git wget unzip zip build-essential

Langkah 2: Ambil Kode Programnya

Ambil kode program dari GitHub

git clone https://github.com/google-ai-edge/LiteRT-LM.git
cd LiteRT-LM

Langkah 3: Pasang Bazel

Bazel akan merakit kode menjadi program yang dapat dijalankan

wget https://github.com/bazelbuild/bazelisk/releases/latest/download/bazelisk-linux-amd64
chmod +x bazelisk-linux-amd64
sudo mv bazelisk-linux-amd64 /usr/local/bin/bazel

Langkah 4: Unduh Model Gemma

Unduh file model gemma-3n-E2B-it-int4.litertlm dari situs seperti Hugging Face. Letakkan file di folder LiteRT-LM.

Langkah 5: Bangun Program Pelaksananya

Bazel akan mengkompilasi semua kode.

bazel clean --expunge
bazel build //runtime/engine:litert_lm_main

Langkah 6: Jalankan Modelnya!

Setelah kompilasi selesai, jalankan modelnya.

# Ganti /path/ke/ dengan lokasi file model Anda
export MODEL_PATH="gemma-3n-E2B-it-int4.litertlm"

bazel-bin/runtime/engine/litert_lm_main \
--backend=cpu \
--model_path=$MODEL_PATH \
--input_prompt="Apa ibu kota Indonesia?"

Jika berhasil, respons dari Gemma akan muncul di terminal.