Function llama_tokenize

pub unsafe extern "C" fn llama_tokenize(
    ctx: *mut llama_context,
    text: *const c_char,
    tokens: *mut llama_token,
    n_max_tokens: c_int,
    add_bos: bool,
) -> c_int