运行提示:已杀死!

#1
by dongab - opened

请问一下,会是rknn-toolkit-lite2版本原因导致的吗?运行具体输出如下:

Initializing ONNX Runtime for vision encoder...
W rknn-toolkit-lite2 version: 2.1.0
I RKNN: [11:10:47.855] RKNN Runtime Information, librknnrt version: 2.1.0 (967d001cc8@2024-08-07T19:28:19)
I RKNN: [11:10:47.856] RKNN Driver Information, version: 0.9.6
I RKNN: [11:10:47.867] RKNN Model Information, version: 6, toolkit version: 2.3.2(compiler version: 2.3.2 (e045de294f@2025-04-07T19:48:25)), target: RKNPU v2, target platform: rk3588, framework name: ONNX, framework layout: NCHW, model inference type: static_shape
W RKNN: [11:10:47.868] RKNN Model version: 2.3.2 not match with rknn runtime version: 2.1.0
W RKNN: [11:10:52.812] query RKNN_QUERY_INPUT_DYNAMIC_RANGE error, rknn model is static shape type, please export rknn with dynamic_shapes
W Query dynamic range failed. Ret code: RKNN_ERR_MODEL_INVALID. (If it is a static shape RKNN model, please ignore the above warning message.)
Vision encoder loaded successfully.
ONNX Input: pixel_values, ONNX Output: vision_features
Initializing RKLLM Runtime...
W rkllm: Warning: Your rknpu driver version is too low, please upgrade to 0.9.7
I rkllm: rkllm-runtime version: 1.2.1, rknpu driver version: 0.9.6, platform: RK3588
I rkllm: loading rkllm model from ./language_model_w8a8.rkllm
I rkllm: rkllm-toolkit version: 1.2.1, max_context_limit: 4096, npu_core_num: 3, target_platform: RK3588, model_dtype: W8A8
I RKNN: [11:10:53.367] RKNN LLM Runtime Information, rknn llm lib version: 2.3.3b0 (60745f603@2025-06-18T12:21:09)
I RKNN: [11:10:53.367] RKNN Driver Information, version: 0.9.6
已杀死

你的系统内存够大吗?

@dongab 跑 VLM,建议用隔壁 Axera 的 AX650N 吧,最新的 Qwen3-VL-2B/4B 都适配好并开源了,支持图片理解和视频理解,TTFT 和 Decoder 非常快

image

你的系统内存够大吗?

感谢回复,可能是内存的问题,3588设备是8g内存,不确实运行时是否有足够多的内存空间。

@dongab 跑 VLM,建议用隔壁 Axera 的 AX650N 吧,最新的 Qwen3-VL-2B/4B 都适配好并开源了,支持图片理解和视频理解,TTFT 和 Decoder 非常快

image

这性能表现确实不错!是一个很好的参考,但是公司目前主营设备的rk3588.

@dongab 跑 VLM,建议用隔壁 Axera 的 AX650N 吧,最新的 Qwen3-VL-2B/4B 都适配好并开源了,支持图片理解和视频理解,TTFT 和 Decoder 非常快

image

这性能表现确实不错!是一个很好的参考,但是公司目前主营设备的rk3588.

可以考虑在 RK3588 上加 AX650N 的 M.2 算力卡,弥补算力的不住。标准的 M.2 功耗,不需要额外供电

Sign up or log in to comment