ASSESING THE STRUCTURED DATA INFERENCE CAPABILITY OF LOCAL LANGUAGE MODELS ON EDGE DEVICES FOR IOT SYSTEM COORDINATION
DOI:
https://doi.org/10.51453/3093-3706/2026/1466Tóm tắt
The current dependence of IoT systems on cloud computing is causing many limitations regarding latency, security risks, and stability. To overcome this, the study proposes shifting processing capabilities to edge devices using Local Language Models (Local LLMs). To resolve the conflict between the free text of LLMs and central control systems, we apply an output format coercion technique, forcing the model to interpolate intent and output data strictly adhering to the JSON command structure. Experiments on simulated high-performance edge device hardware show that this method completely eliminates format hallucination, achieving a 100% successful JSON parsing rate. Regarding performance, the token generation speed (TPS) ranges from 37 to over 184 tokens/second, the time to first token (TTFT) is under 5 ms, the end-to-end latency takes only 0,16 to 1,2 seconds, and the peak VRAM consumption is under 4,5 GB. These results excellently meet the real-time standards of smart home experiences, affirming the feasibility of the local AIoT coordination solution.
Tải xuống
Tài liệu tham khảo
1. Tran-Thi Thuy, Pham-Dinh Quoc, Dang-Thanh Khang, “Research on IoT applications in building smart home models in the past 10 years”, Can Tho University Journal of Science, 2021.
2. Articles, muRata, “Understanding Edge AI: Artificial Intelligence Meets IoT,” 2024. [Online]. Available: http://article.murata.com/en-global/article/what-is-edge-ai.
3. VDTS, VD Technology Solution, “Security challenges for smart devices,” 2024. [Online]. Available: https://vdts.vn/thach-thuc-bao-mat-doi-voi-thiet-bi-thong-minh-security-challenges-with-smart-home-iot-devices/.
4. Law Library, Apr 17, 2023. [Online]. Available: https://thuvienphapluat.vn/van-ban/Cong-nghe-thong-tin/Nghi-dinh-13-2023-ND-CP-bao-ve-du-lieu-ca-nhan-465185.aspx.
5. Weisong Shi, Fellow, Jie Cao, Quan Zhang, Youhuizi Li, Lanyu, “Edge Computing: Vision and Challenges,” IEEE Internet Of Things Journal, 2016.
6. Zhi Zhou, Xu Chen, En Li, Liekang Zeng, Ke Luo, Junshan Zhang, “Edge Intelligence: Paving the Last Mile of Artificial Intelligence With Edge Computing,” IEEE, pp. 1738-1762, 2019.
7. Satyanarayanan, Mahadev, “The Emergence of Edge Computing,” IEEE Computer, pp. 30-39, 2017.
8. Pham-Ngoc Minh, Ha-Thi Hong Van, “Cybersecurity and challenges for the Internet of Things,,” Technology, Products and Life, 2024.
9. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, “Attention Is All You Need,” Advances in neural information processing systems, 2017.
10. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child et al, “Language Models are Few-Shot Learners,” Advances in Neural Information Processing Systems, 2020.
11. Ziwei Ji, Nayeon Lee, Rita Frieske, Tiehzheng Yu et al, “Survey of Hallucination in Natural Language Generation,” Computation and Language, 2022.
12. Lei Huang, Weijiang Yu, Weitao Ma, Weihong Zhong, Zhangyin Feng, Haotian Wang, Qianglong Chen, Weihua Peng, Xiaocheng Feng, Bing Qin, Ting Liu, “A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions,” Arxiv: Computation and Language, 2024.
13. Vipula Rawte, Amit Sheth, Amitava Das, “A survey of Hallucination in Large Foundation Models,” Arxiv: Artificial Intelligence, 2023.
14. Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample, “LLaMA: Open and Efficient Foundation Language Models,” Arxiv: Computation and language, 2023.
15. Suriya Gunasekar, Yi Zhang, Jyoti Aneja, Caio César Teodoro Mendes, Allie Del Giorno, Sivakanth Gopi, Mojan Javaheripi, Piero Kauffmann, Gustavo de Rosa, Olli Saarikivi, Adil Salim, Shital Shah, Harkirat Singh Behl, Xin Wang, Sébastien Bubeck et al, “Textbooks Are All You Need,” Arxiv: Computation and Language, 2023.
16. Grégoire Mialon, Roberto Dessì, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu, Baptiste Rozière, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, Edouard Grave, Yann LeCun, Thomas Scialom, “Augmented Language Models: a Survey,” Arxiv: Computation and Language, 2023.
17. Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom, “Toolformer: Language Models Can Teach Themselves to Use Tools,” Arxiv: Computation and Language, 2023.
18. Yujia Qin, Shi Liang, Yining Ye, Kunlun Zhu, Lan Yan, Ya-Ting Lu, Yankai Lin, X. Cong, Xiangru Tang, Bill Qian, Sihan Zhao, Runchu Tian, Ruobing Xie, Jie Zhou, Marc H. Gerstein, Dahai Li, Zhiyuan Liu, Maosong Sun, “ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs,” International Conference on Learning Representations, 2023.
19. Peiyuan Zhang, Guangtao Zeng, Tianduo Wang, Wei Lu, “TinyLlama: An Open-Source Small Language Model,” Arxiv: Computation and Language, 2024.
20. Marah Abdin, Jyoti Aneja, Hany Awadalla, Ahmed Awadallah, Ammar Ahmad Awan, Nguyen Bach, Amit Bahree, Arash Bakhtiari, Jianmin Bao, Harkirat Behl, Alon Benhaim, Misha Bilenko, Johan Bjorck, Sébastien Bubeck, Martin Cai, Qin Cai, Vishrav Chaudhary et al, “Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone,” Arxiv: Computation and Language, 2024.
21. Albert Q. Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lucile Saulnier, Lélio Renard Lavaud, Marie-Anne Lachaux, Pierre Stock et al, “Mistral 7B,” Arxiv: Computation and Language, 2023.
22. Jinze Bai, Shuai Bai, Yunfei Chu, Zeyu Cui, Kai Dang, Xiaodong Deng, Yang Fan, Wenbin Ge, Yu Han, Fei Huang, Binyuan Hui, Luo Ji, Mei Li, Junyang Lin, Runji Lin, Dayiheng Liu, Gao Liu, Chengqiang Lu, Keming Lu, Jianxin Ma, Rui Men, Xingzhang Ren et al, “Qwen Technical Report,” Arxiv: Computation and Language, 2023.
23. AI@Meta, “Llama 3 model card,” Meta AI, 2024.
24. Ji Lin, Jiaming Tang, Haotian Tang, Shang Yang, Wei-Ming Chen, Wei-Chen Wang, “AWQ: ACTIVATION-AWARE WEIGHT QUANTIZATION FOR,” Arxiv, 2023.
25. Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang, Junjie Zhang, Zican Dong, Yifan Du, Chen Yang, Yushuo Chen, Zhipeng Chen, Jinhao Jiang, Ruiyang Ren, Yifan Li, Xinyu Tang, Zikang Liu et al, “A Survey of Large Language Models,” Arxiv: Computation and Language, 2026.
26. Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, Yejin Choi, “The Curious Case of Neural Text Degeneration,” ICLR, 2020.
27. Gabriel Poesia, Oleksandr Polozov, Vu Le, Ashish Tiwari, Gustavo Soares, Christopher Meek, Sumit Gulwani, “Synchromesh: Reliable code generation from pre-trained language models,” Arxiv: Computer Science, 2022.
28. Brandon T. Willard, Rémi Louf, “Efficient Guided Generation for Large Language Models,” Arxiv: Computation and Language, 2023.
29. Kanghee Park, Timothy Zhou, Loris D'Antoni, “Flexible and Efficient Grammar-Constrained Decoding,” Arxiv: Computation and Language, 2025.
30. Gerganov, “llama.cpp: Port of Facebook's LLaMA model in C/C++,” GitHub repository, 2023.
31. Luca Beurer-Kellner, Marc Fischer, Martin Vechev, “Prompting Is Programming: A Query Language for Large Language Models,” PLDI'23: 44th ACM SIGPLAN International Conference on Programming Language Design and Implementation, 2022.
32. Bailin Wang, Zi Wang, Xuezhi Wang, Yuan Cao, Rif A. Saurous, Yoon Kim, “Grammar Prompting for Domain-Specific Language Generation with Large Language Models,” Arxiv: Computation and Language, 2023.
33. Carles Gomez, Stefano Chessa, Anthony Fleury, George Roussos, Davy Preuveneers, “Internet of Things for enabling smart environments: A,” HAL Open Science, 2019.
34. Dominique Guinard, Vlad Trifa, Friedemann Mattern & Erik Wilde, “From the Internet of Things to the Web of Things: Resource-oriented Architecture and Best Practices,” Springer Nature, 2011.
35. Felipe Pezoa, Juan L. Reutter, Fernando Suarez, Martín Ugarte, Domagoj Vrgoč, “Foundations of JSON Schema,” Proceedings of the 25th International Conference on World Wide Web, pp. 263-273, 2016.
36. An Yang, Baosong Yang, Binyuan Hui, Bo Zheng, Bowen Yu, Chang Zhou, Chengpeng Li, Chengyuan Li, Dayiheng Liu, Fei Huang, Guanting Dong, Haoran Wei, Huan Lin, Jialong Tang, Jialin Wang, Jian Yang, Jianhong Tu, Jianwei Zhang, Jianxin Ma, Jianxin Yang et al, “Qwen2 Technical Report,” Arxiv: Computation and Language, 2024.
37. Nguyen, Quan, “Introducing Arcee-VyLinh - A Powerful 3B Parameter Vietnamese Language SLM,” 2024. [Online]. Available: https://www.arcee.ai/blog/introducing-arcee-vylinh-a-powerful-3b-parameter-vietnamese-language-model.
38. Bac Ninh Newspaper, “Published the first research report in the field “smarthome” in Viet Nam,” 2022. [Online].
ation.
Marah Abdin, J. A. (2024). Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone. Arxiv: Computation and Language.
Nguyen, Q. (2024). Introducing Arcee-VyLinh - A Powerful 3B Parameter Vietnamese Language SLM. Retrieved from Arcee.ai: https://www.arcee.ai/blog/introducing-arcee-vylinh-a-powerful-3b-parameter-vietnamese-language-model
Ninh, B. B. (2022). Công bố báo cáo đầu tiên nghiên cứu về lĩnh vực “nhà thông minh - smarthome” tại Việt Nam. Retrieved from Baobacninhtv.vn.
Peiyuan Zhang, G. Z. (2024). TinyLlama: An Open-Source Small Language Model. Arxiv: Computation and Language.
Phạm Ngọc Minh, H. T. (2024). An ninh mạng và thách thức đối với hệ thống internet vạn vật. Công Nghệ, Sản Phẩm và Đời Sống.
Satyanarayanan, M. (2017). The Emergence of Edge Computing. IEEE Computer, 30-39.
Suriya Gunasekar, Y. Z. (2023). Textbooks Are All You Need. Arxiv: Computation and Language.
Timo Schick, J. D.-Y. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. Arxiv: Computation and Language.
Tom Brown, B. M.-V. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems.
Trần Thị Thùy, P. Đ. (2021). Nghiên cứu IoT ứng dụng xây dựng mô hình nhà thông minh trong 10 năm trở lại đây. Tạp Chí Khoa Học - Đại học Nam Cần Thơ.
VDTS, V. T. (2024). Thách thức bảo mật đối với thiết bị thông minh. Retrieved from https://vdts.vn/thach-thuc-bao-mat-doi-voi-thiet-bi-thong-minh-security-challenges-with-smart-home-iot-devices/
Vipula Rawte, A. S. (2023). A survey of Hallucination in Large Foundation Models. Arxiv: Artificial Intelligence.
Wayne Xin Zhao, K. Z. (2026). A Survey of Large Language Models. Arxiv: Computation and Language.
Weisong Shi, F. J. (2016). Edge Computing: Vision and Challenges. IEEE Internet Of Things Journal.
Yujia Qin, S. L.-T. (2023). ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs. International Conference on Learning Representations.
Zhi Zhou, X. C. (2019). Edge Intelligence: Paving the Last Mile of Artificial Intelligence With Edge Computing. IEEE, 1738-1762.
Ziwei Ji, N. L. (2022). Survey of Hallucination in Natural Language Generation. Computation and Language. doi:10.48550/arXiv.2202.03629
Tải xuống
Đã Xuất bản
Cách trích dẫn
Số
Chuyên mục
Giấy phép
Tác phẩm này được cấp phép theo Giấy phép Quốc tế Creative Commons Attribution-ShareAlike 4.0 .
Bài báo được xuất bản ở Tạp chí Khoa học Đại học Tân Trào được cấp phép theo giấy phép Ghi công - Chia sẻ tương tự 4.0 Quốc tế (CC BY-SA). Theo đó, các tác giả khác có thể sao chép, chuyển đổi hay phân phối lại các bài báo này với mục đích hợp pháp trên mọi phương tiện, với điều kiện họ trích dẫn tác giả, Tạp chí Khoa học Đại học Tân Trào và đường link đến bản quyền; nêu rõ các thay đổi đã thực hiện và các nghiên cứu đăng lại được tiến hành theo cùng một bản quyền.
Bản quyền bài báo thuộc về các tác giả, không hạn chế số lượng. Tạp chí Khoa học Tân Trào được cấp giấy phép không độc quyền để xuất bản bài báo với tư cách nhà xuất bản nguồn, kèm theo quyền thương mại để in các bài báo cung cấp cho các thư viện và cá nhân.
Mặc dù các điều khoản của giấy phép CC BY-SA không dành cho các tác giả (với tư cách là người giữ bản quyền của bài báo, họ không bị hạn chế về quyền hạn), khi gửi bài tới Tạp chí Khoa học Đại học Tân Trào, tác giả cần đáp ứng quyền của độc giả, và cần cấp quyền cho bên thứ 3 sử dụng bài báo của họ trong phạm vi của giấy phép.
