首页
/
行业洞察
/
正文
INDUSTRY INSIGHT · 深度
GeoJSEval: An Automated Evaluation Framework for Large Language Models on JavaScript-Based Geospa...
📅 2026/10/21 11:15:28
✍️ 爱科研究院
👁 阅读 3,247
文章主要内容和创新点主要内容本文针对大型语言模型(LLMs)在基于JavaScript的地理空间计算与可视化代码生成任务中的表现,提出了首个多模态、函数级自动评估框架GeoJSEval。该框架包含三个核心组件:标准化测试套件(GeoJSEval-Bench):基于5个主流JavaScript地理空间库(Turf.js、JSTS、Geolib、Leaflet、OpenLayers)构建,包含432个函数级任务和2071个结构化测试用例,覆盖25种地理空间数据类型;代码提交引擎:引导LLM生成代码并执行,存储输出结果;评估模块:从准确性、输出稳定性、资源消耗、执行效率、错误类型分布等多维度量化评估,并集成边界测试提升鲁棒性。研究使用GeoJSEval对18个最先进的LLM进行了全面评估,发现这些模型在空间语义理解、代码可靠性和函数调用准确性方面存在显著性能差异和瓶颈,为地理空间代码生成模型的标准化评估和优化提供了基础方法与工具。创新点首个针对性评估框架:提出GeoJSEval,是首个针对JavaScript地理空间代码生成的端到端自动评估框架,实现了从提示输入、代码生成到执行、结果比较和错误诊断的全自动化流程。全面的基准测试套件:构建并开源GeoJSEval-Bench,涵盖432个函数级任
📌 标签:
工业官网
设计趋势
AI 建站
SEO
获取完整报告 →
RELATED ARTICLES
推荐阅读
2026/10/21 11:15:28
OpenAI API 错误响应排查保姆级指南
2026/10/21 11:15:28
Notepad-- -- 跨平台文本编辑器:目录查找替换、文件对比和大文本模式一次配齐
2026/10/21 11:15:28
UniHacker Unity 破解完整指南:3 步免费解锁 4.x 至 2022.1 与 Unity Hub
2026/10/21 12:25:57
工业AGV与AMR无线充电方案:磁感应耦合与AI智能优化的深度拆解
2026/10/21 12:25:57
TensorFlow彩色图片分类实战:三通道与卷积网络调优指南
2026/10/21 12:25:57
STM32驱动WS2812B灯带:SPI+DMA方案解决时序抖动与中断干扰
2026/10/21 12:25:57
STM32驱动WS2812:SPI+DMA方案彻底解决灯带闪烁与颜色错乱
2026/10/21 12:25:57
AI矩阵联动短剧:从素材搬运工到内容流水线
2026/10/21 12:20:55
知识库构建第一步:文档加载全流程解析与实战指南
2026/10/21 0:01:44
ClickHouse实战:从列式存储到亿级数据秒级查询
2026/10/21 0:01:44
高效筛选arXiv机器学习论文:四步法实战指南
2026/10/21 0:01:44
Python爬取百度迁徙数据:接口签名、反爬与SQLite存储实战
2026/10/20 16:07:12
OpenResearch实战:Claude Code、Codex、OpenCode、Cursor 工作流搭建与故障排查
2026/10/20 7:57:25
知识管理核弹:用Obsidian构建第二大脑的工程化方案(TaoToken 统一 Key 接入版)
2026/10/20 16:49:38
金融AI落地指南:从调研报告到技术选型与工程实践
2026/10/20 2:24:03
我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频
2026/10/20 2:23:57
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证
2026/10/20 2:23:53
2026 大模型集体涨价:用 Python 做企业 Token 成本测算与选型避坑(附配置)