首页 > 科技 > 智能 助视障者“看见”世界,复旦大学团队研发“眸思”大模型、“听见世界”App

助视障者“看见”世界,复旦大学团队研发“眸思”大模型、“听见世界”App

感谢IT之家网友 乌蝇哥的左手 的线索投递! IT之家 3 月 2 日消息,据复旦大学官方公众号,在复旦大学自然语言处理实验室 (FudanNLP) 师生的努力下,基于多模态大模型“复旦・眸思”(MouSi) 为视障者量身打造的“听见世界”App 上线。这套系统仅需一枚摄像头、一对耳机,就能将画面转化为语言,且支持描绘场景、提示风险等功能。“听见世界”App 可为视障者日常生…

感谢IT之家网友 乌蝇哥的左手 的线索投递!

IT之家 3 月 2 日消息,据复旦大学官方公众号,在复旦大学自然语言处理实验室 (FudanNLP) 师生的努力下,基于多模态大模型“复旦・眸思”(MouSi) 为视障者量身打造的“听见世界”App 上线。

这套系统仅需一枚摄像头、一对耳机,就能将画面转化为语言,且支持描绘场景、提示风险等功能。“听见世界”App 可为视障者日常生活需求设计三种模式。

街道行走:该模式下,“眸思”能够细致扫描道路情况,提示潜在风险。

自由问答:可帮助视障者走进博物馆、艺术馆、公园,捕捉四周景象每个细节,可用声音构建丰富的生活场景,官方演示图显示,该 App 还可实现转述电视画面内容等功能。

寻物:该模式为视障者提供日常物件的寻觅功能,官方称其为“可靠管家”。

▲ 图源复旦大学,下同

据悉,预计今年 3 月,“听见世界”App 将完成第一轮测试,并在中国一、二线城市和地区同步开启试点,根据算力部署情况进行推广。

IT之家注:复旦大学自然语言处理实验室(FudanNLP)此前开发了 MOSS 大模型,2023 年 4 月宣布正式开源,成为国内首个插件增强的开源对话语言模型。半年时间后,多模态模型“眸思”问世。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

投诉水文 我要纠错
本文来自网络,不代表头条在线-头条新闻网立场。
上一篇解剖 Sora:37 页论文逆向工程推测技术细节,微软参与,华人团队出品
下一篇 返回列表
头条新闻网

来源: IT之家

本文来源于IT之家。包含文章,图片,视频等资源归属于原作者所有。如有侵权请联系gridf@126.com处理。紧急处理联系电话:15144810328

为您推荐

评论列表()

    联系我们

    联系我们

    0898-88888888

    在线咨询: QQ交谈

    邮箱: email@wangzhan.com

    工作时间:周一至周五,9:00-17:30,节假日休息

    关注微信
    微信扫一扫关注我们

    微信扫一扫关注我们

    关注微博
    返回顶部