即刻App年轻人的同好社区
下载
App内打开
即刻Engineering
2年前
为了给即友提供更好的即刻搜索体验,我们上线了检索图片中文字的功能!现在,你可以在即刻里搜到更多有意思的动态了。(点图1了解如何使用)

识别图片中文字的技术称为OCR(Optical Character Recognition,光学字符识别),是指对图像进行分析识别,从中获取文字内容,以文本形式返回的过程。

OCR分析流程主要分为文本检测和文字识别,文本检测是指识别出图片中文字存在的区域并进行框选的过程,文字识别则是从已经框选出文字区域的图片中提取文字。在经过一系列技术调研和演进之后,我们最终采用DBNet+CRNN的模型组合作为解决方案,取得了不错的效果,如图2,3所示。

即刻搜索系统遵循业界的通用流程,主要分为召回和排序两个步骤。

召回指的是从内容候选池中根据规则筛选出数千条符合条件的动态的过程,在这个过程中实现动态数量从数百万到数千的降级。当即友在搜索栏中输入搜索内容点击搜索后,搜索服务会对输入文字进行分词,将分词结果与不同规则结合组成多条召回通道,例如命中搜索内容的热门动态或最新动态等,以不同维度从内容候选池中筛选满足条件的动态。

排序指的是对召回得到的动态交由Learning to Rank排序模型排序并取topK个结果的过程,这个过程完成了动态数量从数千到数百的降级。

实践中,我们在内容候选池中存储了每条动态的图片OCR结果,并新增了一路OCR检索的召回通道。当搜索内容命中图片OCR结果时,将命中图片所属的动态与其他召回通道筛选得到的动态一起交由模型完成排序。

目前的实现只是我们在搜索中的初步优化,我们之后会持续优化搜索服务以提供更好的搜索体验。大家有什么意见或建议,欢迎随时反馈!
10395

来自圈子

圈子图片

JitHub程序员

380273人已经加入