本发明涉及远洋渔船捕捞监控
技术领域：
：，特别是涉及一种基于监控视频的延绳钓捕捞信息提取系统。
背景技术：
：：近年来视频监控技术发展迅速，在自动化生产、无人驾驶、自动售货等诸多领域得到应用。视频监控技术借助计算机强大的数据处理能力，提取视频中的信息服务于生产、生活，有效地促进了社会的信息化。远洋捕捞渔船在捕捞过程中，为了保障渔船安全生产、记录渔船作业、监控渔船状态，在渔船前后甲板和左右舷等位置安装有视频监控。使用视频监控作业过程，辅助渔业安全生产与管理，为渔业企业带来便利，使渔船管理有序、合理、高效。监控系统与gps终端连接，在视频影像中嵌入了时间、位置、航向、航速等信息。计算机图像处理技术发展迅速，基于图像的信息提取技术得到广泛应用。远洋渔业捕捞中ems(electronicmonitoringsystem)被称为“电子观察员”。有望替代现在的观察员。远洋渔船作业类型繁多，各渔船监控安装位置差别大，目前没有统一的标准。技术实现要素：本发明所要解决的技术问题是提供一种基于监控视频的延绳钓捕捞信息提取系统，能够提取视频中的捕捞作业、时间、位置、航行状态等信息。本发明解决其技术问题所采用的技术方案是：提供一种基于监控视频的延绳钓捕捞信息提取系统，包括：视频获取装置和监控主机；所述视频获取装置，用于获取延绳钓视频图像信息和鱼类捕获视频图像信息；所述监控主机包括文字提取模块、延绳钓主线收放信息提取模块和鱼类捕捞信息提取模块；所述文字提取模块用于截取延绳钓视频图像信息和鱼类捕获视频图像信息中文字图像区域，并从文字图像区域中提取文字信息，以得到渔船位置与航行状态信息；所述延绳钓主线收放信息提取模块用于提取延绳钓视频图像信息中的主线长度；所述鱼类捕捞信息提取模块用于提取延绳钓视频图像信息中的抓捕鱼类的数量信息。所述视频获取装置包括第一摄像机、第二摄像机、第三摄像机和第四摄像机；所述第一摄像机位于渔船右舷，用于获取延绳钓支线回收、鱼类抓捕和渔船卸载鱼获的图像信息；所述第二摄像机位于渔船左舷，用于获取鱼获的进仓和出仓的图像信息；所述第三摄像机位于前甲板顶部，用于获取甲板上鱼类的加工的图像信息；所述第四摄像机位于后甲板，用于获取延绳钓渔线收放情况。所述文字提取模块包括文字图片截取单元、文字图片处理单元和图片文字提取单元；所述文字图片截取单元根据预设位置截取延绳钓视频图像信息和鱼类捕获视频图像信息中的时间图片和航行信息图片；所述文字图片处理单元使用整数算法将截取的时间图片和航行信息图片进行灰度化处理，再通过阈值转换实现二值化处理；所述图片文字提取单元通过识别工具对二值化处理后的图片进行识别，并提取出时间、经纬度、航向和航速。所述文字提取模块还包括识别文字训练单元，所述识别文字训练单元将延绳钓视频图像信息和鱼类捕获视频图像信息中的每一帧作为训练样本来训练自定义字库。所述延绳钓主线收放信息提取模块对延绳钓视频图像信息进行如下处理：首先将延绳钓视频图像信息进行灰度化处理，然后使用低通滤波器平滑像素的亮度再进行高斯滤波，将灰度化处理后的图片和高斯滤波后的图片进行做差处理得到最终图片，最终图片中卷筒轴带线与卷筒盘相交处的点记为o，卷筒盘外圈上的点记为c，卷筒轴不带线时的卷筒盘oc的像素数记为b，实际长度为b，通过计算l-(k÷d)×(π×(m-(n×b÷b)×2) π×n)×((n×b÷b-n)÷d÷2)得到放出主线长度，其中，l为主线总长度、k为卷筒长度、d为主线直径、m为卷筒轴外部盘直径、n为卷筒轴不带线时直径，n为卷筒在收放干线过程中oc的像素数。所述鱼类捕捞信息提取模块在鱼类抓捕和浮球回收的图片上标注标签，通过深度学习模型进行训练，并根据所述文字提取模块提取鱼类抓捕时的渔船位置与航行状态信息和所述延绳钓主线收放信息提取模块提取浮球回收时的主线长度，通过一次放收网线的作业过程统计出抓捕鱼类的数量、放线长度和捕捞效率，其中，延绳钓作业回收的第一个浮球记为n1，最后一个浮球记为nk，中间的浮球为ni，当主线放线结束等待时的位置为(lon,lat)，中间的浮球ni放出线的长度为li，方向角为α，则浮球ni的经度为loni＝lon li×sinα÷[r*cos(lat)×2π÷360]，纬度为lati＝lat li×cosα÷[r×2π÷360]，r为地球半径。有益效果由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明在延绳钓渔船捕捞生产过程中根据监控摄像头获取的监控视频，基于监控视频提取捕捞信息，可以获取延绳钓作业的过程，统计捕捞金枪鱼的数量，以及浮球布放情况等，能辅助渔业生产与管理，为渔业企业带来便利，使渔船管理有序、高效。视频中提取的时间、位置、航行状态、放钩起止时间、金枪鱼抓捕时间等信息，渔业企业可以查询渔船作业情况，统计捕捞状况，对水产捕捞进行追溯；消费者可以查询了解购买金枪鱼的捕捞时间、位置、抓捕截图与影像；渔业管理组织可以监控是否存在违规捕捞等。附图说明图1是本发明的结构示意图；图2是本发明实施方式中图片嵌入的文字信息位置示意图；图3是本发明实施方式中截取的文字图片灰度化处理和二值化处理后的示意图；图4是本发明实施方式中人工交互标注文字示意图；图5是本发明实施方式中提取出的渔船位置和航行状态的示意图；图6是本发明实施方式中4号摄像机获取的监控视频图；图7是本发明实施方式中延绳钓主线收放信息提取模块得到的最终图片示意图；图8是本发明实施方式中金枪鱼抓捕监控视频图；图9是本发明实施方式中浮球回收监控视频图；图10是本发明实施方式中支线回收监控视频图；图11是本发明实施方式中金枪鱼卸货和加工监控视频图。具体实施方式下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本发明的实施方式涉及一种基于监控视频的延绳钓捕捞信息提取系统，如图1所示，包括：视频获取装置和监控主机；所述视频获取装置，用于获取延绳钓视频图像信息和鱼类捕获视频图像信息；所述监控主机包括文字提取模块、延绳钓主线收放信息提取模块和鱼类捕捞信息提取模块；所述文字提取模块用于提取延绳钓视频图像信息和鱼类捕获视频图像信息中的文字信息，以得到渔船位置与航行状态信息；所述延绳钓主线收放信息提取模块用于提取延绳钓视频图像信息中的主线长度；所述鱼类捕捞信息提取模块用于提取延绳钓视频图像信息中的抓捕鱼类的数量信息。下面通过将本实施方式应用于金枪鱼延绳钓捕捞船来进一步说明本发明。金枪鱼延绳钓渔船安装监控系统，通过监控主机连接摄像头、gps等设备，采集渔船作业图像、实时gps、人员活动、渔船行驶状况等信息，实现对船舶进行全方位监控，各种信息数据本地存储。渔船上安装4台摄像机，船载显示屏实时显示视频影像。渔船监控系统实现了采集、传输、数据存储、管理功能。监控主机采用壁装安装方式，前端摄像机通过网线直接连入网络，通过ip包传输视频信号和控制信号。监控主机实现对前端设备的集中管理，视频流媒体的存储，系统功能包括系统配置、实时监视、视频查询、视频回放、实时控制、报警管理、抓图、抓录等功能。远程终端通过卫星通信，也可获取监控信息。金枪鱼延绳钓渔船监控位置主要包括左右舷、前甲板、后甲板(见图1)。1号摄像机位于渔船右舷，用于拍摄延绳钓支线回收、金枪鱼抓捕，以及渔船卸载鱼获；2号摄像机位于渔船左舷，拍摄金枪鱼鱼获的进仓、出仓；3号摄像机位于前甲板顶部，镜头方向向后，拍摄甲板上金枪鱼的简单加工；4号摄像机位于后甲板，镜头方向向前，拍摄延绳钓渔线收放情况。监控视频自动保存，每天动态生成一个文件夹，各视频监控每小时保存一次，保存文件名为“船名-摄像头编号-年-月-日-时-分-经度-纬度”，视频图像上有时间(utc)、船名、经度、纬度、航向、航速信息，为了提高信息提取准确率，这些信息采用白色字体、黑色边框。本实施方式中视频输出的图片分辨率为704×576，水平和垂直分辨率都为96dpi，位深为24。为了提高文字信息提取效率，在整个帧中固定其位置，位置表述格式为[行开始:行结束，列开始:列结束]，时间图片在帧中的位置为[19:51,448:676](图2中的标记x)，航行信息图片(船名、经纬度、航向、航速)在帧中的位置为[451:572,565:696](图2中的标记y)。本实施方式中的文字提取模块包括文字图片截取单元、文字图片处理单元和图片文字提取单元；所述文字图片截取单元根据预设位置截取延绳钓视频图像信息和鱼类捕获视频图像信息中的时间图片和航行信息图片；所述文字图片处理单元使用整数算法将截取的时间图片和航行信息图片进行灰度化处理，再通过阈值转换实现二值化处理；所述图片文字提取单元通过识别工具对二值化处理后的图片进行识别，并提取出时间、经纬度、航向和航速。所述文字提取模块还包括识别文字训练单元，所述识别文字训练单元将延绳钓视频图像信息和鱼类捕获视频图像信息中的每一帧作为训练样本来训练自定义字库。其中，文字图片截取单元采用opencv-python的videocapture()函数打开视频数据，然后读取监控视频的帧输出图片，本实施方式所用视频输出的图片分辨率为704×576，水平和垂直分辨率都为96dpi，位深为24。在整个帧中，通过frame[19:51,448:676]截取时间图片，frame[451:572,565:696]截取航行信息图片(船名、经纬度、航向、航速)，然后保存。输出多张图片有助于提高识别精度。样本处理对图片做了截取处理，是为了输出文字框选中(makebox)少产生无效的文本框，提高人工标注速度。本实施方式通过opencv-python的读取到视频帧，设置范围截取含有文字的部分，存储为rgb图片(以渔船航行状态文字为例)，为了提高文字识别的准确率，将rgb彩色图片转换为灰度图(见图3左)，然后在转换为二值图像(见图3右)。为了避免低速的浮点运算，本实施方式中文字图片处理单元使用整数算法实现rgb彩色图片到灰度图的转换，放大1000倍来实现整数运算后再除以1000，公式为gray＝(r×299 g×587 b×114 10)÷1000。通过阈值转换把图片转为二进制图。为了便于区分文字和背景，视频中嵌入文字信息时都设置字体为白色，即值为255，并且添加黑边，即值为0。本实施方式中识别文字训练单元用软件jtessboxeditor-2.2.1采集训练用的样本，该软件由java开发的，因此需要安装java运行环境(jre)。在dos中运行命令打开界面。样本图片(见图2)，使用jtessboxeditor软件tools菜单中mergetiff合并输出的图片，图片命名格式[lang].[fontname].exp[num].gif，其中lang为语言名称，fontname为字体名称，num为序号，如图片训练自定义字库为vessel(vesseltimepositionnavigation)字体名为font，则合并后图片命名为vessel.font.exp0.gif。用命令(1)生成字符框vessel.font.exp0.box文件，在用boxeditor中的open打开合并后的图片，进行文字矫正(见图4)。根据图片中框选的内容修改char，如果字符不完整就输入空格。在文件夹内，新建字体特征文本文件，名为font_properties(无扩展名)，用记事本打开，写入内容格式为<fontname><italic><bold><fixed><serif><fraktur>，分别表示字体名称，斜体、加粗、固定、衬线、哥特体，值用1和0来代表有或无。如“font00000”，取值都为0，表示字体不是粗体、斜体、加粗等，文本在命令(4)和命令(5)中用到。用命令(2)生成字符特征tr文件，用命令(3)从所有文件中提取字符，生成一个unicharset文件，用命令(4)聚集字符特征，生成unicharset文件，用命令(5)生成inttemp文件，用命令(6)合并所有tr文件，生成normproto。训练过中会创建的五个文件：shapetable，normproto，inttemp，pffmtable，unicharset重命名，以lang.作为前缀(例如vessel.)对五个文件进行重命名，用命令(7)合并五个文件，生成vessel.traineddata，该文件是训练好的字库文件，把它复制到tesseract-ocr安装目录下的tessdata文件夹。上述的命令具体形式如下：1tesseractvessel.font.exp0.gifvessel.font.exp0batch.nochopmakebox生成字符框vessel.font.exp0.box2tesseractvessel.font.exp0.gifvessel.font.exp0nobatchbox.train生成tr文件vessel.font.exp0.tr3unicharset_extractorvessel.font.exp0.box生成字符特征文件unicharset4shapeclustering-ffont_properties-uunicharsetvessel.font.exp0.tr聚集字符特征shapetable5mftraining-ffont_properties-uunicharset-ounicharsetvessel.font.exp0.tr生成inttemp6cntrainingvessel.font.exp0.tr合并所有tr文件normproto7combine_tessdatavessel.合并五个文件vessel.traineddata本实施方式中的图片文字提取单元使用python3.6编程，文字识别工具为tesseractv5.0，调用pytesseract.image_to_string(img_binary,lang＝'vessel')返回字符窜，获取的字符串格式如表1。提取的信息包括时间、经纬度、航向、航速。视频中记录的时间为utc(universaltimecoordinated)时间，格式为yyy-mm-ddhh:mm:ss；经度格式为ddd°mm.mme(w)，ddd取值范围[0,180]，mm.mm取值范围[0,60)两位小数，e表示东经，w表示西经；纬度格式为dd°mm.mmn(s)，dd取值范围[0,90]，mm.mm取值范围[0,60)两位小数，n表杯纬，s表示南纬；航向用方向角记录，格式为nc，从某点的指北方向线起依顺时针方向至渔船航行方向线间的水平夹角(c)，n为整型数值，取值范围为[0,360)；航速格式为xkt，x为保留1位的小数，渔船航行速度，单位节(kt)。表1视频字符串格式按1分钟间隔，提取了2019-2-2223:00到2019-2-2315:00的16个小时的960条记录，数据内容包括船名、经度、纬度、航速、航向，经过与原始图片比对没有发现提取错误的记录。图5是这段时间的轨迹，颜色由浅到深度表示航速由小到大，箭头指向表示渔船航向。金枪鱼延绳钓的钓具由浮球、浮子绳、干线、支线和钓钩组成，干线通过卷筒收放，缠绕在卷筒的卷轴上(4号摄像机拍摄)。本实施方式中的延绳钓主线收放信息提取模块在进行处理时，首先把原始rgb彩色图片转换为灰度图，随着干线缠绕量的变化卷筒轴带线直径不断变化，主线全部收起时半径最大(见图6左)，主线放线结束时最小(见图6右)。然后使用低通滤波器，像素与周围像素的亮度差值小于一个特定值时，平滑该像素的亮度进行去噪和模糊化，低通滤波器容许低频信号通过，但减弱频率高于截止频率的信号的通过，本实施方式使用高斯滤波(gaussianblur)滤波核大小为(17,17)，包含宽度和高度的二元组。原始灰度图像与滤波后的图像差值后得到最终图像(见图7)，图中a为卷筒轴带有缠绕主线时的一点，o为卷筒轴带线与卷筒盘相交处的一点；c为卷筒盘的外圈上的一点。假设卷筒轴外部盘直径设为m，卷筒轴不带线时直径设为n，卷筒长度为k，卷筒轴不带线时的卷筒盘oc的像素数为b，实际长度为b，卷筒在收放主线过程中oc的像素数变化设为n，主线总长度设为l，主线直径设为d，k÷d为卷筒上两个外部档盘之间主线的排列数，(n×b÷b)为oc的实际长度，卷轴外部一圈的主线长度为π×(m-(n×b÷b)×2)，卷轴内部一圈的主线长度为π×n，卷轴由内到外缠绕主线的层数为(n×b÷b-n)÷d，卷筒上的主线长度为(k÷d)×(π×(m-(n×b÷b)×2) π×n)×((n×b÷b-n)÷d÷2)，放出主线长度为：l-(k÷d)×(π×(m-(n×b÷b)×2) π×n)×((n×b÷b-n)÷d÷2)。船员用带有鱼钩的鱼竿抓捕金枪鱼(1号摄像机拍摄)，在右侧船舷发现支线上有金枪鱼时，一名船员拿鱼竿在海水中勾住金枪鱼，拖到甲板上，然后拖曳到前甲板进行加工，视频图像如图8所示。在拖拉主线过程中会有浮球如图9。在金枪鱼抓捕、浮球回收的图片上标注标签，利用深度学习模型进行训练，并采用文字提取模块提取出金枪鱼抓捕、浮球回收状态时的时间、经纬度位置、航速、航向信息。假设延绳钓作业回收的第一个浮球为n1，最后一个浮球为nk，中间其它浮球为ni，根据延绳钓主线收放信息提取模块计算浮球n1时放出线的长度l1，浮球nk放出线的长度lk，中间浮球ni放出线的长度li；当主线放线结束等待时的位置为(lon,lat)，方向角为α，则ni浮球的经度为loni＝lon li×sinα÷[r*cos(lat)×2π÷360]，纬度为lati＝lat li×cosα÷[r×2π÷360]，其中r为地球半径。第一条抓捕的金枪鱼为fj，记录每条金枪鱼所在两个浮球的编号，金枪鱼上钩的位置为两个浮球的中间位置。通过一次放收网线的作业过程，可以统计出抓捕金枪鱼的数量，放线的长度，金枪鱼数量与放线长度的比值作为捕捞效率。前甲板船员抓住支线，把支线盘绕后放到桶中进行支线回收(见图10)，因此目标为人和桶组合为支线回收。在金枪鱼卸货、加工过程中，前甲板都有金枪鱼(见图11)。把图片划分为浮球回收、金枪鱼抓捕、支线回收、金枪鱼加工、金枪鱼卸货等类别，对图像进行人工标记，多分类目标进行训练，然后采用目标识别、目标检测、目标定位技术确定目标所在帧，输出目标信息，并输出帧对应的时间、经纬度、航速、航向信息。抓捕金枪鱼的目标识别后，截取抓捕的图片和前后9秒钟的视频，以“船名-时间-摄像头号”形式命名存储，便于存档查找。不难发现，本发明在延绳钓渔船捕捞生产过程中根据监控摄像头获取的监控视频，基于监控视频提取捕捞信息，可以获取延绳钓作业的过程，统计捕捞金枪鱼的数量，以及浮球布放情况等，能辅助渔业生产与管理，为渔业企业带来便利，使渔船管理有序、高效。视频中提取的时间、位置、航行状态、放钩起止时间、金枪鱼抓捕时间等信息，渔业企业可以查询渔船作业情况，统计捕捞状况，对水产捕捞进行追溯；消费者可以查询了解购买金枪鱼的捕捞时间、位置、抓捕截图与影像；渔业管理组织可以监控是否存在违规捕捞等。当前第1页1 2 3 当前第1页1 2 3
技术特征：1.一种基于监控视频的延绳钓捕捞信息提取系统，其特征在于，包括：视频获取装置和监控主机；所述视频获取装置，用于获取延绳钓视频图像信息和鱼类捕获视频图像信息；所述监控主机包括文字提取模块、延绳钓主线收放信息提取模块和鱼类捕捞信息提取模块；所述文字提取模块用于截取延绳钓视频图像信息和鱼类捕获视频图像信息中文字图像区域，并从文字图像区域中提取文字信息，以得到渔船位置与航行状态信息；所述延绳钓主线收放信息提取模块用于提取延绳钓视频图像信息中的主线长度；所述鱼类捕捞信息提取模块用于提取延绳钓视频图像信息中的抓捕鱼类的数量信息。
2.根据权利要求1所述的基于监控视频的延绳钓捕捞信息提取系统，其特征在于，所述视频获取装置包括第一摄像机、第二摄像机、第三摄像机和第四摄像机；所述第一摄像机位于渔船右舷，用于获取延绳钓支线回收、鱼类抓捕和渔船卸载鱼获的图像信息；所述第二摄像机位于渔船左舷，用于获取鱼获的进仓和出仓的图像信息；所述第三摄像机位于前甲板顶部，用于获取甲板上鱼类的加工的图像信息；所述第四摄像机位于后甲板，用于获取延绳钓渔线收放情况。
3.根据权利要求1所述的基于监控视频的延绳钓捕捞信息提取系统，其特征在于，所述文字提取模块包括文字图片截取单元、文字图片处理单元和图片文字提取单元；所述文字图片截取单元根据预设位置截取延绳钓视频图像信息和鱼类捕获视频图像信息中的时间图片和航行信息图片；所述文字图片处理单元使用整数算法将截取的时间图片和航行信息图片进行灰度化处理，再通过阈值转换实现二值化处理；所述图片文字提取单元通过识别工具对二值化处理后的图片进行识别，并提取出时间、经纬度、航向和航速。
4.根据权利要求1所述的基于监控视频的延绳钓捕捞信息提取系统，其特征在于，所述文字提取模块还包括识别文字训练单元，所述识别文字训练单元将延绳钓视频图像信息和鱼类捕获视频图像信息中的每一帧作为训练样本来训练自定义字库。
5.根据权利要求1所述的基于监控视频的延绳钓捕捞信息提取系统，其特征在于，所述延绳钓主线收放信息提取模块对延绳钓视频图像信息进行如下处理：首先将延绳钓视频图像信息进行灰度化处理，然后使用低通滤波器平滑像素的亮度再进行高斯滤波，将灰度化处理后的图片和高斯滤波后的图片进行做差处理得到最终图片，最终图片中卷筒轴带线与卷筒盘相交处的点记为o，卷筒盘外圈上的点记为c，卷筒轴不带线时的卷筒盘oc的像素数记为b，实际长度为b，通过计算l-(k÷d)×(π×(m-(n×b÷b)×2) π×n)×((n×b÷b-n)÷d÷2)得到放出主线长度，其中，l为主线总长度、k为卷筒长度、d为主线直径、m为卷筒轴外部盘直径、n为卷筒轴不带线时直径，n为卷筒在收放干线过程中oc的像素数。
6.根据权利要求1所述的基于监控视频的延绳钓捕捞信息提取系统，其特征在于，所述鱼类捕捞信息提取模块在鱼类抓捕和浮球回收的图片上标注标签，通过深度学习模型进行训练，并根据所述文字提取模块提取鱼类抓捕时的渔船位置与航行状态信息和所述延绳钓主线收放信息提取模块提取浮球回收时的主线长度，通过一次放收网线的作业过程统计出抓捕鱼类的数量、放线长度和捕捞效率，其中，延绳钓作业回收的第一个浮球记为n1，最后一个浮球记为nk，中间的浮球为ni，当主线放线结束等待时的位置为(lon,lat)，中间的浮球ni放出线的长度为li，方向角为α，则浮球ni的经度为loni＝lon li×sinα÷[r*cos(lat)×2π÷360]，纬度为lati＝lat li×cosα÷[r×2π÷360]，r为地球半径。
技术总结本发明涉及一种基于监控视频的延绳钓捕捞信息提取系统，包括：视频获取装置和监控主机；所述视频获取装置，用于获取延绳钓视频图像信息和鱼类捕获视频图像信息；所述监控主机包括文字提取模块、延绳钓主线收放信息提取模块和鱼类捕捞信息提取模块；所述文字提取模块用于截取延绳钓视频图像信息和鱼类捕获视频图像信息中文字图像区域，并从文字图像区域中提取文字信息，以得到渔船位置与航行状态信息；所述延绳钓主线收放信息提取模块用于提取延绳钓视频图像信息中的主线长度；所述鱼类捕捞信息提取模块用于提取延绳钓视频图像信息中的抓捕鱼类的数量信息。本发明能够提取视频中的捕捞作业、时间、位置、航行状态等信息。
技术研发人员：张胜茂;范秀梅;崔雪森;戴阳;张潇艺;沈介然;邹国华;于航盛;张收元
受保护的技术使用者：中国水产科学研究院东海水产研究所;上海峻鼎渔业科技有限公司
技术研发日：2020.01.17
技术公布日：2020.06.09
