لماذا أزواج المفتاح والقيمة في نظام معالجة المستندات هذا؟

ذكّرتني كتابة هذا المنشور بمنشور كتبته عام 2007 حول البحث المحلي والبيانات المنظمة حيث كانت أزواج القيم والمفاتيح جانبًا مهمًا في براءة الاختراع لعام 2007. كان المنشور:

المعلومات المنظمة في البحث المحلي من Google.

لقد أدهشني أن أرى أن Google تكتب عن إدخال أزواج من القيم الرئيسية في نظام معالجة المستندات مثل ذلك الموجود هنا ، مع نهج التعلم الآلي في جوهره ، والدخول في تحسين محركات البحث التقني.

لا تزال استخدامات أزواج القيمة الرئيسية مهمة الآن بعد 15 عامًا.

معالجة المستندات في جوجل

يعد فهم معالجة المستندات (على سبيل المثال ، الفواتير ، وقسائم الدفع ، وإيصالات المبيعات ، وما شابه ذلك) حاجة تجارية حاسمة. يتم تخزين وتمثيل جزء كبير (على سبيل المثال ، 90٪ أو أكثر) من بيانات المؤسسة في مستندات غير منظمة. يمكن أن يكون استخراج البيانات المنظمة من السجلات مكلفًا ويستغرق وقتًا طويلاً وعرضة للخطأ.

تصف براءة الاختراع هذه نظام تحليل معالجة المستندات وطريقة يتم تنفيذها كبرامج كمبيوتر على أجهزة الكمبيوتر في المواقع التي تحول المستندات غير المهيكلة إلى أزواج هيكلية ذات قيمة رئيسية.

يتم تكوين نظام التحليل لمعالجة المستندات لتحديد البيانات النصية "الأساسية" وبيانات "القيمة" النصية المقابلة في الورقة. يعرّف المفتاح التسمية التي تميز (على سبيل المثال ، وصفية) القيمة المقابلة.

على سبيل المثال ، قد يتطابق مفتاح "التاريخ" مع القيمة "2-23-2019".

هناك طريقة يتم تنفيذها بواسطة جهاز معالجة البيانات ، والتي توفر صورة لمستند لنموذج الكشف ، حيث: يتم تكوين نموذج الكشف لمعالجة الصورة عن طريق قيم مجموعة من معلمات نموذج الاكتشاف لإنشاء مخرجات تحدد المربعات المحيطة ولدت لهذه الفكرة.

يتم توقع كل مربع محيط تم إنشاؤه للصورة لإحاطة زوج قيم مفتاح يشتمل على بيانات نصية مهمة وبيانات نصية ذات قيمة ، حيث تحدد البيانات النصية الضرورية تسمية تميز بيانات القيمة النصية.

كل من المربعات المحيطة التي تم إنشاؤها للصورة: تحدد المعلومات النصية المرفقة بالمربع المحيط باستخدام تقنية التعرف الضوئي على الحروف ؛ تحديد ما إذا كانت البيانات النصية التي يحتفظ بها الصندوق المحيط تحدد زوجًا من القيمة الرئيسية ؛ واستجابةً لتحديد أن البيانات النصية المحاطة بالمربع المحيط تمثل زوجًا من قيم المفاتيح ، مما يوفر زوجًا من القيمة الرئيسية لاستخدامه في توصيف المستند.

نموذج الكشف هو نموذج شبكة عصبية.

يتكون نموذج الشبكة العصبية من شبكة عصبية تلافيفية.

يتم تدريب نموذج الشبكة العصبية على مجموعة من أمثلة التدريب. يشتمل كل مثال تدريب على مدخلات تدريبية ومخرجات مستهدفة ؛ يتضمن إدخال التدريب صورة تدريب لوثيقة تدريب. يحتوي الإخراج الهدف على بيانات تحدد المربعات المحيطة في صورة التدريب التي تتضمن زوجًا ذي قيمة مفتاحية.

المستند عبارة عن فاتورة.

يتضمن تقديم صورة مستند إلى نموذج كشف ما يلي: تحديد فئة معينة من الورق ؛ وتقديم فكرة الوثيقة إلى نموذج كشف يتم تدريبه على معالجة نسخ من النوع المحدد.

• إن تحديد ما إذا كانت البيانات النصية المرفقة بالمربع المحيط تحدد زوجًا من القيمة الرئيسية يشتمل على:
• اتخاذ قرار بأن المعلومات النصية التي يمتلكها الصندوق المحيط تتضمن مفتاحًا من مجموعة محددة مسبقًا من المفاتيح الصالحة ؛
• العثور على نوع من جزء من البيانات النصية يحتفظ به المربع المحيط الذي لا يحتوي على المفتاح ؛ تحديد موقع الأصناف المناسبة للقيم المقابلة للمفتاح
• اختيار أن يتم تضمين نمط جزء البيانات النصية المحاط بالمربع المحيط الذي لا يتضمن المفتاح في مجموعة الأنواع الصالحة للقيم المقابلة للمفتاح.
• تعلم أن مجموعة من الأنواع الصالحة للقيم المقابلة للمفتاح تشتمل على: تعيين المفتاح لمجموعة الأنواع المناسبة للقيم المقابلة للمفتاح باستخدام تعيين محدد مسبقًا.

يتم توفير مجموعة المفاتيح الصالحة والتعيين من المفاتيح إلى المواقع المقابلة للأنواع المناسبة للقيم المقابلة للمفاتيح من قبل المستخدم.

الصناديق المحيطة لها شكل مستطيل.

تتضمن الطريقة كذلك: استلام المستند من المستخدم ؛ وتحويل الورق إلى صورة ، حيث تصور اللوحة المستند.

طريقة يتم تنفيذها بواسطة نظام معالجة المستندات ، وتتكون الطريقة من:

• توفير صورة مستند إلى نموذج كشف تم تكوينه لمعالجة الصورة لتحديدها في المربعات المحيطة بالصورة التي يُتوقع أن تتضمن زوجًا من القيم الرئيسية يشتمل على بيانات نصية مهمة وبيانات نصية ذات قيمة ، حيث يحدد المفتاح تسمية تميز القيمة المقابلة على المفتاح لكل من المربعات المحيطة التي تم إنشاؤها للصورة ،
• تحديد البيانات النصية المحاطة بالمربع المحيط باستخدام تقنية التعرف الضوئي على الحروف وتحديد ما إذا كانت المعلومات النصية التي يحتفظ بها الصندوق المحيط تحدد زوجًا من قيم المفاتيح
• إخراج فريق القيمة الرئيسية لاستخدامه في توصيف المستند.

نموذج الاكتشاف هو نموذج للتعلم الآلي مع معلمات يمكن تدريبها على مجموعة بيانات تدريبية.

يتكون نموذج التعلم الآلي من نموذج الشبكة العصبية ، وخاصة الشبكة العصبية التلافيفية.

يتم تدريب نموذج التعلم الآلي على مجموعة من أمثلة التدريب ، ولكل مثال تدريب إدخال تدريب ومخرج مستهدف.

يشتمل مدخلات التدريب على صورة تدريب لوثيقة تدريب. يتضمن الإخراج الهدف مربعات إحاطة لتعريف البيانات في صورة التدريب التي يتضمن كل منها زوجًا ذي قيمة مفتاحية.

المستند عبارة عن فاتورة.

يتضمن تقديم صورة مستند إلى نموذج كشف ما يلي: تحديد فئة معينة من الورق ؛ وتقديم فكرة المستند إلى نموذج كشف يتم تدريبه على معالجة المستندات من النوع المحدد.

هل هو زوج ذو قيمة مفتاح؟

تحديد ما إذا كانت البيانات النصية المحاطة بالمربع المحيط تحدد زوجًا من قيم المفاتيح أم لا يعني:

• تحديد أن المعلومات النصية التي يمتلكها الصندوق المحيط تتضمن مفتاحًا من مجموعة محددة مسبقًا من المفاتيح الصالحة
• العثور على نوع من جزء من البيانات النصية يحتفظ به المربع المحيط الذي لا يحتوي على المفتاح
• الإشارة إلى موقع الأصناف المناسبة للقيم المقابلة للمفتاح
• اختيار نمط جزء البيانات النصية المحاط بالمربع المحيط الذي لا يتضمن المفتاح يتم تضمينه في مجموعة الأنواع الصالحة للقيم المقابلة للمفتاح.

يتضمن تحديد مجموعة من الأنواع الصالحة للقيم المقابلة للمفتاح ما يلي: تعيين المفتاح لمجموعة الأنواع المناسبة للقيم المقابلة للمفتاح باستخدام تعيين محدد مسبقًا.

يتم توفير مجموعة المفاتيح الصالحة والتعيين من المفاتيح إلى المواقع المقابلة للأنواع المناسبة للقيم المقابلة للمفاتيح من قبل المستخدم.

الصناديق المحيطة لها شكل مستطيل.

تتضمن الطريقة كذلك: استلام المستند من المستخدم ؛ وتحويل الورق إلى صورة ، حيث تصور اللوحة المستند.

من ناحية أخرى ، هناك نظام يتكون من: أجهزة الكمبيوتر. وأجهزة التخزين المقترنة بأجهزة الكمبيوتر ، حيث تقوم أجهزة التخزين بتخزين التعليمات التي ، عند تنفيذها بواسطة أجهزة الكمبيوتر ، تؤدي إلى قيام أجهزة الكمبيوتر بإجراء عمليات تشتمل على عمليات الطريقة الموصوفة سابقًا.

مزايا نهج معالجة المستندات هذا

يمكن استخدام النظام الموصوف في هذه المواصفات لتحويل أعداد كبيرة من المستندات غير المهيكلة إلى أزواج مهيكلة ذات قيمة مفتاح. وبالتالي ، يتجنب النظام الحاجة إلى استخراج البيانات المنظمة من المستندات غير المهيكلة ، والتي قد تكون باهظة الثمن وتستغرق وقتًا طويلاً وعرضة للخطأ.

يمكن للنظام الموصوف في هذه المواصفات تحديد أزواج القيمة الرئيسية في المستندات بمستوى عالٍ من الدقة (على سبيل المثال ، بالنسبة لبعض أنواع المستندات ، بدقة تزيد عن 99٪). وبالتالي ، قد يكون النظام مناسبًا للنشر في التطبيقات (مثل معالجة المستندات المالية) التي تحتاج إلى مستوى عالٍ من الدقة.

يمكن للنظام الموصوف في هذه المواصفات التعميم بشكل أفضل من بعض الأنظمة التقليدية ، أي أنه قد تحسن من قدرات التعميم مقارنة ببعض الطرق التقليدية.

على وجه الخصوص ، من خلال الاستفادة من نموذج الكشف الذي تم تعلمه آليًا والمدرب على التعرف على الإشارات المرئية التي تميز أزواج القيمة الرئيسية في المستندات ، يمكن للنظام تحديد أزواج القيمة الرئيسية للأسلوب المحدد أو الهيكل أو محتوى الأوراق.

تحديد أزواج القيمة الأساسية في معالجة الوثائق ببراءات الاختراع

تحديد أزواج المفتاح والقيمة في المستندات
المخترعون: يانغ شو وجيانغ وانغ وشنغيانغ داي
الوكيل: Google LLC
براءات الاختراع الأمريكية: 11288719
تم المنح: 29 مارس 2022
تاريخ التقديم: فبراير 27 ، 2020

خلاصة

الأساليب والأنظمة والأجهزة ، بما في ذلك برامج الكمبيوتر المشفرة على وسيط تخزين الكمبيوتر ، لتحويل المستندات غير المهيكلة إلى أزواج هيكلية ذات قيمة.

في أحد الجوانب ، تشتمل الطريقة على: توفير صورة من المستند إلى نموذج الكشف ، حيث: يتم تكوين نموذج الاكتشاف لمعالجة الصورة لإنشاء مخرجات تحدد المربعات المحيطة التي تم إنشاؤها للصورة ؛ ويتوقع أن يحيط كل مربع محيط تم إنشاؤه للصورة زوجًا من القيم الرئيسية يشتمل على بيانات نصية أساسية وبيانات نصية ذات قيمة ، حيث تحدد البيانات النصية الرئيسية تسمية تميز قيمة البيانات النصية ، ولكل من المربعات المحيطة التي تم إنشاؤها من أجل الصورة: تحديد البيانات النصية المحاطة بالمربع المحيط باستخدام تقنية التعرف الضوئي على الحروف ، وتحديد ما إذا كانت البيانات النصية المحاطة بالمربع المحيط تحدد زوجًا من قيم المفاتيح.

مثال على نظام الاعراب

نظام الإعراب هو مثال على طريقة يتم تنفيذها كبرامج كمبيوتر على أجهزة الكمبيوتر في المواقع التي يتم فيها تنفيذ الأنظمة والمكونات والتقنيات الموضحة أدناه.

يتم تكوين نظام التحليل لمعالجة مستند (على سبيل المثال ، فاتورة أو كعب دفع أو إيصال بيع) لتحديد أزواج المفتاح والقيمة في الورقة. يشير "زوج المفتاح والقيمة" إلى مفتاح وقيمة مقابلة ، بيانات نصية بشكل عام. يجب فهم "البيانات النصية" للإشارة على الأقل إلى: الأحرف الأبجدية والأرقام والرموز الخاصة. كما هو موضح سابقًا ، يحدد المفتاح التسمية التي تميز القيمة المقابلة.

قد يتلقى النظام المستند بعدة طرق.

على سبيل المثال ، يمكن للنظام استلام الورق كتحميل من مستخدم نظام بعيد عبر شبكة اتصال بيانات (على سبيل المثال ، باستخدام واجهة برمجة التطبيقات (API) التي يوفرها النظام). يمكن تمثيل المستند في أي تنسيق بيانات غير منظم مناسب ، على سبيل المثال ، كمستند تنسيق المستند المحمول (PDF) أو كمستند صورة (على سبيل المثال ، مستند رسومات الشبكة المحمولة (PNG) أو مستند Joint Photographic Experts Group (JPEG)).

تحديد أزواج القيمة الأساسية في معالجة المستندات

يستخدم النظام نموذج اكتشاف ومحرك التعرف الضوئي على الأحرف (OCR) ومحرك تصفية لتحديد أزواج القيمة الرئيسية في معالجة المستندات.

يتم تكوين نموذج الاكتشاف لمعالجة صورة المستند لإنشاء مخرجات تحدد المربعات المحيطة في الصورة. يتم توقع كل منها لإرفاق بيانات نصية تمثل زوجًا ذي قيمة مفتاحية. أي أنه من المتوقع أن يحتوي كل مربع محيط على معلومات نصية تحدد:

(ط) مفتاح ، و
(2) قيمة مقابلة للمفتاح. على سبيل المثال ، قد يحتوي المربع المحيط على البيانات النصية "الاسم: جون سميث" ، والتي تحدد المفتاح "الاسم" والقيمة المقابلة "جون سميث". قد يتم تكوين نموذج الاكتشاف لإنشاء مربعات إحاطة تضم زوجًا واحدًا من قيمة المفتاح (على سبيل المثال ، بدلاً من العديد من الأزواج ذات القيمة الرئيسية).

صورة المستند عبارة عن مجموعة مرتبة من القيم الرقمية التي تمثل المظهر المرئي للورقة. قد تكون الصورة صورة بالأبيض والأسود للمستند. في هذا المثال ، قد يتم وصف الصورة على أنها مصفوفة ثنائية الأبعاد لقيم الكثافة العددية. كمثال آخر ، قد تكون الصورة صورة ملونة للمستند. في هذا المثال ، قد يتم تمثيل الصورة كصورة متعددة القنوات. تتوافق كل قناة مع لون معين (على سبيل المثال ، أحمر أو أخضر أو ​​أزرق) ويتم تعريفها على أنها مصفوفة ثنائية الأبعاد لقيم الكثافة العددية.

قد تكون الصناديق المحيطة مربعات إحاطة مستطيلة. قد يتم تمثيل الصندوق المحيط المستطيل بإحداثيات زاوية معينة من الصندوق المحيط والعرض المقابل والارتفاع للحاوية المحيطة. بشكل عام ، من الممكن استخدام أشكال أخرى للمربع المحيط وطرق أخرى لتمثيل المربعات المحيطة.

بينما قد يتعرف نموذج الاكتشاف على أي إطارات أو حدود موجودة في المستند ويستخدمها كإشارات مرئية ، فإن المربعات المحيطة ليست مقيدة بالمحاذاة (على سبيل المثال ، تتطابق) مع أي هياكل حالية للحدود الحالية في الورق. علاوة على ذلك ، قد ينشئ النظام المربعات المحيطة دون عرض المربعات المحيطة في صورة المستند.

بمعنى ، قد يُنشئ النظام بيانات تحدد الحزم المحيطة دون إعطاء إشارة مرئية لمستخدم النظام.

نموذج الاكتشاف هو بشكل عام نموذج التعلم الآلي ، أي نموذج به مجموعة من المعلمات التي يمكن تدريبها على مجموعة من بيانات التدريب. تتضمن بيانات التدريب العديد من الأمثلة التدريبية ، كل منها يتضمن:

(ط) صورة تدريبية تصور وثيقة تدريب
(2) الناتج المستهدف الذي يحدد المربعات المحيطة أرفق زوجًا ذي قيمة مفتاحية في صورة التدريب.

قد يتم إنشاء بيانات التدريب عن طريق التعليق التوضيحي اليدوي ، أي من قبل شخص يحدد المربعات المحيطة حول أزواج القيمة الرئيسية في مستند التدريب (على سبيل المثال ، باستخدام برنامج التعليق التوضيحي المناسب).

إن تدريب نموذج الكشف باستخدام تقنيات التعلم الآلي على مجموعة من بيانات التدريب يمكّنه من التعرف على الإشارات المرئية التي تسمح له بتحديد أزواج القيمة الرئيسية في المستندات. على سبيل المثال ، قد يتم تدريب نموذج الاكتشاف للتعرف على الإشارات المحلية (على سبيل المثال ، أنماط النص والمواضع المكانية النسبية للكلمات) والإشارات العالمية (على سبيل المثال ، وجود حدود في المستند) لتحديد أزواج القيمة والمفتاح.

لا تتضمن الإشارات المرئية التي تمكّن نموذج الاكتشاف من تذكر فرق القيمة الرئيسية في السجلات عمومًا إشارات تمثل المعنى الواضح للكلمات في المستند.

الإشارات المرئية التي تميز أزواج القيمة الرئيسية

إن تدريب نموذج الكشف على التعرف على الإشارات المرئية التي تميز أزواج القيمة الرئيسية في المستندات يتيح لنموذج الكشف "التعميم" بما يتجاوز بيانات التدريب المستخدمة لإعداد نموذج الكشف. قد يعالج نموذج الاكتشاف المدرب صورة تصور مستندًا لإنشاء مربعات إحاطة تضم أزواجًا ذات قيمة رئيسية في الورقة حتى لو لم يتم تضمين النسخة في بيانات التدريب المستخدمة لتدريب نموذج الاكتشاف.

في أحد الأمثلة ، قد يكون نموذج الاكتشاف نموذجًا لاكتشاف كائن الشبكة العصبية (على سبيل المثال ، بما في ذلك الشبكات العصبية التلافيفية) ، حيث تتوافق "الكائنات" مع أزواج القيمة الرئيسية في المستند. تتضمن المعلمات القابلة للتدريب لنموذج الشبكة العصبية أوزان نموذج الشبكة العصبية ، على سبيل المثال ، الأوزان التي تحدد المرشحات التلافيفية في نموذج الشبكة العصبية.

قد يتم تدريب نموذج الشبكة العصبية على مجموعة بيانات التدريب باستخدام إجراء تدريب مناسب للتعلم الآلي ، على سبيل المثال ، نزول التدرج العشوائي. على وجه الخصوص ، في كل تكرار تدريب ، قد يعالج نموذج الشبكة العصبية صور التدريب من "دفعة" (أي مجموعة) من أمثلة التدريب لإنشاء مربعات إحاطة يُتوقع أن تضم أزواجًا ذات قيمة رئيسية في صور التدريب. قد يختبر النظام وظيفة الهدف التي تميز مقياس التشابه بين المربعات المحيطة التي تم إنشاؤها بواسطة نموذج الشبكة العصبية والمربعات المحيطة المحددة بواسطة مخرجات الهدف المقابلة لأمثلة التدريب.

قد يكون مقياس التشابه بين صندوقين محيطين ، على سبيل المثال ، مجموع مسافات مربعة بين الرؤوس الخاصة بالمربعات المحيطة. يمكن للنظام تحديد التدرجات لوظيفة الهدف التي فازت بقيم معلمات الشبكة العصبية (على سبيل المثال ، باستخدام backpropagation) وبعد ذلك استخدم المنحدرات لضبط قيم معلمات الشبكة العصبية الحالية.

على وجه الخصوص ، يمكن للنظام استخدام قاعدة تحديث المعلمة من أي خوارزمية تحسين نزول التدرج المناسب (على سبيل المثال ، Adam أو RMSprop) لضبط قيم معلمات الشبكة العصبية الحالية باستخدام التدرجات. يقوم النظام بتدريب نموذج الشبكة العصبية حتى يتم استيفاء معيار إنهاء التدريب (على سبيل المثال ، حتى يتم تنفيذ عدد محدد مسبقًا من تكرارات التدريب أو أن التغيير في قيمة وظيفة هدف الهدف بين تكرارات التدريب يقع أقل من عتبة محددة مسبقًا).

قبل استخدام نموذج الاكتشاف ، قد يحدد النظام "فئة" من المستند (على سبيل المثال ، الفاتورة أو كعب الدفع أو إيصال المبيعات). يمكن لمستخدم النظام تحديد فئة السجل عند تقديم المستند إلى النظام. قد تستخدم الطريقة شبكة تصنيف عصبية لتصنيف فئة الورقة. قد يستخدم النظام تقنيات التعرف الضوئي على الحروف للتعرف على النص في المستند ، وبعد ذلك ، ضع نمط المستند بناءً على النص الموجود في المستند. في مثال معين ، استجابةً لتحديد عبارة "صافي الدفع" ، قد يحدد النظام فئة الورق على أنها "كعب دفع".

في مثال آخر محدد ، استجابةً لتحديد عبارة "ضريبة المبيعات" ، قد يحدد النظام فئة المستند باسم "فاتورة". بعد تحديد فئة معينة من السجل ، قد يستخدم النظام نموذج كشف يتم تدريبه على معالجة نسخ فئة معينة. قد تستخدم الطريقة نموذج الكشف الذي تم تدريبه على بيانات التدريب التي تضمنت فقط مستندات من نفس فئة معينة مثل المستند.

قد يؤدي استخدام نموذج الكشف الذي يتم تدريبه على معالجة المستندات من نفس الفئة مثل المستند إلى تحسين أداء نموذج الاكتشاف (على سبيل المثال ، عن طريق تمكين نموذج الاكتشاف لإنشاء مربعات إحاطة حول أزواج القيمة الرئيسية بدقة أكبر).

لكل مربع محيط ، يعالج النظام جزء الصورة المحاط بالمربع المحيط باستخدام محرك التعرف الضوئي على الحروف لتحديد البيانات النصية (أي النص) التي يحتفظ بها الصندوق المحيط. على وجه الخصوص ، يحدد محرك التعرف الضوئي على الحروف النص المحاط بمربع محيط عن طريق تحديد كل حرف أبجدي أو رقمي أو فريد محاط بالمربع المحيط. يمكن لمحرك OCR استخدام أي تقنية مناسبة لتحديد النص المحاط بمربع إحاطة.

يحدد محرك التصفية ما إذا كان النص المحاط بالمربع المحيط يمثل زوجًا من المفاتيح والقيمة. يمكن لمحرك التصفية أن يقرر ما إذا كان النص المحيط بالصندوق المحيط يمثل زوجًا من المفاتيح والقيمة بشكل مناسب. على سبيل المثال ، قد يحدد محرك التصفية ما إذا كان النص المحاط بالمربع المحيط يتضمن مفتاحًا صالحًا من مجموعة محددة مسبقًا من المفاتيح اليمنى لمربع إحاطة معين. على سبيل المثال ، قد تتكون مجموعة المفاتيح الصالحة من: "التاريخ" و "الوقت" و "الفاتورة رقم" و "المبلغ المستحق" وما شابه.

عند مقارنة أجزاء مختلفة من النص لتحديد ما إذا كان النص المحاط بالمربع المحيط يتضمن مفتاحًا صالحًا ، قد يحدد محرك التصفية أن جزأين من النص "متطابقتان" حتى لو لم تكنا متطابقتين. على سبيل المثال ، قد يحدد محرك التصفية أن جزأين من القارئ متطابقان حتى إذا كانا يشتملان على أحرف كبيرة أو علامات ترقيم مختلفة (على سبيل المثال ، قد يحدد نظام التصفية أن "التاريخ" و "التاريخ:" "التاريخ" و "التاريخ": كلها متطابقة).

استجابة لتحديد أن النص المحاط بالمربع المحيط لا يتضمن مفتاحًا صالحًا من المفاتيح اليمنى ، يحدد محرك التصفية أن النص المحاط بالمربع المحيط لا يمثل زوجًا من المفاتيح والقيمة.

استجابةً لتحديد أن النص المحاط بالمربع المحيط يتضمن مفتاحًا صالحًا ، يحدد محرك التصفية "نوعًا" (على سبيل المثال ، أبجديًا ورقميًا ووقتًا) من جزء النص المحاط بالمربع المحيط غير المحدد على أنه المفتاح ( أي النص "غير المفتاح"). على سبيل المثال ، بالنسبة للمربع المحيط الذي يحتوي على النص: "التاريخ: 2-23-2019" ، حيث يحدد محرك التصفية "التاريخ:" على أنه المفتاح (كما هو موضح سابقًا) ، فقد يحدد محرك التصفية نوع -النص الرئيسي "2-23-2019" بأنه "مؤقت".

إلى جانب تحديد نوع النص غير الرئيسي ، يحدد محرك التصفية مجموعة من الأنواع الصالحة للقيم المقابلة للمفتاح. على وجه الخصوص ، قد يقوم محرك التصفية بتعيين المفتاح لمجموعة من أنواع البيانات المفيدة للقيم المقابلة للمفتاح من خلال تعيين محدد مسبقًا. على سبيل المثال ، قد يعيّن محرك التصفية المفتاح "الاسم" لنوع بيانات القيمة المقابل "أبجديًا" ، مشيرًا إلى أن القيمة المقابلة للمفتاح يجب أن يكون لها نوع بيانات أبجدي (على سبيل المثال ، "جون سميث").

كمثال آخر ، قد يعيّن محرك التصفية المفتاح "التاريخ" لنوع بيانات القيمة المقابل "مؤقت" ، مشيرًا إلى أن القيمة المقابلة للمفتاح يجب أن يكون لها نوع بيانات مؤقت (على سبيل المثال ، "2-23-2019" أو " 17:30:22 ").

يحدد محرك التصفية ما إذا كان سيتم تضمين نوع النص غير الرئيسي في مجموعة الأنواع الصالحة للقيم المقابلة للمفتاح. استجابةً لتحديد أن نمط النص غير الرئيسي يتم تضمينه في مجموعة الأنواع المناسبة للقيم المقابلة لمفتاح الإيضاح ، يحدد محرك التصفية أن النص المحاط بالمربع المحيط يمثل زوجًا من قيم المفاتيح. على وجه الخصوص ، يحدد محرك التصفية النص غير المفتاحي على أنه القيمة المقابلة للمفتاح. وإلا ، فإن محرك التصفية يحدد أن النص المحاط بالمربع المحيط لا يمثل زوجًا من المفاتيح والقيمة.

قد يتم توفير مجموعة المفاتيح الصالحة والتعيين من المفاتيح اليمنى إلى مواقع أنواع البيانات المفيدة للقيم المقابلة للمفاتيح الصالحة من قبل مستخدم النظام (على سبيل المثال ، من خلال واجهة برمجة التطبيقات التي يوفرها النظام).

بعد تحديد أزواج المفتاح والقيمة من النص المحاط بالمربعات المحيطة ذات الصلة باستخدام محرك التصفية ، يقوم النظام بإخراج أزواج المفتاح والقيمة المحددة. على سبيل المثال ، يمكن للنظام توفير فرق القيمة الرئيسية لمستخدم بعيد للنظام عبر شبكة اتصال البيانات (على سبيل المثال ، باستخدام واجهة برمجة التطبيقات التي يوفرها النظام). كمثال آخر ، يمكن للنظام تخزين البيانات التي تحدد أزواج القيمة الرئيسية المحددة في قاعدة بيانات (أو بنية بيانات أخرى) يمكن لمستخدم النظام الوصول إليها.

في بعض الحالات ، قد يطلب مستخدم النظام أن يحدد النظام القيمة المقابلة لمفتاح معين في المستند (على سبيل المثال ، "رقم الفاتورة"). في هذه الحالات ، بدلاً من تحديد كل زوج من قيم المفاتيح وتوفيرها في السجل ، قد يقوم النظام بمعالجة النص الموضوع في المربعات المحيطة ذات الصلة حتى يتعرف فريق القيمة الرئيسية المطلوب وينفذ زوج القيمة الرئيسية المرتب.

كما هو موضح أعلاه ، يمكن تدريب نموذج الكشف على إنشاء مربعات إحاطة تحتوي كل منها على زوج ذي قيمة مفتاحية. أو ، بدلاً من استخدام نموذج كشف واحد ، قد يشتمل النظام على:

(ط) "نموذج الكشف عن المفاتيح" الذي يتم تدريبه على إنشاء مربعات إحاطة تحتوي على المفاتيح المعنية ، و
(2) "نموذج الكشف عن القيمة" الذي يتم تدريبه لإنشاء مربعات إحاطة تضم القيم المعنية.

يمكن للنظام تحديد أزواج القيمة الرئيسية من المربعات المحيطة بالمفتاح والمربعات المحيطة بالقيمة بشكل مناسب. على سبيل المثال ، لكل فريق من المربعات المحيطة التي تتضمن مربعًا لإحاطة المفتاح ومربعًا لإحاطة القيمة ، يمكن للنظام إنشاء "نتيجة مطابقة" بناءً على:

(1) القرب المكاني للمربعات المحيطة ،
(2) ما إذا كان المربع المحيط بالمفتاح يشتمل على مفتاح صالح ، و
(3) ما إذا كان يتم تضمين نوع القيمة المضمنة في المربع المحيط بالقيمة في مجموعة من الأنواع الصالحة للقيم المقابلة للمفتاح.

قد يحدد النظام المفتاح المحاط بمربع إحاطة المفتاح والقيمة المحاطة بصندوق إحاطة القيمة كزوج من قيمة المفتاح إذا تجاوزت درجة المطابقة بين المربع المحيط بالمفتاح ومربع إحاطة القيمة عتبة.

مثال على مستند الفاتورة

يجوز لمستخدم نظام معالجة المستندات تقديم الفاتورة (على سبيل المثال ، كصورة ممسوحة ضوئيًا أو ملف PDF) لنظام التحليل.

يتم إنشاء المربعات المحيطة بواسطة نموذج الكشف لنظام الإعراب. من المتوقع أن يحتوي كل مربع محيط على بيانات نصية تحدد زوجًا من قيم المفاتيح. لا يُنشئ نموذج الاكتشاف مربعًا محيطًا يحتوي على نص (على سبيل المثال ، "شكرًا لك على عملك!") نظرًا لأن هذا النص لا يمثل زوجًا من المفاتيح والقيمة.

يستخدم نظام التحليل تقنيات التعرف الضوئي على الحروف للتعرف على النص داخل كل مربع إحاطة ، وبعد ذلك يحدد أزواج قيمة المفتاح الجيدة المحاطة بالمربعات المحيطة.

المفتاح (على سبيل المثال ، "التاريخ:") والقيمة (على سبيل المثال ، "2-23-2019") محاطين بالمربع المحيط.

أزواج القيمة الرئيسية ومعالجة المستندات

يمكن لنظام الإعراب المبرمج بواسطة هذه المواصفات تنفيذ معالجة المستندات.

يتلقى النظام مستندًا كتحميل من مستخدم نظام بعيد عبر شبكة اتصال بيانات (على سبيل المثال ، باستخدام واجهة برمجة تطبيقات يوفرها النظام). يمكن تمثيل المستند بأي تنسيق بيانات غير منظم مناسب ، مثل مستند PDF أو مستند صورة (على سبيل المثال ، مستند PNG أو JPEG).

يحول النظام المستند إلى صورة ، أي مجموعة مرتبة من القيم الرقمية التي تمثل المظهر المرئي للورقة. على سبيل المثال ، قد تكون الصورة عبارة عن صورة بالأبيض والأسود للمستند يتم وصفها على أنها مصفوفة ثنائية الأبعاد لقيم الكثافة العددية.

من خلال مجموعة من معلمات نموذج الكشف لتوليد مخرجات تحدد المربعات المحيطة في صورة المستند. يُتوقع أن يحيط كل مربع محيط بزوج من قيم المفاتيح بما في ذلك البيانات النصية الهامة وبيانات القيمة النصية ، حيث يحدد المفتاح تسمية تميز القيمة.

قد يكون نموذج الكشف عبارة عن نموذج لاكتشاف كائن يتضمن شبكات عصبية تلافيفية.