ماذا ستكون إجابتك إذا سألنا عن العلاقة بين هذين الخطين؟
أولا: ما هو تضمين النص؟
ثانيا: [-0.03156438 ، 0.0013196499 ، -0.0171-56885 ، -0.0008197554 ، 0.011872382 ، 0.0036221128 ، –0.0229156626 ، -0.005692569 ، … (سيتم تضمين 1600 عنصر آخر هنا]
معظم الناس لن يعرفوا العلاقة بينهما. يسأل السطر الأول عن معنى “التضمين” بلغة إنجليزية بسيطة ، لكن السطر الثاني ، مع كل هذه الأرقام ، لا معنى له بالنسبة لنا نحن البشر.
في الواقع ، السطر الثاني هو تمثيل (تضمين) السطر الأول. تم إنشاؤه بواسطة نموذج OpenAI GPT -3 لتضمين النص ada-002.
تحول هذه العملية السؤال إلى سلسلة من الأرقام التي يستخدمها الكمبيوتر لفهم المعنى الكامن وراء الكلمات.
إذا كنت تخدش رأسك أيضا لفك شفرة علاقتهم ، فهذه المقالة مناسبة لك.
لقد غطينا أساسيات تضمين النص وأفضل 8 نماذج له ، وهو أمر يستحق المعرفة!
هيا نقرأ.
ما هي نماذج تضمين النص؟
هل تساءلت يوما كيف تفهم النماذج الذكاء الاصطناعي وتطبيقات الكمبيوتر ما نحاول قوله؟
هذا صحيح ، فهم لا يفهمون ما نقوله.
في الواقع ، “تضمين” تعليماتنا لأداء فعال.
لا تزال في حيرة من أمرك؟ حسنا، دعونا نبسط.
في التعلم الآلي والذكاء الاصطناعي ، هذه تقنية تبسط البيانات المعقدة ومتعددة الأبعاد مثل النص أو الصور أو أنواع أخرى من التمثيلات في مساحة أقل أبعادا.
يهدف التضمين إلى تسهيل معالجة المعلومات بواسطة أجهزة الكمبيوتر ، على سبيل المثال عند استخدام الخوارزميات أو إجراء العمليات الحسابية عليها.
لذلك ، فهي بمثابة لغة وسيطة للآلات.
ومع ذلك ، فإن تضمين النص يهتم بأخذ البيانات النصية – مثل الكلمات أو الجمل أو المستندات – وتحويلها إلى متجهات ممثلة في فضاء متجه منخفض الأبعاد.
يهدف الشكل العددي إلى نقل العلاقات الدلالية للنص وسياقه ومعناه.
تم تطوير نماذج ترميز النص لتوفير أوجه التشابه بين الكلمات أو القطع القصيرة من الكتابة المحفوظة في الترميز.
ونتيجة لذلك ، فإن الكلمات التي تشير إلى نفس المعاني وتلك الموجودة في سياقات لغوية مماثلة سيكون لها متجه قريب في هذا الفضاء متعدد الأبعاد.
يهدف تضمين النص إلى جعل فهم الآلة أقرب إلى فهم اللغة الطبيعية من أجل تحسين فعالية معالجة البيانات النصية.
نظرا لأننا نعرف بالفعل ما يمثله تضمين النص ، فلنفكر في الفرق بين تضمين الكلمات وهذا النهج.
تضمين الكلمات مقابل تضمين النص: ما الفرق؟
تنتمي كل من تضمينات الكلمات وتضمينات النص إلى أنواع مختلفة من نماذج التضمين. فيما يلي الاختلافات الرئيسية-
- يهتم تضمين الكلمات بتمثيل الكلمات كمتجها ثابت الأبعاد في نص معين. ومع ذلك ، يتضمن تضمين النص تحويل فقرات النص بالكامل أو الجمل أو المستندات إلى متجهات رقمية.
- تعد عمليات تضمين الكلمات مفيدة في المهام الموجهة نحو مستوى الكلمات مثل فهم اللغة الطبيعية وتحليل المشاعر وحساب أوجه تشابه الكلمات. في الوقت نفسه ، تعد عمليات تضمين النص أكثر ملاءمة لمهام مثل تلخيص المستندات واسترجاع المعلومات وتصنيف المستندات ، والتي تتطلب فهم وتحليل أجزاء أكبر من النص.
- عادة ما يعتمد تضمين الكلمات على السياق المحلي المحيط بكلمات معينة. ولكن بما أن تضمين النص يعتبر النص بأكمله سياقا ، فهو أوسع من تضمين الكلمات. يطمح إلى فهم الدلالات الكاملة للمعلومات النصية بأكملها حتى تتمكن الخوارزميات من معرفة بنية المعنى الكلي والترابط بين الجمل أو الوثائق.
أفضل 8 نماذج لتضمين النص تحتاج إلى معرفتها
فيما يتعلق بنماذج تضمين النص ، هناك عدد من التقنيات المبتكرة التي أحدثت ثورة في كيفية فهم أجهزة الكمبيوتر للمعلومات النصية وإدارتها.
فيما يلي ثمانية نماذج مؤثرة لتضمين النصوص كان لها تأثير كبير على معالجة اللغة الطبيعية (NLP) والتطبيقات التي تعتمد على الذكاء الاصطناعي:
1. Word2Vec
ينتج هذا النموذج الرائد ، المعروف باسم Word2Vec ، تضمينات للكلمات ، والتي هي في الأساس تمثيلات لكلمات السياق المحيطة المعينة على متجهات ذات أبعاد ثابتة.
يكشف عن أوجه التشابه بين الكلمات ويظهر العلاقات الدلالية التي تسمح للخوارزميات بفهم معاني الكلمات اعتمادا على البيئات التي تستخدم فيها.
2. GloVE (المتجهات العالمية لتمثيل الكلمات)
بدلا من مجرد التركيز على العلاقات المهمة إحصائيا بين الكلمات في سياق معين ، يولد GloVe تمثيلات كلمة ذات مغزى تعكس العلاقات بين الكلمات عبر المجموعة بأكملها.
3. فاست تكست
تم تصميم FastText بواسطة Facebook الذكاء الاصطناعي Research ، ويمثل الكلمات كأكياس من الأحرف n-grams ، وبالتالي استخدام معلومات الكلمات الفرعية. يساعدها على استيعاب OOVs بشكل فعال ويسلط الضوء على أوجه التشابه في مورفولوجيا الكلمات المختلفة.
4. ELMO (التضمين من نماذج اللغة)
لتوفير سياق لتضمين الكلمات ، يعتمد ELMO على الحالات الداخلية لنموذج لغة ثنائي الاتجاه عميق.
هذه هي عمليات تضمين الكلمات التي تلتقط السياقات الحسية الشاملة ، وبالتالي فهي أكثر وضوحا.
5. BERT (تمثيلات التشفير ثنائي الاتجاه من المحولات)
BERT هو نموذج قائم على المحولات مصمم لفهم سياق الكلمات ثنائي الاتجاه.
يمكنه تفسير معنى الكلمة بناء على سياقها من الكلمات السابقة والتالية ، مما يسمح بفهم أكثر دقة للغة.
6. GPT (محول توليدي مدرب مسبقا)
نماذج GPT هي سادة توليد اللغة. تتنبأ هذه النماذج بالكلمة التالية في تسلسل ، وتولد نصا متماسكا من خلال التعلم من كميات هائلة من البيانات النصية أثناء التدريب المسبق.
7. دوك 2 فيك
Doc2Vec ، امتداد ل Word2Vec ، قادر على تضمين مستندات أو فقرات كاملة في متجهات ذات حجم ثابت. يعين هذا النموذج تمثيلات فريدة للوثائق ، مما يتيح مقارنات التشابه بين النصوص.
8. USE (مشفر الجملة العالمي)
يتم تضمين الجمل أو الفقرات بأكملها بواسطة أداة من Google تعرف باسم USE. يقوم بكفاءة بتشفير أطوال النص المختلفة في متجهات ذات حجم ثابت ، مع مراعاة معناها الدلالي والسماح بإجراء مقارنات أبسط للجمل.
الأسئلة الشائعة:
1. ما قيمة تضمين النص في منصة أو شركة SaaS؟
تعمل نماذج تضمين النص المحسنة على توسيع منصات SaaS من خلال تسهيل فهم البيانات التي ينشئها المستخدم. إنها توفر قدرات بحث ذكية ، وتجربة مستخدم مخصصة مع اقتراحات ، وتحليل متقدم للمشاعر ، مما يؤدي إلى مستويات أعلى من تفاعل المستخدم ، وبالتالي الاحتفاظ بالمستخدمين الحاليين.
2. ما هي الاعتبارات الرئيسية لنشر نموذج تضمين النص؟
عند تنفيذ نماذج تضمين النص ، تشمل الاعتبارات الرئيسية-
- توافق النموذج مع أهداف التطبيق
- قابلية التوسع لمجموعات البيانات الكبيرة
- قابلية تفسير عمليات التضمين التي تم إنشاؤها و
- الموارد اللازمة للتكامل الفعال للحوسبة.
3. ما هي الميزات الفريدة لنماذج تضمين النص التي يمكن استخدامها لتحسين حلول SaaS؟
نعم ، في الواقع ، تعمل نماذج تضمين النص على تحسين حلول SaaS بشكل كبير ، خاصة في مراجعة مراجعات العملاء ، وخوارزميات إعادة ترتيب المقالات ، وفهم السياق للروبوتات ، واسترجاع البيانات السريع ، بشكل عام ، مما يزيد من تجارب المستخدمين النهائيين وربحيتهم.
قراءة هذا: أفضل 10 بدائل مخصصة ل ChatGPT لعام 2024