یک جدول جریان - یک ساختار داده بهینه شده است که به طور گسترده در معماری رایانه ، ارتباطات شبکه و پردازش داده ها مورد استفاده قرار می گیرد. هدف اصلی آن بهبود قابلیت های پردازش کارآمد سیستم برای یک دنباله داده واحد با ساده کردن منطق مدیریت جریان داده است. در مقایسه با مکانیسم های برنامه ریزی پیچیده جداول جریان چند- (که از جریان داده های شاخه موازی یا چند- پشتیبانی می کنند) ، جداول جریان-} به طور قابل توجهی مصرف منابع سخت افزاری و پیچیدگی اجرای نرم افزار را از طریق کنترل متمرکز و منطق پردازش خطی کاهش می دهد. این مقاله با مفاهیم اساسی آغاز می شود و به تدریج اصول طراحی ، تکنیک های اجرای کلیدی و سناریوهای کاربردی معمولی جداول جریان- را توضیح می دهد.
I. تعریف و ویژگی های اصلی جداول جریان-
یک جدول جریان - در اصل یک واحد ذخیره و پردازش برای یک جریان داده مداوم و مداوم است. ویژگی "تک - جریان" آن در دو جنبه منعکس شده است: اول ، داده های ورودی به طور دقیق از یک ترتیب زمانی (مانند زمان های صعودی یا ترتیب تحریک رویداد) پیروی می کنند ، بدون انشعاب یا مسیرهای ورودی موازی. دوم ، خروجی یک رابطه دقیق نقشه برداری با داده های ورودی ، بدون تعامل داده های صلیب- جریان یا عملیات ادغام را حفظ می کند.
ویژگی های اصلی آن را می توان در سه نقطه خلاصه کرد:
1. منطق پردازش خطی: داده ها یک به یک به ترتیب ثابت پردازش می شوند. نتیجه پردازش هر رکورد فقط به وضعیت فعلی و سابقه قبلی بستگی دارد (در صورت وجود هرگونه همبستگی حالت) ، و نیاز به در نظر گرفتن مسائل همگام سازی جریان Multi {2}.
2. مدیریت دولت مرکزی: کلیه حالت واسطه مربوط به جریان داده (مانند پیشخوان ، ذخیره و اطلاعات زمینه) در یک فضای ذخیره سازی یکپارچه ذخیره می شود و به سرعت از طریق یک شاخص واحد (مانند یک نشانگر آدرس یا مقدار کلیدی) به آنها دسترسی پیدا می کند.
3.Low- هواپیمای کنترل پیچیدگی: از آنجا که نیازی به رسیدگی به داوری اولویت جریان چند {{}} نیست که منطق تشخیص و تشخیص درگیری ، طراحی ماژول کنترل بسیار ساده شده و استفاده از منابع (مانند رجیسترها و چرخه ساعت) به میزان قابل توجهی کاهش می یابد.
ii. عناصر اصلی اصل طراحی
(i) مدل سازی جریان داده ها: بازنمایی انتزاعی یک دنباله واحد
طراحی یک جدول جریان - با یک مدل دقیق از جریان داده های هدف آغاز می شود. باید سه پارامتر اصلی تعریف شود:
• فرمت واحد داده: ساختار هر رکورد ورودی/خروجی (به عنوان مثال ، نوع و طول) ، مانند آدرس IP منبع و شماره پورت مقصد را در یک بسته شبکه تعریف می کند ، یا دمای 2-}}} جمع آوری شده توسط یک سنسور.
• محدودیت های زمان بندی: نیازهای بازه زمانی را برای ورود داده ها مشخص کنید (به عنوان مثال ، تحمل تأخیر میکرو ثانیه در سیستم های زمانی واقعی -) یا قوانین سفارش منطقی (به عنوان مثال ، ترتیب تعهد معاملات بانک اطلاعاتی).
• وابستگی های دولتی: تجزیه و تحلیل می کند که آیا پردازش سوابق فعلی نیاز به مراجعه به وضعیت سوابق قبلی (به عنوان مثال ، یک باتری باید مبالغ تاریخی را حفظ کند) برای تعیین استراتژی تخصیص فضای ذخیره سازی.
از طریق مدل سازی فوق ، الزامات واقعی تجارت را می توان به مشخصات ورودی (به عنوان مثال ، "دریافت 1000 سیاهههای مربوط به زمان بندی شده در ثانیه") و انتظارات خروجی (به عنوان مثال ، "خروجی 100 سوابق غیر طبیعی برتر را به ترتیب زمانی معکوس") برای یک جدول جریان واحد {7 {7}.
(ب) ساختار ذخیره سازی: مکانیسم دسترسی و به روزرسانی کارآمد
زیر سیستم ذخیره سازی یک مؤلفه اصلی یک جدول جریان - است. طراحی آن باید ظرفیت ، سرعت و انعطاف پذیری را متعادل کند. راه حل های مشترک شامل:
• ذخیره سازی متوالی (لیست آرایه/پیوند): مناسب برای سناریوها با مقدار ثابت داده و "اول - in - first -}" (مانند FIFO) حالت دسترسی (مانند صف پیام) ، به حداکثر رساندن نرخ ضربه ذخیره شده از طریق فضای حافظه مداوم جسمی.
• جدول شاخص هش: هنگامی که لازم است به سرعت یک مقدار کلیدی خاص (مانند سوابق معامله مربوط به شناسه کاربر) را پیدا کنید ، از یک عملکرد هش برای نقشه برداری قسمت ورودی به آدرس ذخیره استفاده می شود و از یک استراتژی حل اختلاف (مانند آدرس دهی باز) برای تعادل کارآیی پرس و جو و استفاده از فضا استفاده می شود.
• ذخیره سازی مرتب (حافظه پنهان + حافظه اصلی): برای داده های داغ که اغلب به آنها دسترسی پیدا می کند (مانند 100 سوابق اخیراً پردازش شده) ، از حافظه نهان سرعت - (SRAM) برای تسریع در خواندن و نوشتن استفاده می شود ، در حالی که داده های سرد فرکانس پایین-}}-}} ظرفیت}} ظرفیت اما Slower Main (DRAM/حافظه اصلی NVM) ذخیره می شود.
با در نظر گرفتن جدول واحد جریان در تجزیه و تحلیل ترافیک شبکه به عنوان نمونه ، یک کلید کامپوزیت "پنج- tuple (منبع/مقصد IP+پورت+پروتکل)+پنجره زمان" معمولاً به عنوان شاخص برای ذخیره شمارش بایت و بسته بندی بسته های مربوط به ترافیک مربوطه استفاده می شود ، و از جدول هاش برای اجرای O (1) پرس و جو و به روزرسانی ها استفاده می شود.
(iii) منطق کنترل: دنباله- پردازش محور
ماژول کنترل وظیفه هماهنگی ورودی ، پردازش و خروجی داده ها را بر عهده دارد. طراحی آن به اصل "تک - اجرای متوالی موضوع" پایبند است. یک فرآیند معمولی شامل:
پذیرش 1.Data: جریان داده خام را از طریق یک ماژول رابط (مانند یک کنترلر DMA در سخت افزار یا شنونده سوکت در نرم افزار) دریافت می کند و چک های اعتبار سنجی را انجام می دهد (مانند بررسی های یکپارچگی زمینه و تأیید محدوده).
2.State Update: وضعیت داخلی را بر اساس محتوای رکورد فعلی (مانند افزایش پیشخوان و به روزرسانی مقادیر ذخیره شده) اصلاح می کند. اگر وابستگی های رکورد صلیب- وجود دارد (مانند محاسبه میانگین متحرک) ، حالت قبلی را از زیر سیستم ذخیره می خواند.
3.Result Generation: سوابق خروجی را بر اساس منطق پردازش (مانند قوانین فیلتر و فرمول های تحول) ایجاد می کند و آنها را به منطقه ذخیره هدف (مانند سیستم فایل یا بافر ماژول پایین دست) می نویسد.
4. مدیریت کنترل Flowow: از فشار خون برای جلوگیری از بیش از ظرفیت پردازش (مانند مکث دریافت داده های جدید در هنگام ذخیره سازی فضای ذخیره سازی) استفاده می کند تا از ثبات سیستم اطمینان حاصل شود.
در پیاده سازی های سخت افزاری (مانند پردازنده های بسته جریان - که با FPGAS طراحی شده اند) ، منطق کنترل به طور معمول به شکل یک دستگاه حالت محدود (FSM) تقویت می شود ، با هر مرحله از فرآیند ("منتظر داده ها → هدرهای پارس به روزرسانی شمارش" نتایج خروجی ") به وضوح از طریق یک نمودار انتقال حالت تعریف می شود. در اجرای نرم افزار (مانند اسکریپت های تجزیه و تحلیل ورود به سیستم که در پایتون نوشته شده است) ، این توسط چک های مشروط و تماس های عملکردی در یک ساختار حلقه نشان داده شده است.
iii دستورالعمل های کلیدی بهینه سازی فناوری
.
برای سناریوها با نیازهای زمان بسیار واقعی - (مانند کاربر- پردازش داده هواپیما در ایستگاه های پایه 5G) ، جداول جریان تک- اغلب از طریق مدارهای سخت افزاری تسریع می شوند. For example, a dedicated pipeline is designed using an ASIC or FPGA: an input module converts high-speed serial data into a parallel bit stream, a parsing module extracts key fields (such as VLAN tags in Ethernet frames), a processing module updates counters or marks drop flags based on pre-set rules (such as access control lists), and finally an output module نتایج را به صفحه کنترل تغذیه می کند. با موازی سازی تجزیه و تحلیل میدان و به روزرسانی های سریال سازی وضعیت ، این طرح تأخیر پردازش یک رکورد واحد را به نانو ثانیه کاهش می دهد.
(2) بهینه سازی نرم افزار: CO- طراحی الگوریتم ها و ساختارهای داده
به طور کلی پردازنده های هدف-} (CPU) یا سیستم های توزیع شده ، بهینه سازی عملکرد برای جداول جریان تک- بر کارایی الگوریتمی و محل داده ها متمرکز است. به عنوان مثال ، برای اختصاص دادن جریان داده های گسترده ، می توان از یک فیلتر شکوفه استفاده کرد تا به سرعت تعیین کند که آیا یک رکورد در حال حاضر وجود دارد ، همراه با یک جدول هش برای شمارش دقیق. برای پرس و جوهای مکرر دامنه (مانند "شمارش حداکثر مقدار در یک بازه زمانی خاص") ، می توان از لیست پرش یا درخت B به جای یک جدول هش استفاده کرد و در ازای کارآیی O (log n) سرعت نوشتن را قربانی کرد. علاوه بر این ، تکنیک هایی مانند تراز حافظه و بالشتک خط حافظه نهان می تواند هنگام دسترسی به CPU به حافظه ، باعث کاهش حافظه پنهان شود و باعث بهبود بیشتر توان شود.
(3) تحمل و قوام گسل: اطمینان از استحکام در سناریوهای غیر طبیعی
جداول جریان - باید با موقعیت های غیر طبیعی مانند از دست دادن داده و خرابی سخت افزار کنار بیاید. گسل مشترک - مکانیسم های تحمل شامل:
• ذخیره سازی اضافی: اطلاعات بحرانی حالت (مانند شمارش تجمعی) به طور همزمان برای ذخیره سازی اولیه و ذخیره سازی پشتیبان (مانند EEPROM) نوشته می شود. پس از بازیابی خرابی ، داده های متناقض از طریق مقایسه چک ترمیم می شوند.
• از سرگیری Breakpoint: آخرین موقعیت ضبط با موفقیت پردازش شده (مانند جبران پرونده یا شناسه معامله پایگاه داده) ثبت شده و پردازش از آن موقعیت پس از شروع مجدد سیستم از سر گرفته می شود و از محاسبه مجدد داده ها جلوگیری می کند.
• پروتکل قوام: در سناریوهای جدول جریان - توزیع شده (مانند وقتی که گره های متعدد برای پردازش همان قطعه جریان داده همکاری می کنند) ، Paxos یا پروتکل های RAFT برای اطمینان از سازگاری حالت در گره ها استفاده می شوند و از تغییر داده های ناشی از پارتیشن های شبکه جلوگیری می کنند.
IV سناریوهای برنامه معمولی
(i) مدیریت ترافیک شبکه
جداول جریان -} جریان در روترها یا فایروال ها اطلاعات حالت را ردیابی می کنند (مانند پیشرفت TCP سه- دست دستی و تعداد بایت های منتقل شده) برای هر اتصال شبکه (مشخص شده توسط یک Tuple پنج-). با حفظ زمینه یک جریان واحد ، دستگاه می تواند به سرعت در مورد مسیر ارسال بسته ها (مانند اجازه یا انکار دسترسی به آدرس های IP خاص) یا اجرای خط مشی های QoS (مانند اختصاص پهنای باند بالاتر برای جریان های ویدیویی) تصمیم بگیرد.
(2) اینترنت صنعتی اشیاء (IIOT) جمع آوری داده ها
زمان - داده های سری مانند دما و فشار تولید شده توسط گره های سنسور به طور معمول در دروازه به عنوان یک جریان واحد بارگذاری می شود. در این سناریو ، یک جدول جریان - جدیدترین سوابق N (به عنوان مثال ، داده های آخرین لحظه) را برای تجزیه و تحلیل روند زمان- واقعی (به عنوان مثال ، تشخیص نوسانات غیر طبیعی) توسط ماژول محاسبات لبه ذخیره می کند. همچنین داده های تاریخی را برای کاهش نیازهای پهنای باند انتقال فشرده می کند.
(3) پردازش ورود به سیستم معاملات پایگاه داده
ورود به سیستم معامله (ورود به سیستم) از یک پایگاه داده رابطه ای (مانند MySQL) در اصل جریانی از عملیات نوشتن است که به ترتیب زمانی ثبت شده است. جداول جریان - برای ذخیره کردن ورودی های ورود به سیستم غیر {{2} استفاده می شود ، اطمینان حاصل می شود که با پخش مجدد ورود به سیستم پس از خرابی سیستم ، می توان قوام داده ها را بازیابی کرد. پردازش هر رکورد ورود به سیستم (به عنوان مثال ، نوشتن به دیسک) باید به شدت به ترتیب آن در جریان عمل کند. هرگونه - از -}} ممکن است منجر به فساد داده شود.
پایان
جداول جریان -} stream مزایای منحصر به فردی را در سناریوها با نیازهای زمان واقعی -}}} و منابع محدود با تمرکز بر پردازش خطی یک جریان داده واحد ، ساده سازی منطق کنترل و ارائه مکانیسم های دسترسی کارآمد ذخیره سازی ارائه می دهد. اصول طراحی آن در حول توسعه هماهنگ مدل سازی داده ها ، بهینه سازی ذخیره سازی و کنترل ، همراه با شتاب سخت افزاری و بهبود مداوم الگوریتم های نرم افزاری است. این ماده به یک مؤلفه اساسی در معماری رایانه و سیستم های توزیع شده تبدیل شده است. در آینده ، با افزایش محاسبات Edge و -} time تجزیه و تحلیل داده های بزرگ ، طراحی جدول-} طراحی جدول جریان بیشتر به سمت مصرف کم مصرف ، همزمانی بالا (7 {7} جریان در یک جریان واحد) تکامل می یابد ، و هوش (تنظیم تطبیقی سیاستهای ذخیره سازی) از الزامات پیچیده تر پشتیبانی می کند.