Деректер қорын қолдану

Өндіріс өнімділігін бағалау. ДББЖ-ны сынау және анализдеу әртүрлі ұйымдар айналысады, соның ішінде PC Magazine лаборатория журналы. Оның ұсынылып отырған ДББЖ өндіріс өнімділігінің анализы ДББЖ класс бағдарламаларын зерттеуде қолданылады.

Реляциялық ДББЖ тестілеу AS³AP(ANSI SQL Standart Scalable and Portable) эталонды тесттер тобынан атқарылады. Олардың ішінде ДБ мен бірге жиі қолданылатын операциялар және көпқолданушы және бірқолданушы аясы модельденеді. Зерттеліп жатқан ДБ 100 мың жолдан тұратын төрт кестеден тұрады.

Негізгі тесттерді қолданатын түрлердің атаулары: «Таңдау», «Толық сканерлеу», «Жүктеу және индекстеу», «Жаңарту», «Өз еркімен оқу», «Өз еркімен жазу мүмкіндігі», және «Есеп генерациясы». Тестілеу жүргізу үшін әрбір бағдарламалық өнім жеткізу-фирмалары қосымша бағдарламалар жобаланды.

«Таңдау» тестінде, әрбір  бағдарламалық өнім біркестелік  сұранысты қаншалықты үлкен жылдамдықпен орындайтынын өлшейді. Сұраныстар сандық және мәтіндік деректерге ие. Индекстелген өрістер пайдаланылады, ал мағыналары берілген диапазонға сәйкес келуі керек.

«Толық сканерлеу» тестінде, кестеде болмайтын, индекстелмеген өріске арналған  іздеу мағынасы үшін уақыт өлшенеді. Соған байланысты, ДБ жағымсыз сұранысы моделденеді.

«Жүктеу және индекстеу» тестінде анық индекстер санын құруға және ДБ алғашқысын бағдарламалар қаншалықты жылдам импорттай алатындығының  бағалануы жүргізіледі.

«Жаңарту» тесті модификация (Modify) операцияларын орындаған кезде  индекстердің жаңартылу уақытын  өлшеу үшін, қою немесе косу (Append) және 1000 жазбаларды өшіру (Delete) қолданылады.

«Өз еркімен оқу» тесті  деректерге бағытталған параллельдің максималды сандарын анықтауға мүмкіндік  береді. Осындай мінездемені алу  үшін жұмыс станцияларында бір кестенің кездейсоқ сандарымен жазбалардың сұраныстары генерацияланады, бұны бөлек тұрған компьютерде  пакеттің орындауы тиіс. Жұмыс станцияларында сұраныстарға қабылданған жауаптар өшіріледі.

«Өз еркімен жазу мүмкіндігі»  тесті, бүтін өріс өзгертетіндей, әрбір  жұмыс станциялары кездейсоқ  түрде жаңартылу жазбасын таңдай алатындығымен алдыңғы тестке ұқсас  болып келеді.

«Есеп генерациясы» жеке есеп шығару және дайындық үшін бір жұмыс  станциясының қолданылуын қажет  етеді, ал қалған сегіз машинасы-топтық жұмыс негізінде басты станциясына  имитациясы үшін керек. Имитация «Өз еркімен жазу мүмкіндігі» тесті арқылы жүргізіледі.

Өндіріс өнімділігі параметрлері арқылы сол уақыт кезіндегі 10 жоғары сапалы ДББЖ бағаланды: Clarion Database Developer 3.0, DataEase for DOS 4.53, DataFlex 3.05 (DOS), dBase IV 2.0, Microsoft Acces 2.0, Microsoft FoxPro 2.6 for Windows (Professional Edition), Paradox for DOS 4.5, Paradox for Windows 4.5(Professional Edition) және R:Base 4.5 Plus.

Сондай-ақ, басқа топ тесттері белгілі, Транзакцияны Жобалау Өнімділігі Үкіметінің жобалануы (TPC-Transaction Processing Perfomance Counsil). TPC тестінің құрамына келесі тесттер кіреді: TPC Benchmark A ( қысқаша  – ТРC-А), TPC-B, TPC-C, TPC-D және TPC-E. Бұл  тесттер өнімділікті анықтау  және баға/аппараттық-бағдарламалық  жүйе өнімділігінің қатынасын транзакцияның (OLTP – On-Line Transaction Processing) оперативті өңдеу  тапсырмасында  құрылған.

Жүзеге асырылған және кең таралған тесттерге тоқтала кетсек: TPС-A, TPС-B және TPС-C.

TPС-A тесті барлық жүйенің бағдарламалық-аппараттық компонеттерінің қосымшалары көмегімен тестілеуді ұсынады. Тестілеу барысы кезінде банк жұмысшыларының желісі модельденеді, депозиттерді қабылдау.

Баға/өнімділік қатынасының  бағалануы  бір секунд ішінде белгіленген  максималды транзакцияның жүйе бағасының  жеке түрі ретінде анықталады. Жүйенің  толық бағасына, аппаратураның бағасы, бағдарламалық жабдықтау, сонымен  қатар бес жыл ішінде аппараттық бөлімнің қызмет көрсету бағасы кіреді.

TPС-B тестінің белгіленуі  есептеуіш жүйенің және дискілік  жадынан құралған, аппараттық платформаның  және өнімділіктің ДББЖмен бірге  анықталуында, TPС-A тестінің қосымшасы  арқылы. Алдыңғы нұсқамен салыстырғанда,  тестілеу схемасынан есептеу  және терминалға мәліметтің шығуы  алынған. Тестілеудің нәтижесінде  өндірістің деректері алынады  (бір секунд ішінде белгіленген  транзакция саны), сонымен қатар баға/өндіріс қатынасы.

TPC-C тестінде жүйелердің  аса күрделі шарттарда мәліметтің  оперативті жобалауының көпжақты  зерттелуі жүргізіледі. Жүйеге  кіру барысында, оқуды болдыратын және ДБ интенсивті жаңартылуы, транзакциялардың араласы беріледі. Бұнда әртүрлі көлемдегі кестелер, басқа кестелермен байланыс структурасы  қолданылады. Бір уақытта транзакциялардың әр түрлі типтері келуі қарастырылған (қысқа және ұзын), ал орындалуы –  оперативті және біркелкі режимде.

1.2 Аппараттық әдістерді таңдау құрылымы

Есептеуіш – ақпараттық жүйелерді құрған кезде, қордағы  деректерді өңдеуді болжамдайтын, ДББЖ таңдаудан басқа аппараттық әдістерді  және бағдарламалық структураның болжамын шешу қажет. Деректерді өңдеу бағдарламалық-аппараттық қамтамасыз ету рационалды структурасын анықтау үшін келесі сұрақтарға жауап  беру тура келеді:

• ДББЖ қандай структураға ие;
• Транзакция мониторлары қолданыла ма;
• Клиент-сервер архитектурасын қолдануға бола ма;
• Жүйе бір уақытта қанша активті қолданушыларды керек етеді;
• Сұраныстардың көпшілігінен негізгі-шаблонды белгілеп алу мүмкіндігі;
• Индексация стратециясы қандай;
• Қандай сұраныстарды индексациямен қолдану, қандай түрлерін деректер базасын сканерлеу арқылы жүзеге асыруға болатындығын;
• Архивтер және ДББЖ журналы үшін бөлек дискілердің бар болуы;
• Деректерді сақтауға, уақытша кестелер және деректер көлемінің ұлғаю мүмкіндігі, индекстерге  арналған дискілік жадының көлемі жеткілікті ме;
• Қолданушылар санымен жұмыс істейтін процессорлар жеткілікті ме;
• Клиент-сервер жүйесіндегі клиенттік жүйелер және сервер арасындағы байланысты ұйымдастыру үшін белгіленген желі қажет пе;
• Резервтік көшіріп алу стратегиясы түр, сан және резервті көшіріп алу құрылғыларының орналасу орнымен келісілгені.

Жоғарыда атап өтілген  және сол сияқты сұрақтардың жауабын  алу үшін ең алдымен келесі факторларды  ескеру керек:

1. Қосымша есептің ерекшелігі, сондай-ақ оны шешудің шығарылуы және әдістері;
2. Таңдалған ДББЖ мінездемесі;
3. Бағдарламалық жүйенің мүмкіншіліктері және әсері;
4. Желілік құралдың және аппараттық бөлімнің мінездемесі.

Қосымша есептердің тиімсіз шығарылуы қалған талпыныстарды жоққа шығарылуы мүмкін. Мысалға, жазбаларды таңдау үшін шарттың тексерілуімен кестенің түгел сканерлеуін немесе таңдау операциясын – SELECT операторы SQL тілін қолдануға болады. Бірінші жағдайда орташа шамамен кестенің жартысын қарап алу қажет, бұл кестенің ондаған гигабайт көлемімен бірлік-ондық минуттарды құра алады. Екінші жағдайда таңдау операциясы бірнеше секундтарға ие.

Соңғы өндірістің ерекше ұтысы  деректер базасына бағытталған типтік немесе қайталамалы сұраныстар орындалу барысында орындалады. Ең бастысы, деректер базасының  реорганизациясы қосымша  кодының өзгертілуін қажет етпейді. Қосымша есептің параметрлері таңдалған  ДББЖ мінездемесімен тығыз байланысты. Бұл байланыс, қосымша ДББЖ интерпретациялау режимінде орындалған кезде анық байқалады. ДББЖ-ның толық мінездемесі 1-кестеде көрсетілген. ДББЖ орнатқан кезде және оны эксплуатациялау барысында жағдайлар және процесстер статистикасының анализі, сонымен қатар жинақ жайында ұмытпаған жөн. Транзакцияны өңдеу, бөлінген ресурстарды пайдалану барысында бұғаттау, дисктерге бағытталған кэш-жадының қолданылуы, сонымен қатар буферлік немесе дискілік жадының жетпеуі сияқты құбылыстарға назар аударған жөн.

Бағдарламалық ортаның функционалдық  қосымшасы және/немесе ДББЖ бағдарламалық  жүйе болып табылады. Ол арқылы ақпараттық жүйе жұмысының интегралды бағасы тәуелді  болады.

Есептеуіш жүйенің ең маңызды  бөлігі аппаратура болып табылады.

Бағдарламалық-аппараттық әдістердің деректерді өңдеудің автоматты жүйесінің  структурасын анықтау есептерін  шешкен кезде, жиі жағдайда, эксперттік бағаның болуы жеткілікті.

Клиенттік және серверлік  машиналар арасында есептеуіш күштің бөліну сұрағы, қолданылған клиент-сервер моделінің көру бұрышы арқылы шешу керек.

Клиенттік бөлімге бағытталған есептің шешілуінің әртүрлілігі негізінде ортақ ұсыныспен шектеледі: ЭЕМ ресурсының қажет етуін анализдеу және қаржы жағынан оларды қамтамасыз ету. Мысалы, видеобейне өңдеуді талап ететін қосымша, видеожүйесінің жақсы мінездемесі бар компьютерлерде орындалуы тиіс.

Серверлік бөлім жүйесіне қатысты нақты сөз айтуға болады, өйткені оның жүйелік ресурстарға қатысты сұраулары, аз шамасында, қосымша есептерді шешуге байланысты болады. Компьютердің ең маңызды ресурстарды қолданған северлер спецификасы: негізгі жады, орталық процессор және сыртқы жады.

Негізгі жады. Негізгі жадының (НЖ) мінездемесі-оның көлемінде, компьютердің басқа мінездемелеріне қарағанда ең маңызды болып табылады. Компьютерді таңдаған кезде оның болашақтағы жады көлемінің ұлғаюын қарастыру керек. Қазіргі заманғы компьютерлер бастапқы жады көлемін көбейтуге рұқсат етеді.

Негізгі жадыда деректер және бағдарламалар сақталып тұрады. ДББЖ-мен  жұмыс істеген кезде, әдетте, сыртқы жадымен ауысуы барысында НЖ көпшілік бөлігі буфер (кэш) ретінде қолданылады. Кэш жады көлемінің жетерліктей  жағдайда физикалық енгізу/шығару операция санын азайтуға және есептеуіш жүйенің  өндіріс өнімділігін арттырады. Негізгі жадыға қарасты операциялар  магниттік дискіге қарағанда, шамамен 30000 есе жылдам.

 НЖ көлемінің негізгі  бөлігін-кэш бөлігі алып жатыр.  Буферлік аймақтың оптималды  көлемін анықтау-қиын есеп. Оның  негізгі мәселесі-қосымшаларға байланысты  деректердің қажеттілігін білмеуінде.

Кэштің көлемін анықтау  үшін келесі жағдайларды қолдануға  болады: сервердегі мәліметтерді модельдеу  процесстері арқылы өңдеу немесе статистика анализінің жадыны қолдану  негізінде кэш параметрлерін  таңдау. Қазіргі көптеген ДББЖ түрлері  кэшті қолданудың тиімділік баға әдістеріне ие. Жиі жағдайларда кэш жадыны бөлетін массив ретінде қолданылады, оның көлемі әдейі басқару құжат параметрлері арқылы немесе ДББЖ кестелерінде анықталады. Атап өтілген жағдайлардың қолдану қиындығын ескерсек, сондай-ақ, кэштің көлемін анықтау үшін серверді алғаш рет орнатқан кезде келесі эмпирикалық ережелердің бірін қолдануға болады.

А. «бес минуттық» ережесі. Негізгі және дискілік жады бағасының қатынасы мынада, экономикалық тұрғыда деректердің бүтінділігін сақтап кэштау, әрбір бес минут сайын оларға қатынас жасауында. Кэштың көлемін анықтау үшін, ең алдымен, қосымшалардың бес минут ішінде бір реттен жиі қолданатын, бүкіл жүйе деңгейіндегі барлық мәлімет көлемін қосу керек. Индекстерді сақтау, сақталып тұрған процедураларды және ДББЖ басқаратын басқа да мәліметтер үшін деректердің қосынды көлемінен тағы 5-10% қосымша ретінде резервтеу керек. Бұл ереже деректер базасы серверлерінің конфигурациясы кезінде кеңінен қолданылады.

В. «90/10» ережесі. Қазіргі заманғы ДБ зерттеулер нәтижесіне сүйінсек, барлық қатынастардың 90% деректердің 10%-нда орындалады(«ыстық» деректер). Оған қоса, «ыстық» деректерге қатынасы, өз кезегінде, «90/10» ережесіне бағынады. Осылайша, деректерге арналған барлық қатынастардың 80%  деректердің шамамен 1% байланысты. Осыдан шығатыны, кэш үшін негізгі жадының көлемі сақталып тұрған деректердің «толық» 1%-ын керек етеді, басқа да қызметтік мәліметтерді және индекстерге арналған жадыны санамағанда.

Бұл ереже үлкен деректер базасында қолданылады. Қазіргі  кездегі 5 Гбайт көлемді деректер базасының 10%-ын 500 Мбайт құрайды. Осындай  кэш көлемді Pentium  машинасын құру әзірге күрделі және қымбат болып  келеді.

С. Қолданушылар санына қарай. Кэшке арналған керек ететін негізгі жады көлемінің қатаң бағасы-оның мөлшері, әрбір қолданушы үшін 50 ден 300 кбайтқа дейінгі бөліну арқылы пайда болады.

• Кэш көлемінің шамадан тыс ұлғаюы маңызды әсер бермейді. Оған қоса, әсері керісінше болуы мүмкін: жүйе жай жұмыс істей бастайды. Оның себебі қолданушы қосымшасының айыруы немесе негізгі жадының дұрыс істеуі үшін ДББЖ сервері болуы мүмкін;
• Операциялық жүйе қолданған жүйе құжаты операциясының буферизациясы үшін, кэш үшін бөлінген жады, виртуалды жады көлемін азайтуы мүмкін;
• Жадыны қолдану үшін жүйеде қосымша бөлімдер болуы керек. Осылайша, Unix басқаруындағы есептеуіш жүйеде операциялық жүйесі үшін негізгі жадының көлемі 16 Мбайттан кем болмауы тиіс, ДББЖ бағдарламасы үшін 2-4 Мбайт және қосымшаның екілік кодтарын жадыда орналастыру орнының болғаны. Қосымшаның екілік кодтарының көлемі негізінен 1-2 Мбайт құрайды, бірақ кей кездері олар ондаған Мбайттарға жетуі мүмкін.

Орталық процессор. Серверлік жүйедегі процессорлық ресурстарды пайдалану, қолданған қосымшаға, ДББЖ, жеке қолданушылар және күн уақытынан тәуелді болады. Сондықтан да орталық процессордың құрамы және қуаты жайында сөз айту мүмкін емес. Қолданған процессордың мүмкіншілігінің бағасын тестілеудің нәтижесі арқылы беруге болады.

Осылайша, ТРС-А тестінің нәтижесі, сегіз процессорлы SPARCserver 1000 көрсетеді,  сұраныстарды  4000 қолданушылардан өңдей алады, немесе бір процессорға 500 ден бастап қолданушылардан. Бұл нәтиже ОЖ Solaris, ДББЖ Oracle түпкілікті орнатуынан және тесттің өзінен шамаға келтірілді.

Дискілік енгізу/шығару жүйесі. Әр түрлі деректер базасының жаңартылуы,  индекстердің жаңартылуынан және журналға жазбаның орындалуына байланысты. Осы операциялардың әр қайсысы еркін және/немесе реттілік дискілік жадыға қатынасын тудыруы мүмкін. Дискілік жадыға реттілік қатынасы, мысал ретінде, сканерлеу операциясы немесе ДҚ-ның индекстелген жазбасына қатысты индекстердің жартылай сканерленуі(сұрыпталған).

Қосымшаларды, деректер базасының  администраторы қабылдаған индексация стратегиясы, сондай-ақ ДББЖ сақтау және іздеу механизмдерін дұрыс білмеген жағдайда, жалпы жағдайда, енгізу/шығару операциялары қандай артықшылықтарға  ие екенін нақты айтуға болмайды. Сондықтан  да, негізінен дискіге кіру үшін еркін операциясы қолданылады деп  болжайды. Бұл операция дискілік енгізу/шығару жүйесіне үлкен қиындық туғызады.