2. Қазіргі уақытта BigData (үлкен мәліметтер) термині кеңінен
қолданылуда. Терминнің мағынасы «өте үлкен көлемдегі мәліметтерді
басқару және талдау» дегенді білдіреді.
«Үлкен мәліметтер» терминін Nature журналының редакторы
Клиффорд Линч 2008 жылы әлемдегі ақпарат көлемінің қарқынды
өсуіне арналған арнайы шығарылымында енгізген.
Google Trends компаниясының мәліметтері бойынша, BigData
терминінің белсенді қолданылуы 2011 жылдың соңынан басталған.
2010 жылы үлкен мәліметтерді өңдеуге тікелей қатысты алғашқы
өнімдер мен шешімдер пайда болса, 2011 жылы IBM, Oracle, Microsoft,
Hewlett-Packard сияқты ірі IT-компаниялар өздерінің бизнес
стратегияларында үлкен мәліметтерді өңдеуді белсенді түрде жүргізе
бастады.
IT саласындағы мамандар BigData технологиялары үкіметтік
құрылымдарда, өндірісте, білім беруде, денсаулық сақтауда,
саудада және басқа да әртүрлі салаларда кеңінен
қолданылады деп болжайды.
3. BigData – бұл белгілі бір мақ сатқ а сәйкес
міндеттерді шешуде қолданылатын
құрылымдалған және құрылымдалмаған
мәліметтерді өңдеудің әртүрлі құралдары,
тәсілдері мен әдістері.
Құрылымдалмаған мәліметтер – бұл алдын ала
анықталған құрылымы жоқ немесе белгілі бір
ретпен ұйымдастырылмаған ақпараттар.
Әлеуметтік желілердегі, өлшеу
қ ұрылғыларындағы, бизнестегі мәліметтер
BigData-ны құра алатын ақпарат көздерінің
бірнеше түрі ғана.
Шын мәнінде, үлкен мәліметтер – бұл көлемді
ақпараттар массиві ғана емес, сонымен қатар,
оларды өңдеу әдістерінің жиынтығы. Яғни, үлкен
мәліметтер ұғымын сипаттаушы анықтама оның
көлемі ғана емес, сонымен бірге, ақпараттарды
өңдеу мен талдау процестерін сипаттайтын басқа
да категориялар болып табылады.
4. Уақыт өте келе мәліметтердің көлемі мен оларды ұсыну көздерінің саны өсуіне байланысты
ақпаратты өңдеудің бұрыннан бар әдістері жетілдіріледі және жаңа әдістері пайда болады.
Үлкен мәліметтерді сипаттауда Meta Group компаниясының әзірлеген дәстүрлі «Үш V»
анықтамасы қолданылады. Олар:
1. Volume (көлемі) – мәліметтердің физикалық өлшемі;
2.Velocity (жылдамдығы) – мәліметтердің жылдам өсу қарқыны мен оларды жылдам өңдеу
нәтижелері;
3.Variety (әралуандығы) – құрылымдалған және құрылымдалмаған әртүрлі типті мәліметтерді бір
уақытта өңдеу мүмкіндігі.
Үлкен мәліметтер үш элементтен тұрады:
• ақпараттардан;
• аналитикадан (талдаудан);
• технологиялардан.
5. BigData-да өңдеуге арналған бастапқы
ақпараттарға мыналар жатады:
-интернет пайдаланушылардың іс-әрекет
журналдары;
- заттар интернеті;
- әлеуметтік желілер мәліметтері;
- метеорологиялық мәліметтер;
- ірі кітапханалардың цифрланған кітаптары;
- көліктерден келетін GPS сигналдар;
-банк клиенттерінің операциялары туралы
мәліметтер;
- абоненттердің орналасқан жері туралы мәліметтер;
-ірі сауда желілеріндегі сатып алулар туралы
ақпарат және т.б.
6. Үлкен мәліметтерге қолданылатын талдау әдістеріне
мыналар жатады:
- краудсорсинг;
- деректердіараластыру және біріктіру;
- машиналықоқыту;
- жасандынейрондықжелілер;
- үлгінітану;
- болжалды аналитика;
- имитациялықмодельдеу;
- кеңістіктікталдау;
- статистикалықталдау;
- аналитикалықдеректердівизуализациялау.
7. Технологияларға мыналар жатады:
• NoSQL;
• MapReduce;
• Hadoop;
• Аппараттықшешімдер, т.б..
BigData-да жұмыс істегісі келетін адамдар үшін негізінен екі
мамандық ұсынылады: аналитиктер және үлкен
деректермен жұмыс істеу технологияларын жасайтын IT-
кеңесшілер. Бұл мамандықтармен қатар, қазіргі таңда
BigData Analyst мамандығы да пайда болуда. Ол бұрын
статистика мен математиканы білетін және мәліметтерді
талдау есептерін шешу үшін статистикалық бағдарламалық
қамтамасыз етуді қолданатын қарапайым аналитик-
математиктер болатын. Бүгінгі таңда статистика мен
математиканы білумен қатар, технология мен
мәліметтердің жұмыс циклін де түсіну қажет.
8. BigData-дағы тағы бір мамандық –IT-консалтинг, яғни, ITтехнологияларды
пайдалана отырып клиенттердің бизнес мәселелерін шешуге көмектесу
BigData-да мәліметтерді сақтау шешімдерімен жұмыс істеу бұлттық
технологиялар қызметіне де байланысты. Мысалы, үлкен мәліметтердің
ақпараттық қауіпсіздігі.
Ақпараттық қауіпсіздік –бұл мәліметтерді және қосалқы
инфрақұрылымдарды табиғи немесе жасанды сипаттағы кездейсоқ болмаса
қасақана жағымсыз әсерлерден қорғау қызметі.
Ақпараттық қауіпсіздік саласында BigData келесі қиындықтарға тап болады:
- мәліметтерді қорғау және олардың тұтастығын қамтамасыз ету мәселелері;
- мәліметтердің бұрмалануы;
- құпия мәліметтерді дұрыс сақтамау;
- мәліметтерді жоғалту қаупі;
- үшінші тұлғалардың жеке деректерді теріс пайдалану қаупі және т.б.
Осы аталған мәселелерді болдырмауды бұлттық технологиялар
провайдерлері жүзеге асыра алады. Атап айтқанда, мәліметтерді сұранысқа
сай өңдеумен қатар, үнемі олардың резервтік көшірмесін сақтап отыру.
