Măsura sintactică informaţii.

Această măsură cantitatea de informații operează cu informații impersonale care nu exprimă o relație semantică cu obiectul. Volumul de date Vdîn acest caz, mesajul este măsurat prin numărul de caractere (biți) din mesaj. ÎN diverse sistemeÎn notație, o cifră are o greutate diferită și unitatea de măsură a datelor se modifică în consecință.

De exemplu, în sistem binar notatie unitate de masura - bit (cifră binară de biți - cifră binară). Un bit este răspunsul la o singură întrebare binară („da” sau „nu”; „0” sau „1”), transmisă prin canale de comunicație folosind un semnal. Astfel, cantitatea de informație conținută în mesaj în biți este determinată de număr cuvinte binare limbajul natural, numărul de caractere din fiecare cuvânt, numărul de semnale binare necesare pentru a exprima fiecare caracter.

În calculatoarele moderne, împreună cu unitatea minimă de măsură a datelor „bit”, unitatea de măsură mărită „octet”, egală cu 8 biți, este utilizată pe scară largă. ÎN sistem zecimal unitatea de măsură de notație este „bit” (locul zecimal).

Cantitatea de informații I pe nivel sintactic nu poate fi determinată fără a lua în considerare conceptul de incertitudine a stării sistemului (entropia sistemului). Într-adevăr, obținerea de informații despre un sistem este întotdeauna asociată cu o modificare a gradului de ignoranță a destinatarului cu privire la starea acestui sistem, i.e. cantitatea de informaţie este măsurată printr-o modificare (reducere) a incertitudinii stării sistemului.

Coeficientul (gradul) conținutului informațional(concizia) unui mesaj este determinată de raportul dintre cantitatea de informații și cantitatea de date, adică

Y= I / Vd, cu 0

Cu crestere Y cantitatea de muncă pentru transformarea informațiilor (datelor) din sistem este redusă. Prin urmare, se străduiesc să crească conținutul informațional, pentru care se dezvoltă metode speciale de codificare optimă a informațiilor.

Măsura semantică a informațiilor

Pentru a măsura conținutul semantic al informațiilor, i.e. cantitatea sa la nivel semantic, cea mai recunoscută este măsura tezaurului, care leagă proprietățile semantice ale informațiilor cu capacitatea utilizatorului de a accepta mesajul primit. În acest scop este folosit conceptul tezaurul utilizatorului.

Tezaur este o colecție de informații disponibile unui utilizator sau unui sistem.

În funcţie de relaţia dintre conţinutul semantic al informaţiei Sși tezaurul utilizatorului Sp cantitatea de informații semantice se modifică eu, perceput de utilizator și inclus ulterior de acesta în tezaurul său.

Natura acestei dependențe este prezentată în Fig. 1. Luați în considerare două cazuri limitative când cantitatea de informații semantice Iс este egal cu 0:

la Sp= 0 utilizatorul nu percepe sau înțelege informațiile primite;

La Sp utilizatorul știe totul și nu are nevoie de informațiile primite.

Nivelurile și structura informațiilor economice. Nivelurile sintactice, semantice și pragmatice ale informațiilor economice. Elemente structurale ale informațiilor economice - detalii, indicatori, unități constitutive de informații (CUI), documente, matrice și baze de date

Subiectul acestui curs este marketing informaţia ca parte integrantă a informaţiei economice.

Informații economice este un ansamblu de informații care caracterizează relațiile de producție în societate. Aceste informații pot fi înregistrate, stocate, transmise, prelucrate și utilizate în procesele de planificare, contabilitate, control și analiză a unui sistem sau proces economic.

Informațiile economice includ diverse informații despre compoziția și valorile forței de muncă, resurselor materiale și financiare și starea obiectului de management la un anumit moment în timp. Informațiile economice vă permit să obțineți informații despre activitățile întreprinderilor și organizațiilor prin diverși indicatori economici. Informațiile din orice domeniu au o serie de proprietăți caracteristice.

Nota caracteristicile informaţiei economice:

1. Multidimensionalitate – o cantitate mare și un volum mare de date, fără de care managementul de înaltă calitate a proceselor economice este imposibil.

2. Afișare numerică - informațiile economice, de regulă, reflectă activitățile de producție și economice folosind un sistem de indicatori naturali și de cost. Ele sunt exprimate folosind date numerice, astfel încât atunci când se lucrează cu informații economice, tipurile de date numerice și metodele de lucru cu aceste tipuri sunt foarte utilizate.

3. Periodicitatea - majoritatea proceselor de producție și economice se caracterizează prin repetabilitatea ciclică a etapelor lor constitutive (lună, trimestru, an) și, în consecință, este caracteristică repetabilitatea informațiilor care reflectă procesele din aceste etape.

4. Prezentarea grafică și tabelară a informațiilor economice. Documentele economice iau cel mai adesea forma de tabele și grafice, astfel încât procesoarele de foi de calcul sunt utilizate pe scară largă pentru procesarea informațiilor economice.

5. Diversitatea surselor și a consumatorilor.

Aceste caracteristici ale informației economice predetermina necesitatea științifică și tehnică și fezabilitatea economică a utilizării instrumentelor tehnologice a informației în colectarea, acumularea, transmiterea și prelucrarea acesteia, ceea ce necesită, la rândul său, specialiști să fie capabili să determine structura și volumele informațiilor prelucrate.

În procesul de utilizare în sistemele economice și de management, informația trece prin mai multe faze de existență:

Informația asimilată este reprezentarea mesajelor în mintea unei persoane, suprapuse sistemului conceptelor și evaluărilor sale;

Informații documentate - informații înregistrate sub formă simbolică pe orice suport fizic;

Informații transmise - informații luate în considerare la momentul transmiterii acesteia de la sursă la receptorul receptor. În timpul procesului de transmitere, informația trece printr-o serie de convertoare: dispozitive de codificare și decodare, calculatoare care procesează informații, sisteme de comunicații, rețele de calculatoare etc.

Informațiile sunt date care circulă între elementele structurale individuale ale unui sistem economic sau între sistemele în sine. Există diferite niveluri de considerare a informațiilor: sintactic, semantic și pragmatic.

Nivel sintactic studiază structura semnelor și relațiile dintre ele în mesajele de informare. La acest nivel se analizează structura simbolurilor și semnelor din documente, formatele detaliilor, structura matricelor de informații etc. La nivel sintactic se folosește termenul „date” iar volumul datelor este raportat la numărul de copiile documentelor, numărul de înregistrări din baza de date etc. Datele de intrare primite stau la baza procesării informațiilor, obținerea datelor de ieșire care servesc drept bază pentru luarea deciziilor.

Nivel semantic determină conţinutul semantic general al informaţiei şi face posibilă stabilirea de relaţii între elementele individuale ale informaţiei. Semantica studiază relațiile dintre semne și obiectele pe care le denotă, fără a ține seama de destinatarul semnelor. Ea studiază modelele generale de construcție a oricăror sisteme de semne luate în considerare în sintactică. Există semantică logică și structurală. Semantică logică consideră sistemele de semne ca mijloace de exprimare a sensului, stabilind o relație între structura combinațiilor de semne și capacitățile lor expresive. Semantică structurală- o secțiune de lingvistică structurală dedicată descrierii semnificației expresiilor lingvistice și operațiilor asupra acesteia. Analiza semantică- un set de operații care servesc la reprezentarea semnificației unui text în limbaj natural sub forma unei înregistrări într-un limbaj semantic (semantic) formalizat. Analiza semantică modelează procesul de înțelegere umană a textului. Cu cât starea sistemului devine mai precisă pentru destinatarul informației, cu atât conținutul informațional al mesajului este mai mare. La nivel semantic, conținutul informației se bazează pe tezaurul sistemului.

Tezaur(dicționar) include un set de concepte de bază, termeni, definiții, structuri de date consistente la nivel logic de prezentare în baze de date etc. În același timp, informativitatea mesajelor depinde în mare măsură de capacitatea destinatarului de a-și extinde tezaurul.

Nivel pragmatic determină valoarea informaţiei pentru luarea deciziilor de management, pentru sistemul de management în ansamblu. Pragmatică studiază percepția expresiilor semnificative ale unui sistem de semne în conformitate cu abilitățile de rezoluție ale perceptorului. Pragmatica teoretică are în vedere unele ipoteze despre proprietățile și structura inteligenței, care sunt formulate pe baza datelor din neurofiziologie, psihologie experimentală, bionică, teoria perceptronilor etc. Pragmatica aplicată include cercetările dedicate analizei empirice a înțelegerii de către oameni a diferitelor expresii lingvistice, studiul ritmului și versificației și dezvoltării sistemelor de regăsire a informațiilor.

Astfel, există trei niveluri de considerare a oricărui mesaj de informare, trei niveluri de abstractizare de la caracteristicile unor acte specifice de schimb de informații. Pe pragmatic nivel, pentru a identifica utilitatea informațiilor, sunt luate în considerare toate elementele schimbului de informații. Pe semantic nivel, făcând abstracție de la destinatarul informațiilor, scopul ultim al studiului este sensul semantic al mesajului, adecvarea acestuia la obiectele descrise. Cel mai îngust este sintactic nivel - nivelul studierii numai a semnelor în sine și a relațiilor dintre ele.

Sarcina informațiilor economice este de a oferi o descriere adecvată a unei stări a sistemului sau obiectului economic în cauză. Prin urmare, se impun o serie de cerințe privind informațiile economice.

Completitudinea informațiilor pentru luarea deciziilor și implementarea funcțiilor manageriale . Completitudinea este determinată în raport cu funcțiile de management. Informațiile pot fi incomplete în ceea ce privește volumul și compoziția informațiilor. Lipsa informației nu permite luarea deciziilor corecte de management. Completitudinea informațiilor înseamnă suficiența acesteia pentru înțelegerea și luarea deciziilor.

Acuratețea și fiabilitatea informațiilor. Aceste caracteristici determină gradul în care valoarea informației se apropie de valoarea adevărată. Fiabilitatea reflectă evaluarea probabilistică a informațiilor. Există anumite niveluri de acuratețe în utilizarea datelor obținute.

Valoare informațiile depind de ce probleme sunt rezolvate cu ajutorul ei.

Relevanță și eficiență. Relevanța arată gradul de corespondență dintre starea reală a unui obiect economic și starea sistemului informațional. Lipsa schimbărilor în timp util în informațiile reflectate în sistemul informațional duce la perturbarea proceselor de management. Eficiența determină viteza de introducere a modificărilor în sistemul informațional de informații despre starea domeniului subiectului. Este important să aveți informații actualizate atunci când lucrați în condiții în continuă schimbare.

Perceptibilitatea- informaţia devine clarŞi de înțeles dacă este exprimată într-un limbaj înțeles de obiectele cărora le este destinată.

Informații - ce este? Pe ce se bazează? Ce obiective urmărește și ce sarcini îndeplinește? Despre toate acestea vom vorbi în acest articol.

Informații generale

În ce cazuri se folosește metoda semantică de măsurare a informațiilor? Este folosită esența informațiilor, partea de conținut a mesajului primit este de interes - acestea sunt indicațiile pentru utilizarea acestuia. Dar mai întâi, să dăm o explicație despre ce este. Trebuie remarcat faptul că metoda semantică de măsurare a informațiilor este o abordare formalizată dificilă, care nu a fost încă pe deplin formată. Este folosit pentru a măsura cantitatea de semnificație a datelor care au fost primite. Cu alte cuvinte, cât de mult din informațiile primite sunt necesare în acest caz. Această abordare este utilizată pentru a determina conținutul informațiilor primite. Și dacă vorbim despre un mod semantic de măsurare a informațiilor, folosim conceptul de tezaur, care este indisolubil legat de subiectul luat în considerare. Ce reprezintă?

Tezaur

Aș dori să fac o scurtă introducere și să răspund la o întrebare despre metoda semantică de măsurare a informațiilor. Cine a prezentat-o? Fondatorul ciberneticii, Norbert Wiener, a propus utilizarea acestei metode, dar a primit o dezvoltare semnificativă sub influența compatriotului nostru A. Yu. Care este denumirea folosită pentru a desemna totalitatea informațiilor pe care le are destinatarul informațiilor. Dacă comparați tezaurul cu conținutul mesajului primit, puteți afla cât de mult a redus incertitudinea. Aș dori să corectez o greșeală care afectează adesea un număr mare de oameni. Astfel, ei cred că metoda semantică de măsurare a informațiilor a fost introdusă de Claude Shannon. Nu se știe exact cum a apărut această concepție greșită, dar această opinie este incorectă. Claude Shannon a introdus o metodă statistică de măsurare a informațiilor, al cărei „succesor” este metoda semantică.

Abordare grafică pentru determinarea cantității de informații semantice dintr-un mesaj primit

De ce trebuie să desenezi ceva? Măsurarea semantică folosește această capacitate de a comunica vizual utilitatea datelor în grafice ușor de înțeles. Ce înseamnă asta în practică? Pentru a explica starea de fapt, o relație este reprezentată sub forma unui grafic. Dacă utilizatorul nu are cunoștințe despre esența mesajului care a fost primit (egal cu zero), atunci cantitatea de informații semantice va fi egală cu aceeași valoare. Este posibil să găsim valoarea optimă? Da! Acesta este numele unui tezaur, unde volumul de informații semantice este maxim. Să ne uităm la un mic exemplu. Să presupunem că un utilizator primește un mesaj scris într-o limbă străină necunoscută sau o persoană poate citi ceea ce este scris acolo, dar aceasta nu mai este o știre pentru el, deoarece toate acestea sunt cunoscute. În astfel de cazuri, ei spun că mesajul conține zero informații semantice.

Dezvoltare istorică

Probabil că acest lucru ar fi trebuit să fie discutat puțin mai sus, dar nu este prea târziu pentru a ajunge din urmă. Metoda semantică de măsurare a informațiilor a fost introdusă inițial de Ralph Hartley în 1928. S-a menționat anterior că Claude Shannon este adesea citat drept fondator. De ce a existat o asemenea confuzie? Cert este că, deși metoda semantică de măsurare a informațiilor a fost introdusă de Ralph Hartley în 1928, Claude Shannon și Warren Weaver au fost cei care au generalizat-o în 1948. După aceasta, fondatorul ciberneticii, Norbert Wiener, și-a format ideea metodei tezaurului, care a primit cea mai mare recunoaștere sub forma unei măsuri dezvoltate de Yu I. Schneider. Trebuie menționat că pentru a înțelege acest lucru este necesar un nivel destul de ridicat de cunoștințe.

Eficienţă

Ce ne oferă în practică metoda tezaurului? Este o confirmare reală a tezei că informația are o asemenea proprietate precum relativitatea. De remarcat că are o valoare relativă (sau subiectivă). Pentru a putea evalua în mod obiectiv informațiile științifice, a fost introdus conceptul de tezaur universal. Gradul său de schimbare arată semnificația cunoștințelor pe care le primește umanitatea. În același timp, este imposibil de spus exact ce rezultat final (sau intermediar) se poate obține din informații. Să luăm computerele de exemplu. Tehnologia computerizată a fost creată pe baza tehnologiei lămpii și a stării de biți a fiecărui element structural și a fost utilizată inițial pentru a efectua calcule. Acum aproape fiecare persoană are ceva care funcționează pe baza acestei tehnologii: radio, telefon, computer, televizor, laptop. Chiar și frigiderele, aragazurile și lavoarele moderne conțin unele componente electronice, a căror bază este informații despre facilitarea utilizării acestor dispozitive de uz casnic.

Abordare științifică

Unde este studiată metoda semantică de măsurare a informațiilor? Informatica este stiinta care se ocupa de diverse aspecte ale acestei probleme. Care este particularitatea? Metoda se bazează pe utilizarea sistemului „adevărat/fals” sau a sistemului de biți „un/zero”. Când sosesc anumite informații, acestea sunt împărțite în blocuri separate, care sunt denumite ca unități de vorbire: cuvinte, silabe și altele asemenea. Fiecare bloc primește o anumită valoare. Să ne uităm la un mic exemplu. Doi prieteni stau în apropiere. Unul se întoarce la al doilea cu cuvintele: „Avem o zi liberă mâine”. Toată lumea știe când sunt zilele de odihnă. Prin urmare, valoarea acestei informații este zero. Dar dacă al doilea spune că lucrează mâine, atunci pentru primul va fi o surpriză. Într-adevăr, în acest caz, se poate dovedi că planurile pe care le-a făcut o persoană, de exemplu, să meargă la bowling sau să scormonească într-un atelier, vor fi perturbate. Fiecare parte a exemplului descris poate fi descrisă folosind unu și zerouri.

Operarea cu concepte

Dar ce se mai folosește în afară de tezaur? Ce altceva trebuie să știți pentru a înțelege modul semantic de măsurare a informațiilor? Conceptele de bază care pot fi studiate în continuare sunt sistemele de semne. Ele sunt înțelese ca mijloace de exprimare a sensului, cum ar fi regulile de interpretare a semnelor sau a combinațiilor lor. Să ne uităm la un alt exemplu din informatică. Calculatoarele funcționează cu zerouri și unuri convenționale. În esență, aceasta este tensiune joasă și înaltă care este furnizată componentelor echipamentului. Mai mult, ei transmit acestea și zerourile la nesfârșit. Cum poate tehnologia să facă diferența între ele? S-a găsit răspunsul la aceasta - întreruperi. Când se transmit aceleași informații, se obțin diverse blocuri precum cuvinte, fraze și semnificații individuale. În vorbirea umană vorbită, pauzele sunt, de asemenea, folosite pentru a împărți datele în blocuri separate. Sunt atât de invizibile încât majoritatea le observăm automat. În scris, punctele și virgulele sunt folosite în acest scop.

Particularități

Să atingem și tema proprietăților pe care le are metoda semantică de măsurare a informațiilor. Știm deja că acesta este numele unei abordări speciale care evaluează importanța informațiilor. Putem spune că datele care vor fi evaluate în acest fel vor fi obiective? Nu, nu este adevărat. Informația este subiectivă. Să ne uităm la asta folosind o școală ca exemplu. Există un student excelent care este înaintea programului aprobat și un student mediu care studiază ceea ce este predat la clasă. Pentru prima, majoritatea informațiilor pe care le va primi la școală vor fi destul de puțin interesate, deoarece le știe deja și nu le aude/citește pentru prima dată. Prin urmare, la nivel subiectiv, nu va fi foarte valoros pentru el (poate datorită unor comentarii ale profesorului pe care le-a observat în timpul prezentării materiei sale). În timp ce omul obișnuit a auzit despre informații noi doar într-un mod îndepărtat, pentru el, valoarea datelor care vor fi prezentate în lecții este cu un ordin de mărime mai mare.

Concluzie

De remarcat că în informatică, metoda semantică de măsurare a informației nu este singura opțiune în cadrul căreia pot fi rezolvate problemele existente. Alegerea ar trebui să depindă de obiectivele stabilite și de oportunitățile prezente. Prin urmare, dacă te interesează subiectul sau este nevoie de ea, atunci nu putem decât să recomandăm insistent să o studiezi mai detaliat și să aflăm ce alte metode de măsurare a informațiilor există, în afară de semantică.

În baza de date, informațiile sunt înregistrate și reproduse folosind mijloace lexicale special create și pe baza regulilor și restricțiilor sintactice acceptate.

Analiza sintactică stabilește cei mai importanți parametri ai fluxurilor de informații, inclusiv caracteristicile cantitative necesare, pentru selectarea unui set de mijloace tehnice de colectare, înregistrare, transmitere, prelucrare, acumulare, stocare și protejare a informațiilor.

Analiza sintactică a fluxurilor de informații deservite precede în mod necesar toate etapele de proiectare a sistemelor informaționale.

Analiza semantică vă permite să studiați informații din punctul de vedere al conținutului semantic al elementelor individuale, să găsiți modalități de corespondență lingvistică (limbaj uman, limbaj informatic) cu recunoașterea fără ambiguitate a mesajelor introduse în sistem.

Analiza pragmatică se realizează cu scopul de a determina utilitatea informațiilor utilizate pentru management, identificând semnificația practică a mesajelor utilizate pentru dezvoltarea acțiunilor de control.

Informațiile permanente rămân neschimbate sau suferă ajustări minore pe o perioadă mai mult sau mai puțin lungă de timp. Acestea sunt diverse informații de referință, standarde, prețuri etc.

Informațiile variabile reflectă rezultatele operațiunilor de producție și economice, corespund dinamismului acestora și, de regulă, participă la un ciclu tehnologic de prelucrare a mașinilor.

La introducerea și procesarea informațiilor, se utilizează modurile lot și interactive.

Modul batch a fost cel mai des întâlnit în practica soluționării centralizate a problemelor economice, când o mare pondere era ocupată de sarcinile de raportare asupra producției și activităților economice ale entităților economice la diferite niveluri de conducere. Organizarea procesului de calcul în modul batch a fost realizată fără accesul utilizatorului la computer.

Funcțiile sale s-au limitat la pregătirea datelor sursă pentru un set de sarcini interdependente de informații și transferul lor către centrul de procesare, unde a fost format un pachet, inclusiv o sarcină computerizată pentru procesare, programe, sursă, prețuri standard și date de referință. Pachetul a fost introdus în computer și implementat automat fără participarea utilizatorului sau a operatorului, ceea ce a făcut posibilă reducerea la minimum a timpului necesar pentru a finaliza un anumit set de sarcini. În prezent, modul lot este implementat în e-mail sau actualizări masive de baze de date.

Modul interactiv asigură interacțiunea directă a utilizatorului cu sistemul informatic și de calcul poate fi de natura unei cereri sau a unui dialog cu sistemul.

Modul de solicitare este necesar pentru ca utilizatorii să interacționeze cu sistemul printr-un număr semnificativ de dispozitive terminale de abonat, inclusiv cele situate la o distanță considerabilă de centrul de procesare.

Exemplu: Sarcina de a rezerva bilete pentru transport.

Sistemul informatic implementează service în masă și funcționează într-un mod de partajare a timpului, în care mai mulți utilizatori independenți care utilizează terminale au direct și practic

acces simultan la sistemul informatic. Acest mod vă permite să oferiți diferențiat, într-o ordine strict stabilită, fiecărui utilizator timp pentru a comunica cu sistemul și să părăsiți acesta după sfârșitul sesiunii.

Modul de dialog permite utilizatorului să interacționeze direct cu sistemul informatic și de calcul în ritmul de lucru acceptabil pentru el, implementând un ciclu repetat de emitere a unei sarcini, primire și analiză a unui răspuns.

Mai multe despre subiect: Aspecte sintactice, semantice, pragmatice ale procesului informațional:

1. Structura activităților de informare în masă: colectarea, prelucrarea, aranjarea, transmiterea, percepția, transformarea, stocarea și utilizarea informației în masă. Informații potențiale, acceptate și reale. Aspecte semantice, sintactice și pragmatice ale textelor informaționale de masă.
2. Unități și metode de conceptualizare în aspecte semantice, sintactice și pragmatice
3. 7. CRITERII DE ADECVARE A TEXTULUI Jurnalistic ASPECTE SEMANTICE, SINTAXICE, PRAGMATICE ALE UNUI TEXT Jurnalistic SPECIFICAREA EFICACITATII UNUI TEXT Jurnalistic

Tema 2. Bazele reprezentării și procesării informațiilor într-un computer

Literatură

1. Informatica in economie: Manual/Ed. FI. Odintsova, A.N. Romanova. – M.: Manual universitar, 2008.

2. Informatică: Curs de bază: Manual/Ed. S.V. Simonovici. – Sankt Petersburg: Peter, 2009.

3. Informatica. Curs general: Manual/Coautor: A.N. Guda, M.A. Butakova, N.M. Nechitailo, A.V. Cernov; Sub general ed. V.I. Kolesnikova. – M.: Dashkov și K, 2009.

4. Informatică pentru economiști: Manual/Ed. Matyushka V.M. - M.: Infra-M, 2006.

5. Informatica economica: Introducere in analiza economica a sistemelor informatice - M.: INFRA-M, 2005.

Măsuri ale informațiilor (sintactice, semantice, pragmatice)

Pentru măsurarea informațiilor pot fi utilizate diverse abordări, dar cele mai utilizate sunt statistic(probabilistic), semanticși p pragmatic metode.

Statistic Metoda (probabilistă) de măsurare a informațiilor a fost dezvoltată de K. Shannon în 1948, care a propus să se considere cantitatea de informații ca o măsură a incertitudinii stării sistemului, eliminată ca urmare a primirii informațiilor. Expresia cantitativă a incertitudinii se numește entropie. Dacă, după primirea unui anumit mesaj, observatorul a dobândit informații suplimentare despre sistem X, atunci incertitudinea a scăzut. Cantitatea suplimentară de informații primite este definită ca:

unde este cantitatea suplimentară de informații despre sistem X, primit sub forma unui mesaj;

Incertitudinea inițială (entropia) a sistemului X;

Incertitudine finită (entropie) a sistemului X, care apar după primirea mesajului.

Dacă sistemul X poate fi într-una dintre stările discrete, al căror număr n, iar probabilitatea de a găsi sistemul în fiecare dintre ele este egală și suma probabilităților tuturor stărilor este egală cu unu, apoi entropia este calculată folosind formula lui Shannon:

unde este entropia sistemului X;

O- baza logaritmului, care determină unitatea de măsură a informaţiei;

n– numărul de stări (valori) în care se poate afla sistemul.

Entropia este o mărime pozitivă și, deoarece probabilitățile sunt întotdeauna mai mici decât unu, iar logaritmul lor este negativ, prin urmare semnul minus din formula lui K. Shannon face ca entropia să fie pozitivă. Astfel, aceeași entropie, dar cu semnul opus, este luată ca măsură a cantității de informații.

Relația dintre informație și entropie poate fi înțeleasă astfel: obținerea de informații (creșterea acesteia) simultan înseamnă reducerea ignoranței sau a incertitudinii informaționale (entropie)

Astfel, abordarea statistică ține cont de probabilitatea apariției mesajelor: mesajul care este mai puțin probabil este considerat mai informativ, i.e. cel mai putin asteptat. Cantitatea de informații atinge valoarea maximă dacă evenimentele sunt la fel de probabile.

R. Hartley a propus următoarea formulă pentru măsurarea informațiilor:

I=log2n ,

Unde n- numărul de evenimente la fel de probabile;

eu– o măsură a informațiilor dintr-un mesaj despre apariția unuia dintre n evenimente

Măsurarea informației este exprimată în volumul acesteia. Cel mai adesea, aceasta se referă la cantitatea de memorie a computerului și cantitatea de date transmise prin canalele de comunicare. O unitate este considerată cantitatea de informație la care incertitudinea este redusă la jumătate; pic .

Dacă logaritmul natural () este utilizat ca bază a logaritmului în formula lui Hartley, atunci unitatea de măsură a informației este nat ( 1 bit = ln2 ≈ 0,693 nat). Dacă numărul 3 este folosit ca bază a logaritmului, atunci - trata, dacă 10, atunci - dit (Hartley).

În practică, o unitate mai mare este folosită mai des - octet(octet) egal cu opt biți. Această unitate a fost aleasă deoarece poate fi folosită pentru a codifica oricare dintre cele 256 de caractere ale alfabetului tastaturii computerului (256=28).

Pe lângă octeți, informațiile sunt măsurate în jumătate de cuvinte (2 octeți), cuvinte (4 octeți) și cuvinte duble (8 octeți). Unități de măsură și mai mari de informații sunt, de asemenea, utilizate pe scară largă:

1 kilooctet (KB - kilobyte) = 1024 octeți = 210 octeți,

1 Megaoctet (MB - megaoctet) = 1024 KB = 220 de octeți,

1 gigaoctet (GB - gigabyte) = 1024 MB = 230 de octeți.

1 Teraoctet (TB - terabyte) = 1024 GB = 240 octeți,

1 petaoctet (PByte - petabyte) = 1024 TB = 250 de octeți.

În 1980, matematicianul rus Yu Manin a propus ideea de a construi un computer cuantic, în legătură cu care a apărut o astfel de unitate de informație. qubit ( bit cuantic, qubit ) – „bit cuantic” este o măsură de măsurare a cantității de memorie într-o formă posibilă teoretic de computer care utilizează medii cuantice, de exemplu, spinurile electronilor. Un qubit poate lua nu două valori diferite („0” și „1”), ci mai multe, corespunzătoare combinațiilor normalizate a două stări de rotație la sol, ceea ce oferă un număr mai mare de combinații posibile. Astfel, 32 de qubiți pot codifica aproximativ 4 miliarde de stări.

Abordare semantică. O măsură sintactică nu este suficientă dacă trebuie să determinați nu volumul de date, ci cantitatea de informații necesare în mesaj. În acest caz, se ia în considerare aspectul semantic, care ne permite să determinăm conținutul informației.

Pentru a măsura conținutul semantic al informațiilor, puteți folosi tezaurul destinatarului acesteia (consumator). Ideea metodei tezaurului a fost propusă de N. Wiener și dezvoltată de omul nostru de știință A.Yu. Schrader.

Tezaur numit corpul de informații pe care le are destinatarul informaţiei. Corelarea tezaurului cu conținutul mesajului primit vă permite să aflați cât de mult reduce incertitudinea.

Dependența volumului de informații semantice a unui mesaj de tezaurul destinatarului

În funcție de dependența prezentată de grafic, dacă utilizatorul nu deține niciun tezaur (cunoștințe despre esența mesajului primit, adică =0), sau prezența unui astfel de tezaur care nu s-a schimbat ca urmare a sosirii a mesajului (), atunci cantitatea de informații semantice din acesta este egală cu zero. Tezaurul optim () va fi unul în care volumul de informații semantice va fi maxim (). De exemplu, informații semantice dintr-un mesaj primit într-o limbă străină necunoscută va fi zero, dar aceeași situație va fi și în cazul respectiv dacă mesajul nu mai este o știre, deoarece utilizatorul știe deja totul.

Măsură pragmatică informaţii determină utilitatea acestuiaîn atingerea obiectivelor consumatorului. Pentru a face acest lucru, este suficient să determinați probabilitatea de a atinge obiectivul înainte și după primirea mesajului și să le comparați. Valoarea informațiilor (conform A.A. Kharkevich) se calculează folosind formula:

unde este probabilitatea de a atinge scopul înainte de a primi mesajul;

Probabilitatea atingerii scopului este domeniul de receptare a mesajului;