Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
 
NATIONAL RADIO 
ARCHIVE FEASIBILITY & 
COST ANALYSIS 
 
 
 
 
Lawrie Hallett 
 
UK Radio Archives Advisory Committee 
 
...
1. EXECUTIVE SUMMARY 
 
The British Library asked the project team to examine the feasibility of creating a comprehensive,...
2. BRITISH LIBRARY TERMS OF REFERENCE 
 
On 14 January 2014, our project team met British Library staff members Luke McKer...
3.  UK RADIO BROADCASTING SECTOR OVERVIEW 
 
Radio broadcasting is a significant medium and important creative industry in...
Figure 3: Number of UK analogue commercial & community broadcast radio stations on‐air by year7
 
0
50
100
150
200
250
300...
 
Figure 4: BBC Network Radio output by genre (% of total hours in 2012/13)8
 
music & arts
51%
news & weather
14%
enterta...
page 7 of 25 
Not all the output of these 700 radio stations is unique. There was a time when every BBC and commercial rad...
4. UK RADIO BROADCASTING ARCHIVES 
 
Radio broadcasting's strengths have always been its immediacy, its 'live' quality and...
page 9 of 25 
 Off‐Air Back‐Up Recording Service & TRILT (Television & Radio Index for Learning & Teaching) offers users ...
5. INTERNATIONAL RADIO ARCHIVES 
 
Case studies 
Internationally, a variety of approaches have been taken towards the arch...
page 11 of 25 
accurate access to programme materials by interested parties and to raise public awareness in the preservat...
6. STAKEHOLDERS 
 
As part of its proposals for a national radio broadcast archive, the British Library suggested a range ...
"Whilst the BBC's own radio output is already professionally archived, this plan seeks to establish a systematic 
approach...
RadioMonitor 
Philip von Oppen, Co‐founder, responded that he supported the British Library proposal.47
 
 
United Kingdom...
almost no use of archive materials. BBC radio programmes appear to hold greater intrinsic value to the BBC than 
commercia...
page 16 of 25 
 The sharing of programmes between community radio stations is a potential activity in which the Community...
7. BUSINESS CONTEXT 
 
As part of its written proposal to create a national radio archive, The British Library noted that ...
8. TECHNICAL SOLUTIONS 
 
In its proposals, the British Library suggested a number of possible technical approaches to the...
 
Although UK Radioplayer's lack of an ingest system preclude it archiving live radio content, its automatically updated 
...
“Typical breakfast shows from the commercial sector are a great – and often overlooked – way of summing 
up a time and pla...
 
2. STORAGE 
The British Library proposal estimated that 200TB per annum of storage would be required to record the outpu...
page 22 of 25 
Nuance Communications amongst others. The 'commoditisation' of these services would enable them to be deplo...
65
 Paul Wilson, Radio Broadcast Archiving & The Role Of The British Library, 21 November 2012, para12.2, p.16 
66
 Paul W...
page 24 of 25 
9. COSTS 
 
The costs involved in creating a radio archive have proven impossible to determine within the s...
10. RECOMMENDATIONS 
 
In its 2012 paper, the British Library made four key recommendations: 
 
 It should lead a nationa...
Upcoming SlideShare
Loading in …5
×

'National Radio Archive Feasibility & Cost Analysis' by Lawrie Hallett, Grant Goddard & Daniel Nathan

431 views

Published on

Report examining the feasibility of a national archive of the entire outputs of all licensed UK broadcast radio stations, written by Lawrie Hallett, Grant Goddard & Daniel Nathan in May 2014 for The British Library.

Published in: Business
  • Be the first to comment

  • Be the first to like this

'National Radio Archive Feasibility & Cost Analysis' by Lawrie Hallett, Grant Goddard & Daniel Nathan

  1. 1.   NATIONAL RADIO  ARCHIVE FEASIBILITY &  COST ANALYSIS          Lawrie Hallett    UK Radio Archives Advisory Committee          2 May 2014 
  2. 2. 1. EXECUTIVE SUMMARY    The British Library asked the project team to examine the feasibility of creating a comprehensive, permanent archive  of, going forward, the entire output of licensed UK broadcast radio stations.    Approximately 700 broadcast radio stations exist in the UK, spanning the BBC, commercial and community sectors,  and collectively producing more than six million hours per annum of output. This number of stations is not expected  to change significantly in the foreseeable future.    Although the volume of output required to archive appears enormous, the various 'experts' we consulted were  unanimously of the opinion that there was no technological challenge in digitally storing this amount of audio  material. Systems built for television already handle far more data. A 'modular' system that uses the best available  technology for each of the required tasks has advantages, particularly as we have not identified an entirely suitable  existing, integrated end‐to‐end solution.    Continuously archiving the internet streams of broadcast radio stations ('simulcasts') would permit a cheaper, more  efficient, centralised system to be used, compared to recording over‐the‐air transmissions. Our interpretation of  existing legislation is that the British Library already has the right to archive internet 'simulcasts' without requiring  permissions of individual broadcasters.    We identified a commercial 'ingest' software solution that is already used to simultaneously archive hundreds of  television and radio channels for compliance or regulatory purposes in the UK and overseas. Alternatively, a custom  programme could be commissioned from programme developers and, we believe, this might be a cost‐effective  option and one which might also reduce dependencies on commercial third parties.    The British Library could quite quickly launch a pilot programme that would ingest broadcasts of a representative sub‐ set of the total 700 stations, and could then be used to evaluate the robustness of the system. In this way, the building  of the UK radio archive could start without delay.    However, a radio archive will only be of value to British Library users if they can search and locate and retrieve the  required source materials. This process can be aided by linking each audio programme to three distinct sets of  metadata: descriptive data embedded by the broadcaster within the internet stream; metadata suggested by users  whilst listening to the audio ('crowdsourcing'); and metadata generated by automated systems that 'listen' to each  programme, extracting keywords from speech and identifying music.    A substantial number of community and student radio broadcasts presently have little or no metadata embedded in  their internet streams, making automated analysis a necessity rather than an enhancement in order for the archive's  value for users to be unlocked. The marketplace for automated speech‐to‐text and music identification software  offers many current solutions which are becoming increasingly capable as the technologies behind them evolve.    Within a pilot programme, the British Library could compare and evaluate the efficiency of competing systems applied  to different types of audio programmes, in order to provide archive users with the best available search capabilities  from currently available technologies. Speech‐to‐text applications are improving markedly and Moore's Law suggests  that, even within a few years, exponential gains will be made in producing more robust results. As a result, radio  content archived in 2014 can be re‐analysed in future years to provide more accurate metadata, more quickly and  more cheaply.    Finally, the interface for users to access the archive evidently should offer all of the search, bookmarking and 'clip'  capabilities that academic users have come to expect when using other media applications. We were particularly  impressed by the work achieved within the BBC R&D team for the 'Snippets' interface, which offers an intuitive  experience to BBC staff to search a complete archive of television and radio output. A similar interface for British  Library users would make the radio archive very easy to search, and to locate and listen to the required content.    We conclude that, in light of the above, should the British Library decide to proceed with the creation of a broadcast  radio archive, the key first step would be to develop and implement the capture and storage capabilities needed to  achieve this end. Metadata application and search techniques are improving month‐by‐month, but they obviously  require access to the original captured audio to be of any benefit to researchers in the future.    page 2 of 25 
  3. 3. 2. BRITISH LIBRARY TERMS OF REFERENCE    On 14 January 2014, our project team met British Library staff members Luke McKernan and Paul Wilson to discuss  the work to be undertaken. The Terms of Reference for this project were agreed to be:1     "A feasibility study is required which will analyse the background, stakeholders, operational requirements, costs and  user needs, with an options appraisal and recommendations.     Objective   To advise the British Library on the options for developing a national radio archive, with potential costs.    Scope   An assessment of the British Library’s proposal to archive the entirety of British radio output: costs, technical  solutions, stakeholder requirements, legal and regulatory framework, practicality and timescales    Out of scope:   Cost/benefit analysis   Historical radio broadcasts   Radio broadcasts outside the UK   Unlicensed radio in the UK    Activities    Through a mixture of desk research and stakeholder interviews:     assess and summarise radio broadcasting in UK, covering the number of stations, extent and types of broadcasts,  existing archives, current archiving procedures and user access (industry and non‐industry users)    assess and summarise the technical options for establishing and maintaining a national radio archive, with  particular reference to existing and emerging solutions (e.g. Radio Monitor, JISC Research Education Space) and  the British Library's digital preservation and access infrastructure   assess the extent of radio industry support and that of key stakeholders for the proposal, including the British  Library, BBC, Radio Centre, Community Media Association and Ofcom, BUFVC, JISC   assess and summarise the cost options for establishing and maintaining a national radio archive, including capital  investment and operating costs   assess and summarise selected international radio archiving solutions, taking into account both legal and technical  aspects   assess and summarise the risks, dependencies, constraints and critical success factors in setting up a national radio  archive, and based on these draw up options and present a recommended approach   advise on the potential drafting of an Outline Business Case to go to the DCMS."    The project started immediately. An interim report was presented to the British Library on 27 March and 1 April 2014.  This document is the final report.    It had been agreed between the British Library and the project team that arguments to support the creation of a radio  archive were beyond the scope of this project. Indeed, Professor Sean Street argued in 2008 that:    "… we are coming to a point where the purpose of radio archives needs no explanation or justification; it is  'case proven'".2     The project team for this report comprised: Lawrie Hallett, Daniel Nathan, Grant Goddard and Paul Dwyer.    1  British Library, National Radio Archive Feasibility Study & Cost Analysis, January 2014, pp.1 & 2  2  Professor Sean Street, A Word In Your Ear: Radio Archives And Education, British Film & Video Council Handbook, 2008, p.2  page 3 of 25 
  4. 4. 3.  UK RADIO BROADCASTING SECTOR OVERVIEW    Radio broadcasting is a significant medium and important creative industry in the UK, almost a centenary after its  launch and despite competition from newer technologies.    Figure 1: UK Broadcast Radio Industry Revenue & Expenditure (£m per annum)3   1,128 1,158 1,156 1,126 1,175 1,147 1,098 1,135 1,161 1,193 585 607 626 614 652 649 660 685 706 721 543 551 530 512 523 498 438 450 455 472 0 250 500 750 1,000 1,250 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 TOTAL BBC Radio expenditure Commercial Radio revenues     The aggregate expenditure of the radio sector contributes more than £1bn per annum to the UK economy.4  Although  the commercial radio sector's revenues have declined during the last decade, the BBC has maintained its expenditure  on radio services.    Figure 2: Number of UK analogue broadcast radio stations (2013)5   radio station type licensor national nations local TOTAL BBC DCMS 5 6 40 5 Commercial: FM/AM platforms Ofcom 3 292 295 Commercial: satellite/cable platforms Ofcom 79 79 Community Ofcom 207 207 Long-term Restricted Service Licences Ofcom 78 78 Short-term Restricted Service Licences Ofcom 41 41 TOTAL 87 6 326 751 1     The number of UK broadcast radio stations has multiplied significantly during the last two decades as a result of:   The licensing by the UK media regulator of new types of radio station    The development of new distribution platforms for radio stations that extend radio's reach beyond localised  service areas   The development of new electronic consumer devices that extend radio's reach beyond traditional radio receivers   Lower capital costs to build a radio station due to software solutions having replaced expensive, professional  studio hardware.    In 1972, the average consumer made their listening choice from four or five UK‐based radio stations (four national  BBC channels plus a local BBC radio station in some areas). By 2005, the average consumer had a choice from sixteen  broadcast radio stations.6                     page 4 of 25 
  5. 5. Figure 3: Number of UK analogue commercial & community broadcast radio stations on‐air by year7   0 50 100 150 200 250 300 350 400 450 500 550 1974 1975 1976 1977 1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 commercial radio stations community radio stations     The consumer receives broadcasts from these station types:   BBC Radio  o National radio networks  o Local radio stations  o Nations radio stations (serving Scotland, Wales, Northern Ireland)   Commercial Radio  o National radio stations  o Local radio stations   Community Radio  o Geographical communities  o Communities of interest   Restricted Service Licences  o Long‐term, low‐power radio stations  o Temporary, low‐power radio stations   Student Radio (higher & further education)   Hospital Radio   Schools Radio   UK re‐broadcasts of overseas radio stations/programmes   Unlicensed Radio ('pirate radio').    These station types are distributed to consumers via numerous distribution platforms, with many stations using  multiple platforms simultaneously:   Broadcast radio  o Analogue terrestrial platform   FM / VHF   AM / Medium Wave   Long Wave & Short Wave  o DAB digital terrestrial radio platform   National coverage   Local coverage  o Satellite TV platform   Sky (national)   Freesat (national)  o Digital terrestrial TV platform   Freeview (national)  o Cable platform   Virgin Media   Online/internet radio.  page 5 of 25 
  6. 6.   Figure 4: BBC Network Radio output by genre (% of total hours in 2012/13)8   music & arts 51% news & weather 14% entertainment 10% sport 7% formal education 0% religion 1% factual 3% current affairs 2% children 6% drama 6%   Many radio broadcasts comprise music and entertainment, often mixed together within individual programmes. The  majority of radio broadcasts are produced 'live', rather than 'pre‐recorded' as is the case in television, and incorporate  a mix of content, making it difficult to categorise outputs by genre. The BBC reported that 51% of the output of its  Network Radio stations (national analogue and digital) in 2012/13 comprised 'music and arts' content.9     Figure 5: UK commercial radio station formats (% of stations in 2006)10   full service, 8% contemporary hit music, 20% adult contemporary music, 4% oldies music, 53% jazz/soul music, 1% ethnic, 5% dance music, 2% news/talk, 1% rock music, 2% easy listening music, 1% classical music, 0% adult orientated rock music, 1%   Commercial radio's outputs comprise an even greater proportion of music. Analysis of all commercial radio stations'  Ofcom‐prescribed 'Formats' in 2006 found that only 1% of stations were licensed to be news or talk services.11  Since  then, Ofcom has simplified station 'Formats' to make them less prescriptive.    The total of 751 radio stations in Figure 2 included a number of Ofcom‐licensed 'Restricted Service Licences' that are  only on‐air for very short periods of time. If this total station number is rounded down to 700, and it is assumed that  all stations broadcast 24 hours per day, a total of 6,132,000 hours of output is produced per annum by UK radio  stations.    The number of licensed broadcast radio stations is not anticipated to grow significantly beyond this number because:   Ofcom is no longer licensing new analogue commercial radio stations   Ofcom licensing of new community radio stations has slowed considerably since 2011   The DAB digital radio platform has not proven to be an economically successful platform for new standalone radio  stations.    page 6 of 25 
  7. 7. page 7 of 25  Not all the output of these 700 radio stations is unique. There was a time when every BBC and commercial radio  station produced entirely discreet output. This is no longer the case. The majority of stations now either share some  programmes or relay programmes produced by a co‐owned station.    The Ofcom definition of a commercial radio 'service' requires it to produce as little as four hours per day of original  programmes:    "We have taken the view that a service providing at least four hours a day of separate programming (even if  the same brand has other services) equals one service."12     Neither is there a regulation requiring radio stations to declare how many hours per day, or which specific broadcast  hours, comprise original programmes. Commercial radio licences only stipulate a minimum number of hours of  original programmes to be broadcast, leaving the precise fulfilment to the discretion of the licensee.    As a result, it is impossible to determine how many hours of unique programmes are broadcast by UK radio stations.  Attempts to analyse the situation from observational data (listening to output) are likely to be frustrated by station  owners' prerogative to amend their execution strategies at will.    Additionally, the largest commercial radio owners have consolidated their local stations into 'national' brands that  broadcast identical programme elements simultaneously. However, these elements are supplemented by individually  localised news, weather and travel reports, and sometimes linked together by a localised presenter. The outcome is a  'unique' service, within which the majority of content is identical to co‐owned local stations in other markets.    Our recommendation is that it will prove necessary to archive the entire output of each radio station, even though it  is recognised that this will produce considerable duplication. The identification of duplicated output would be likely to  require considerable human resources and might not necessarily result in worthwhile savings in archive space.    The British Library had also suggested that the necessary archive space might be reduced by deleting commercial  music recordings from the archived recordings, leaving only the editorial content produced by radio stations.13   However, the production systems for radio broadcasting do not leave music content isolated within programmes.  Music is commonly used as a background over which news, information and commentary is imparted. As a result,  attempts to identify and remove music are likely also to remove considerable editorial content.    Again, our recommendation is that it will prove necessary to archive the entire output of each radio station, even  though it is recognised that this will archive considerable volumes of commercial music recordings.    3  Ofcom, Communications Market Report 2013, 1 August 2013, p.214, para. 3.1.2, Figure 3.2  4  Ibid.  5  Ofcom, multiple reports and datasets [stations broadcasting solely on the DAB platform are not included because data are not available from  Ofcom]  6  Ofcom, The Communications Market, January 2005 Quarterly Update, p.25, para 7.1, Figure 17  7  Grant Goddard from multiple reports by Ofcom, Radio Authority, Independent Broadcasting Authority, Competition Commission and Mergers &  Monopolies Commission  8  BBC, Annual Report & Accounts 2012/13, p.71  9  BBC, Annual Report & Accounts 2012/13, p.71  10  Grant Goddard, analysis of 287 Ofcom licensed commercial radio station 'formats', June 2006  11  Grant Goddard, analysis of 287 Ofcom licensed commercial radio station 'formats', June 2006  12  Ofcom, Communications Market Report 2013, 1 August 2013,  p.235, para 3.2.5, Figure 3.29  13  Paul Wilson, British Library Proposal For A National Radio Archive, 27 February 2013, para.4, p.3 
  8. 8. 4. UK RADIO BROADCASTING ARCHIVES    Radio broadcasting's strengths have always been its immediacy, its 'live' quality and its ability to offer up‐to‐the‐ minute news and commentary. However, these positive qualities have also resulted in radio's outputs being viewed as  ephemeral, even within broadcast organisations. The outcome is that the vast majority of radio broadcasts made  during the last century have been 'lost' in the ether as soon as they were transmitted.    Until comparatively recently, the BBC had no systematic strategy for archiving its radio output. Its entertainment  programmes fared particularly badly. For example, the very popular weekday serial 'Mrs Dale's Diary' was broadcast  from 1948 to 1969 on the Light Programme (renamed 'Radio 2' from 1967), but only 12 of its 5,431 episodes survive in  the BBC archive.14     The commercial radio sector's forty‐year history has spawned no centralised archive of its broadcasts. Neither the  sector's regulator, Ofcom, nor its trade body, RadioCentre, has a policy on archiving. Individual stations have always  been left to their own devices, while ongoing deregulation is relieving licensees of many former public responsibilities.    Similarly, the relatively new community radio sector has no centralised archive of outputs. The sector's reliance upon  volunteer staff and public funds, combined with regulations that restrict each station's broadcast service area to a  5km radius, militate against sufficient scale likely to create such systems.    In December 2011, the UK Radio Archives Advisory Committee was established as a result of its members' belief that  "the United Kingdom needs a more effective radio archive policy".15  It commissioned an academic report which  concluded that:    "… the rapid growth of the UK's radio industry has not been matched by an increased archival resource"    and that:    "the bulk of the UK's regional, local, commercial and community radio output is today being lost to future  generations". 16     Existing projects to archive live radio broadcasts have resulted from individual initiatives, rather than from an  overarching strategy for the entire radio sector. Most of this archive material is not available to the general public, and  some is not available to academics or education institutions.    The British Library radio collection comprises nearly 200,000 hours of recordings. Between 1962 and 1999, it had  recorded selected programmes broadcast by BBC network radio. Since 2010, it has recorded key news broadcasts by  BBC Radio 4 and the BBC World Service. Its collections are unique in being available to the public.17     The BBC does not operate a single unified system for archiving its radio broadcasts, but rather a number of systems  that have developed within various divisions. Current BBC policy is to maintain recordings for at least five years after  transmission:18    Redux has automatically recorded and archived the entire output of BBC national radio (and television) stations,  analogue and digital, since mid‐2007 from off‐air Freeview and Freesat transmissions.19    Local and nation radio stations (in Scotland, Wales and Northern Ireland) make individual arrangements for  archiving their output, using different standards and criteria.20    BBC World Service had used an independent system for archiving its output, but its recent integration into the  BBC is likely to result in it using Redux.21   These archives are available only to BBC staff.    The British Universities Film & Video Council (BUFVC) provides television and radio programmes to staff and students  at higher and further education institutions through:   BoB National ('Box of Broadcasts') users can view, record, create clips and share broadcast programmes from 60  television and radio channels by:  o recording a specific programme from the last 30 days or in advance that can be played indefinitely  o accessing more than 1 million programmes archived by others  o accessing all 800,000 programmes broadcast by the BBC since 2007 (via a link to Redux)  o searching programme transcripts22   page 8 of 25 
  9. 9. page 9 of 25   Off‐Air Back‐Up Recording Service & TRILT (Television & Radio Index for Learning & Teaching) offers users access  to the online index of television and radio programme content and to request a programme in physical format.  Programmes broadcast before 2008 can take up to five weeks to be delivered.    These appear to be the only initiatives that are archiving live radio broadcasts in the UK.    Additionally, there are a number of projects that have archived historical collections of UK radio broadcasts:    The British Library includes a number of specific radio archive collections within its huge holdings that are available to  registered users and academics. Off‐air radio recordings had been made between 1963 and 2000.23     The BBC Archive offers curated selections of programmes free to the public (UK only). These are selected from an  alphabetical list of programme names (TV and radio mixed together) or from a list of subjects or by 'collection' name.  There is no search facility.24     BBC radio stations individually offer archive programmes via their own web sites and these are not integrated into the  BBC Archive offerings. For example, 900 episodes of the 'Letter From America' programme were made available from  the Radio 4 web site in 2012.25     BBC World Service Radio Archive is a prototype project, funded by the Technology Strategy Board in 2012, which  offers the public 50,000 programmes from the past 45 years via a dedicated BBC web site that requires registration.  Descriptive programme tags are being improved by asking listeners to contribute.26      LBC/IRN Audio Archive comprises 3,000 hours of commercial radio news and current affairs recordings between 1973  and the mid‐1990s. A JISC award of £759,405 in 2007 enabled these analogue recordings to be digitised. Access is  limited to UK higher and further education institutions.27     ILR Programme Sharing Scheme comprises 1,150 programmes shared between local commercial radio stations  between 1983 and 1990. An Arts & Humanities Research Council award of £68,756 in 2000 enabled these analogue  recordings to be digitised. Access is limited to BUFVC members.28     Central/South England ILR 1975 to 1980 comprises 1,300 programmes broadcast by local commercial radio stations in  Hampshire & Dorset that had been deposited with the Wessex Film & Sound Archive. An Arts & Humanities Research  Council award enabled these analogue recordings to be digitised. Access is limited to BUFVC members.29     14  http://en.wikipedia.org/wiki/Mrs_Dale's_Diary  15  http://ukradioarchives.com/about/  16  Dr Ieuan Franklin & Dr Kristin Skoog, A Report On UK Radio Archives: Policy, Practice And Potential, February 2012, pp.6 & 7  17  Paul Wilson, Radio Broadcast Archiving & The Role Of The British Library, 21 November 2012, p.8  18  Ibid., p.9  19  http://en.wikipedia.org/wiki/BBC_Redux  20  Paul Wilson, op cit., p.9  21  Ibid.  22  http://bufvc.ac.uk/tvandradio/bob  http://bobnational.net/about  23  http://www.bl.uk/reshelp/findhelprestype/sound/radio/radio.html  24  http://www.bbc.co.uk/archive/  25  http://www.bbc.co.uk/news/entertainment‐arts‐19947124  26  http://worldservice.prototyping.bbc.co.uk/  27  http://bufvc.ac.uk/tvandradio/lbc/  http://www.bournemouth.ac.uk/imcr/cbhr/track‐record.html  28  http://bufvc.ac.uk/tvandradio/ilrsharing/  http://www.bournemouth.ac.uk/imcr/cbhr/track‐record.html  29  http://www.bufvc.ac.uk/tvandradio/ilrsouth/ 
  10. 10. 5. INTERNATIONAL RADIO ARCHIVES    Case studies  Internationally, a variety of approaches have been taken towards the archiving of broadcast radio output. This  diversity of approach provides a variety of useful contextual and factual background but does not contribute any  single pre‐existing system that might, with minor modifications, be imported for future UK use.    It should be noted that a formal scoping of all international broadcast radio archiving approaches was outside the  remit of this project. Members of the research team, in conjunction with British Library staff and other stakeholders,  identified particular jurisdictions that were considered to be of particular potential interest. These specific case  studies are summarised below:    Denmark  The Danish radio archive (from 1931 onwards) has been digitised through the LARM project which was run by the  University of Copenhagen. This multi‐disciplinary project looked at ways in which such a radio archive might be  studied and how in might be made more accessible through the use of various meta‐data and annotation approaches,  search tools and standards.    Reporting back on the project, organisers explained that over 700 researchers from various disciplines – including law,  theology, healthcare, sociology, anthropology, history, ethnology, language & cultural studies, media studies,  journalism, arts, psychology, mathematics and rhetorics – use the system.  According to analysis, about one third of  those registered are regular users, spending an average of 24 minutes per session browsing and listening to the  cultural history of radio. According to one of the project leaders "While historians still question the validity of auditive  [sic] sources, researchers within other fields of research seem less hesitant to use and explore the radio sources".    France  A system of legal deposit for radio programming has existed in France since 1992.  The Institut national de  l’Audiovisuel (INA)30  is charged with: "archiving broadcast material for preservation and further availability to  professionals only". By next year (2015), INA expects to have archived over 800,000 hours of radio from some twenty  radio stations.  Although INA accepts other contributions to its archives, there is no formal system for the capture and  storage of other local commercial and community‐based radio services. The key strength of INA appears to be its  development of marketing approaches to help finance its activities. Income from such sources grew by 23%.    Norway  The National Library is the institution of legal deposit for broadcast output in Norway. All public service radio content  (NRK) and all commercial radio broadcast outputs must be provided to the library, with all associated costs being  borne by the broadcaster concerned. Community‐based services are required to provide the library with one full week  of radio outputs each year.    Broadcasters make their output available on FTP servers, which are then retrieved by the library. Most services are  stored in 384 kbps Mpeg1 and the archive grows at a rate of approximately 40TB per year. The system creates a  working copy of the archive using a disk‐based system and this is mirrored onto dual robotic SAM‐FS tape systems  provided by Oracle / SUN, each currently holding about four petabytes of data. Annual storage costs (including  investment, write‐down, man‐hours, support and operational costs) are approximately £450 per terabyte.    Republic of Ireland  Although statutory recognition of the archiving role of the country's public service broadcaster Raidió Teilifís Éireann  (RTÉ) dates back as far as 1963, it was not until the implementation of the 2009 Broadcasting Act that the  Broadcasting Authority of Ireland (BAI) was specifically mandated to develop a wider archive.31  The BAI specifically  notes that: "the absence of a national audio‐visual archiving policy and/or of a centralised repository has meant that a  lot of broadcast material has effectively disappeared".    At present, the BAI is commissioning a variety of third parties to develop approaches to the archiving of broadcast  materials, the key objective being to develop an integrated approach to the archiving of programme material  produced in the State and to promote the development and safeguarding of Ireland‘s broadcasting heritage. The  Authority also recognises the importance of developing suitable storage processes and formats, and is particularly  concerned to encourage and assist bodies in the restoration and/or storage of material recorded on failing, or soon to  be obsolete, formats. Finally, the BAI wants resultant archives to be used effectively and wants to provide for fast and  page 10 of 25 
  11. 11. page 11 of 25  accurate access to programme materials by interested parties and to raise public awareness in the preservation and  use of broadcast archive materials.    United States of America  Radio broadcasting in the US is regulated by the Federal Communications Commission (FCC). Whilst individual stations  may choose to capture and archive their programmes, there is no legal or regulatory requirement for this and there is  no central depository for such material.    When contacted, the Library of Congress explicitly stated: "There is no national policy about capturing or preserving  radio broadcasts in the United States". However, Section 407(e) of current US Copyright Law does entitle the Library  to capture unpublished broadcasts by off‐air recording. 32  This is currently limited to web‐capture of a small number of  political talk shows only.    30  Limited Information is available in English at: http://www.institut‐national‐audiovisuel.fr/en/home  31  Copyright Act, 1963.  Sections 12 (9) and 17 (13) made specific reference to recordings being preserved in the archives of Radio Éireann‘, which  were designated official archives for that purpose.  32  US Government, 2011.  Circular 92, Copyright Law of the United States and Related Laws  Contained in Title 17 of the United States Code  (December 2011). Washington DC. (Page 148). 
  12. 12. 6. STAKEHOLDERS    As part of its proposals for a national radio broadcast archive, the British Library suggested a range of potential  benefits for stakeholders beyond the research and education communities:33      Resolution of "the intractable radio industry problem of long‐term [programme] retention/preservation"   Funding from "contributions of voluntary industry users and/or a levy controlled by the industry regulator"   "Compliance with Ofcom's 42‐day retention requirement [for licensees], eliminating the need for stations to make  their own recording arrangements"   Ofcom enabled "to directly monitor station output"   "A near‐instant access facility for stations wishing to re‐transmit or re‐use [their own] programming"   "An online portfolio for companies wishing to showcase production for purposes of syndication/licensing/sharing"   "A central online content uploader for industry events such as Sony Radio Awards"   "The non‐BBC radio industry" could "draw upon a major archival media resource for use in new production"   "It would facilitate sharing arrangements between stations"   "Stations would be freed of the need to keep track of their own output …"   "[Stations] would no longer risk losing access to their content when stations changed hands or closed down"   "An opportunity to implement 'listen‐again' for the entire radio industry, not just the BBC"   "New revenue streams will be created for stations and independent producers through the opportunity to  showcase their best work to the wider industry".    We explored these potential opportunities and canvassed a wide variety of stakeholder opinion for this project. The  British Library had already received support for the initiative from the BBC, RadioCentre, the Community Media  Association and Ofcom.34     We addressed the following written questions to stakeholders:    1. Does your organisation support the British Library proposal to create an archive of UK radio broadcasts?    2. Would your organisation have reasons to make use of such an archive of UK radio broadcasts?    3. If so, would your organisation consider contributing financially to the creation of such an archive of UK  radio broadcasts?    4. Are there other ways in which your organisation could contribute to the creation of such an archive of UK  radio broadcasts?    5.  Are there any issues concerning the creation of a UK radio archive upon which your organisation would  wish to raise or offer your expert opinion?    Stakeholder responses are summarised below:    ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐  British Library  Paul Wilson, Radio Curator, outlined the public benefits of creating a national radio archive within his proposals for  the project. 35  The British Library believes that it is the appropriate institution to take the lead role in the project  because of:   Its established role as the National Sound Archive   Its leading role in the development of archival practice, standards and access   Its developed systems for traditional audiovisual media archiving   Its excellent facilities for on‐site listening and research.36     British Broadcasting Corporation (BBC)  The British Library received a statement of support for the project in 2013 from Jane Plester, Head of Archive  Development & Partnerships at BBC Information & Archives. She noted:    page 12 of 25 
  13. 13. "Whilst the BBC's own radio output is already professionally archived, this plan seeks to establish a systematic  approach to archiving the whole spectrum of UK radio, including community and commercial services for  which archival provision is poor".37     Department for Culture, Media & Sport (DCMS)  Ian O'Neill, Programme Director of Radio, responded verbally that, whilst his Department supported the general  proposal, he could not comment on the specific questions asked of stakeholders.    Joint Information Systems Committee (JISC) / British Universities Film & Video Council (BUFVC)  Virginia Haworth‐Galt, Chief Executive of BUFVC, responded that "such an archive of UK radio broadcasts would be  welcome" and that "BUFVC would be willing to work closely with the British Library to further develop this idea". She  noted:    "This is an area BUFVC does have a strong track record and recognised expertise in and we would want to  ensure that we were strategically involved in the development of this".38     Radio Academy  Paul Robinson, Chief Executive, responded positively to the request for comments, but had not provided specific  feedback by the time this report was completed.39     RadioCentre  Matt Peyton, Director of External Affairs, wrote a letter of support to the British Library in 2013:    "The goal of a centrally accessible digital radio archive which is a representative record of UK broadcasting is  potentially an important step, and one which commercial radio supports …".40     Asked if RadioCentre would consider contributing financial support, Ben Walker, External Affairs Manager, responded  in 2014:    "… it would be more appropriate for these [commercial radio] companies to consider whether to invest in the  archive, as owners of the content. More specifically, the BBC, which is funded by the licence fee and has public  purposes to promote education and deliver the benefit of communications technologies and services, seems  ideally placed to contribute funding to this project".41     He noted that RadioCentre could support the project "through our connections in Parliament – such as the  Commercial Radio All‐Party Parliamentary Group" and concluded:    "RadioCentre remains interested in the possibility of enabling our members to investigate ways of monetising  their recordings for public consumption once the archive is constructed".42     Radio Studies Network  Eleanor Shember‐Critchley, Chair, "wholeheartedly" supported the British Library proposal and suggested that the  Radio Studies Network could potentially contribute non‐financially through "small collaborative projects involving our  members", "events around the archive and its content" and "recording content for the archive".43     She asked "whether there is a reason pirate radio has not been included" in the archive plans because "for research  and historical purposes, the crossover of pirate to legal radio makes it an important area for the archive".44     Ofcom  Peter Davies, Director of Radio, expressed support for the project in 2012: "Ofcom is supportive of the initiative to  create a national radio archive and we wish you well in taking this forward".45     Community Media Association (CMA)  Bill Best, Acting Director, expressed support for the project in 2012:    "The Community Media Association supports the proposition that the British Library is recognised as the  National Radio Archive and we would welcome the opportunity to work with the Library to archive community  radio in the future". 46     page 13 of 25 
  14. 14. RadioMonitor  Philip von Oppen, Co‐founder, responded that he supported the British Library proposal.47     United Kingdom Radio Archives Advisory Committee (UKRAAC)  Hugh Chignell, Chair of UKRAAC, responded:    "We fully support this proposal because it will ensure the capture of an important part of UK culture and act  as a record of different aspects of life in the UK. The digitised content will be of use to researchers and others  working across a wide range of areas of interest. … We also believe that it would stimulate further research  in, and engagement with, our world‐leading radio heritage which has been neglected in the past".48     UK RadioPlayer  Michael Hill, Managing Director, responded that he supported the British Library proposal "but only if it's useful and  useable" through the archived content being "easily searchable, taggable and accessible to the public".49     He suggested: "With the agreement of the broadcasters, we could offer a single API [to British Library] for the streams  and metadata from 370 licensed radio stations".50     Representative regional, local, and community UK radio stations  William Rogers, Managing Director of UKRD Group Limited which owns 17 local commercial radio stations across the  UK, supported the British Library proposal and commented that his company could "possibly" have reasons to use the  archive. Asked about a possible financial contribution, he noted:    "Possibly, if it were confirmed that we would have the right and entitlement to user any or all of its content  and, of course, subject to the level of contribution required".51     David Lloyd, Group Editorial Director of Orion Media which owns five local/regional commercial radio stations in the  Midlands, responded that the company "would accordingly support the maintenance of contemporary recordings of  both music and talk programming". Although "it would be unlikely that we would have cause to make appreciable use  of this material as part of our everyday business", he suggested Orion could make "a very modest contribution, maybe  collected alongside other levies".52     Terry Lee, Co‐ordinator of community radio station RadioLaB based at the University of Bedfordshire in Luton,  "wholeheartedly" supported the British Library proposal and responded:    "I believe a historical archive of RadioLaB output would be extremely useful … Media and other students  would undoubtedly benefit greatly from access to a wide‐ranging broadcast radio archive".53     Michael Stonard, Chair of community station Future Radio in Norwich, supported the proposal, offered participation  in any future British Library trial and commented:    "Since the start of full‐time broadcasting some years ago, we have already 'lost' some valuable speech and  music‐based content. Although we store some of our output, we do not have the resources to store all our  output or to ensure that such storage is robust in the long term".54     The British Film Institute had not responded to requests for feedback by the time this report was completed.  ‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐    Across the board, the British Library initiative was supported by the organisations that had been consulted. In  discussion with stakeholders, and from their written responses, it became apparent that some stakeholder benefits  that had been anticipated by the British Library may not be so relevant to stakeholders. We explore these in turn.     Long‐term programme retention/preservation   An access facility for stations wishing to re‐transmit or re‐use their programming   A major archival media resource for use in new production by the non‐BBC radio industry   Stations no longer risk losing access to their content when stations change hands or close down    The BBC has created its own systems for long‐term archiving of its network radio output. The commercial and  community radio sectors have no archive system in place and there is little incentive because, at present, they make  page 14 of 25 
  15. 15. almost no use of archive materials. BBC radio programmes appear to hold greater intrinsic value to the BBC than  commercial radio programmes do to the commercial sector because:   Much output of BBC network radio is the result of significant production resources to create self‐contained, pre‐ recorded standalone programmes, whereas the majority of commercial radio output is produced live and  comprises recorded music interspersed with news, chat and timely information   The average content cost of BBC Radio 4 output exceeds £9,000 per hour, whereas the average content cost of  commercial radio output is £27 per hour, negating a financial incentive for commercial radio to re‐cycle its  output55    The commercial radio sector has not yet significantly monetised 'on‐demand' or downloaded programme content  due to music licensing restrictions and to the industry's perceived risk of cannibalisation of listening to its live  output, which remains key to its business model   Increasing de‐regulation of commercial radio formats by Ofcom has greatly reduced the volume of 'specialist'  programmes broadcast that might embody longer‐term value to audiences.    In the long run, we believe that the commercial and community radio sectors will be better able to exploit the long‐ term value of their outputs and will come to understand the economic advantage of an archive. However, that  realisation has not yet taken place and, we believe, the creation of the archive is likely to be a major catalyst that will  encourage such a change.     Funding of the archive from the radio industry and/or a levy controlled by the industry regulator    The present economic circumstances of the UK radio industry make it unlikely to contribute financially to the creation  of a UK radio archive:   The coalition government's 2010 BBC Licence Fee settlement has reduced the Corporation's income in real terms  whilst adding additional financial responsibilities   The commercial radio sector as a whole is loss‐making and the majority of commercial radio stations record an  operating loss56    Community radio stations are closing down, or not launching, as a result of the contraction of local authority  funding of arts and community projects.    The current financial situation of the radio sector also makes it unlikely that Ofcom would voluntarily levy an  additional charge on licensees to support the creation of a UK radio archive.     Radio stations are freed of the need to keep track of their own output   The archive provides compliance with Ofcom's 42‐day retention requirement, eliminating the need for stations  to record their output   Ofcom is enabled to directly monitor station output    Broadcasting regulations require Ofcom‐licensed radio stations to maintain a continuous recording of their  transmissions for 42 days. Whilst the prospect of a UK radio archive might initially appear to fulfil this purpose, it is  important to note that:   The contractual responsibility of a Ofcom radio licensee to record its broadcasting output cannot legally be  transferred to another party   The cost to a licensee of recording its broadcast output is minimal in terms of both capital outlay and overheads,  requiring only basic computer hardware and shareware   The low audio quality recordings made by the majority of stations are used solely for compliance purposes and  not for re‐cycling or re‐purposing their broadcast outputs   Ofcom can monitor almost all radio licensees' live output via the internet and, when it needs to monitor historical  output within the 42‐day window, it requests recordings from the licensee   Ofcom regularly imposes sanctions upon radio licensees that have failed to provide, on request, recordings of  their output within the 42‐day window.     An archive would facilitate sharing arrangements between stations   An opportunity to implement 'listen‐again' for the entire radio industry, not just the BBC    The recent initiative to create 'UK Radioplayer' demonstrated that the BBC, commercial and community radio sectors  can collaborate to create a 'joint' offering to consumers. We note that:  page 15 of 25 
  16. 16. page 16 of 25   The sharing of programmes between community radio stations is a potential activity in which the Community  Media Association is likely to be the significant catalyst   The sharing of programmes between competing commercial radio stations is unlikely due to the high  concentration of ownership within the sector   An industry‐wide 'listen again' offering is not easily achieved because the regulatory and music licensing  frameworks are very different for the BBC and non‐BBC sectors.     An online portfolio for companies wishing to showcase production for purposes of  syndication/licensing/sharing   A central online content uploader for industry events such as Sony Radio Awards   New revenue streams for stations and independent producers to showcase their best work to the wider  industry    These are potential, though peripheral, advantages that could accrue over the long term, once a UK radio archive is in  place.    33  Paul Wilson, Radio Broadcast Archiving & The Role Of The British Library, 21 November 2012, para.12.1, pp.15 & 16  Paul Wilson, British Library Proposal For A National Radio Archive, 27 February 2013, para.7, p.5  34  Paul Wilson, British Library Proposal For A National Radio Archive, 27 February 2013, para.5, p.3  35  Paul Wilson, Radio Broadcast Archiving & The Role Of The British Library, 21 November 2012  Paul Wilson, British Library Proposal For A National Radio Archive, 27 February 2013  36  Paul Wilson, British Library Proposal For A National Radio Archive, 27 February 2013, para.2, p.2  37  Jane Plester, BBC Information & Archives, letter to British Library re: BBC Statement of Support, 8 January 2013  38  Virginia Haworth‐Galt, British Universities Film & Video Council, e‐mail to Grant Goddard, 23 April 2014  39  Paul Robinson, Radio Academy, e‐mail to Grant Goddard, 23 April 2014  40  Matt Peyton, RadioCentre, letter to Paul Wilson, British Library re: RadioCentre support for British Library proposal for a national radio archive, 25  January 2013  41  Ben Walker, RadioCentre, e‐mail to Daniel Nathan, 11 April 2014  42  Ibid.  43  Eleanor Shember‐Critchley, Radio Studies Network, e‐mail to Grant Goddard, 29 April 2014  44  Ibid.  45  Peter Davies, Ofcom, e‐mail to Tony Stoller, UK Radio Archives Advisory Committee re: UKRAAC, 13 December 2012  46  Bill Best, Community Media Association, letter to Hugh Chignell, UK Radio Archives Advisory Committee, 6 November 2012  47  Philip von Oppen, Radiomonitor Limited, e‐mail to Daniel Nathan, 11 April 2014  48  Hugh Chignell, UKRAAC, e‐mail to Grant Goddard, 29 April 2014  49  Michael Hill, UK Radioplayer Limited, e‐mail to Daniel Nathan, 28 April 2014  50  Ibid.  51  William Rogers, UKRD Group Limited, e‐mail to Daniel Nathan, 11 April 2014  52  David Lloyd, Orion Media, e‐mail to Daniel Nathan, 8 April 2014  53  Terry Lee, RadioLaB, e‐mail to Grant Goddard, 29 April 2014  54  Michael Stonard, Future Projects, e‐mail to Grant Goddard, 30 April 2014  55  Grant Goddard, Independent Radio Productions Commissioned By The BBC, July 2010, Figure 19, p.37  56  John Myers, An Independent Review Of The Rules Governing Local Content On Commercial Radio, April 2009, pp.33‐34 
  17. 17. 7. BUSINESS CONTEXT    As part of its written proposal to create a national radio archive, The British Library noted that it:    "is currently permitted to record UK radio transmissions from air or satellite but not online …"57     The proposal suggested that recording from the online platform "would therefore require consent of some  broadcasters" though this was "not anticipated to be a significant hurdle".58     The Copyright, Designs & Patents Act 1988 specifically permits 'recording for archival purposes' by designated bodies  that include the British Library:    "A recording of a broadcast of a designated class, or a copy of such recording, may be made for the purpose  of being placed in an archive maintained by a designated body without thereby infringing any copyright in the  broadcast or in any work included in it."59     The same Act defines a 'broadcast' as:    "an electronic transmission of visual images, sounds or other information which:  (a) is transmitted for simultaneous reception by members of the public and is capable of being lawfully  received by them, or  (b) is transmitted at a time determined solely by the person making the transmission for presentation to  members of the public …"60     This definition of a 'broadcast' appears to exclude on‐demand programmes and podcasts, the transmission of which  are not made simultaneously to the public, and the time of reception of which are determined by the listener rather  than by the broadcaster.    The Act continues:    "Excepted from the definition of “broadcast” is any internet transmission unless it is:  (a) a transmission taking place simultaneously on the internet and by other means …"61     In this way, the definition of a 'broadcast' encompasses the simultaneous transmission of a broadcast via the internet  (referred to within broadcasting as a 'simulcast'). This extended definition of a 'broadcast' is evident in agreements  that permit broadcasters to use copyright works within their programmes.    Although it would be essential for the British Library to obtain qualified legal opinion, it would appear that the British  Library already has authority to record for archive purposes via the internet the live streams provided by broadcasters  of their over‐the‐air transmissions.    The potential to archive radio broadcasts from the internet, combined with the ability to archive radio broadcasts  from over‐the‐air transmissions, makes a significant difference to the architecture of the proposed system because:   Costs can be reduced significantly by archiving live broadcasts at fewer nodes connected to the internet, rather  than off‐air at hundreds of individual geographical locations within radio stations' service areas   The number of stations to be archived can be increased without significant incremental costs   The ingest audio format of archives created via the internet is limited by the codec of the specific audio stream  (there is no audio information gain from archiving a 128 kbps mono stream at 256kbps stereo).    57  Paul Wilson, British Library, British Library Proposal For A National Radio Archive, 27 February 2013, para. 5, p.3  58  Ibid.  59  Copyright, Designs & Patents Act 1988 c.48, Part 1, Chapter III, Section 75, para.1 [as amended by The Copyright & Related Rights Regulations  2003]  60  Copyright, Designs & Patents Act 1988 c.48, Part 1, Chapter I, Section 6, para.1 [as amended by The Copyright & Related Rights Regulations 2003]  61  Copyright, Designs & Patents Act 1988 c.48, Part 1, Chapter I, Section 6, para.1(A) [as amended by The Copyright & Related Rights Regulations  2003]  page 17 of 25 
  18. 18. 8. TECHNICAL SOLUTIONS    In its proposals, the British Library suggested a number of possible technical approaches to the creation of an archive  of UK radio broadcasts. These included:     Self‐selected archiving  Radio stations would be asked to select and submit "the best of independent and community radio" programmes to an  online British radio archive.62      British Library 'Video Server'  The British Library's 'Video Server' currently records selected radio news transmissions. This activity could be extended  to record a wider range of radio via DAB and/or Freeview.63      Partnership with BUFVC  A partnership or agreement with BUFVC to extend the scope of its 'BoB National' programme recording system.64      Radio monitoring services  Existing services such as 'UK Radioplayer' or RadioMonitor that already aggregate streams or record station outputs  could provide long‐term technical solutions to create an archive.65      BBC 'Redux'  Development of the BBC Redux system, which is already available to users of 'BoB National' and the BFI video  archive.66     In its 2013 proposal for a radio archive, the British Library concluded that:    "The broadcasting monitoring service RadioMonitor is the preferred solution" because " … [it] is already used  by much of the UK radio industry for compliance purposes, and has the technology, contacts and  understanding of how UK radio operates all in place".67     We explore these possible options (and others) in turn, starting with the British Library's preferred solution.    RadioMonitor  RadioMonitor Limited is a commercial business launched in 2002 that records the live outputs of radio stations,  identifies the content used (particularly the recorded music) and sells reports of these aggregated data to its clients.  The majority of the clients are music copyright owners, although some radio station owners subscribe in order to  monitor the content broadcast by their competitors.    The company's main product is its audit of content used in radio broadcasts, rather than the audio broadcast by radio  stations. RadioMonitor has installed automated listening stations across the country that record over‐the‐air  broadcasts by local radio stations in each area. The audio is recorded to a local drive with 32kbps mp3 codec and then  downloaded periodically to a central server via IP, prior to content analysis.    RadioMonitor's existing system appears unsuitable for creating a radio archive because:   The present audio recording quality is poor for archival purposes   Insufficient listening stations currently exist to capture the majority of the UK's 700 radio stations   The capital costs of building additional listening stations, and of modifying all the existing sites to record at a  significantly higher audio quality, would be high (Nick Prater, one of the co‐founders of RadioMonitor, recently  estimated £2,000 per new site and £500 per site for modifications)   Infrastructure upgrades would be required to stream higher bit‐rate content from each listening station to the  central server   The infrastructure is designed to record over‐the‐air broadcasts rather than internet streams.    UK Radioplayer  UK Radioplayer is a non‐profit partnership between the BBC and commercial radio companies that launched an online  consumer application in 2011 to listen to live broadcasts of UK radio stations. The software does not serve radio  streams to users directly, but instead directs them to each station's stream address, which is played within a  standardised application window.  page 18 of 25 
  19. 19.   Although UK Radioplayer's lack of an ingest system preclude it archiving live radio content, its automatically updated  database of radio station live audio stream addresses make it a very useful component for an ingest system. Managing  Director Michael Hill has suggested that this database could be made available to a British Library radio archiving  project via the existing API. Already listed are all BBC stations, almost all commercial stations and an increasing  number of community stations.    BBC Redux  The ingest system for the BBC Redux system records more than 100Mbps continuously from DVB‐T and DVB‐S tuner  cards that capture over‐the‐air Freeview and Freesat television and audio channels. These are archived as individual  MP2 files without conversion or transcoding during extraction from the original multicast streams. The system was  developed as the proof of concept for the BBC iPlayer Flash version.68     Although Redux is the best UK example of a large‐scale, multiple‐channel continuous ingest system, its inputs are  over‐the‐air broadcast signals rather than IP streams.    Bill Thompson, BBC Head of Partnership Development, told us:    "I'm not sure there is an ideal solution currently. ... They (BBC Redux, Snippets etc) have been developed for  particular purposes. This is an opportunity to step back. ... What are the real things we want from a  functioning system? First, have a functional specification for the (national radio)archive without thinking  about the technology that will deliver it. Then look around and see if there is anything off‐the‐shelf”.    As Bill Thompson pointed out, the BBC systems could not be repurposed or extended to create a national radio  archive.    BUFVC 'BoB National'  The ingest system for Bob National similarly records DVB‐T over‐the‐air Freeview broadcast channels. This technology  was first developed by commercial business Cambridge Imaging Systems Limited for use by the BBC Monitoring  Service in order to record multiple incoming over‐the‐air broadcasts for subsequent analysis.    We discussed with the company the possibility for it to modify its technology to ingest IP streams rather than  broadcast signals. However, Cambridge Imaging Systems decided it had no interest in pursuing the potential.    However, BUFVC has indicated that it would be interested in working with the British Library to create the radio  archive, offering potential for collaboration. Its TRILT system is the most developed, aggregated source of UK  television and radio programme data currently available to the British Library, though the database does not ingest  audio. The significant volume of additional radio metadata that the proposed radio archive would produce could, in  turn, be ingested into an expanded radio data repository within TRILT.    British Library 'Video Server'  Video Server was launched in 2010 as the British Library's digital video management system. Recordings of television  and radio news programmes are presently made from Freeview over‐the‐air transmissions. It remains to be explored  whether the existing technology could potentially be adapted to ingest continuous audio streams, rather than specific  programmes, via IP rather than from over‐the‐air signals.    Self‐selected archiving  Unfortunately, the historical failure to create comprehensive UK radio transmission archives, even within an  organisation as large as the BBC, would seem to militate against a voluntary, self‐archiving system succeeding. The  range and scale of radio's outputs, where the output to cost ratio is a huge multiple of that achieved by television,  necessitates a more systematic 'top‐down' approach to archiving.    The BBC is the only radio broadcaster with sufficient scale or purpose to keep contributing to an indexed archive of  ‘programme collections’ from national networks in an ordered and consistent way, while the remainder of broadcast  radio would continue to disappear post‐transmission. A limited, though curated, archive of this sort would include  national news bulletins or ‘The Archers’, but almost all commercial radio output would be lost.    David Lloyd, Group Programme Director of Orion Radio suggested:    page 19 of 25 
  20. 20. “Typical breakfast shows from the commercial sector are a great – and often overlooked – way of summing  up a time and place in history, from the changing talk topics to listener dialects and presenter style”.    Suggested technical approach  Having explored existing UK broadcast archiving systems, as well as some of their overseas counterparts, through  consultations and hands‐on experience, we concluded that a 'modular' technical approach structured as a set of APIs  (application programme interface) could offer the best solution for the British Library, rather than a single integrated  end‐to‐end system.    Our approach was usefully informed by the experiences of the R&D project team for the BBC World Service Radio  Archive which, with a tight deadline and limited budget, succeeded in making publicly available the station's entire 45‐ year archive of 50,000 radio programmes that totalled 500TB of audio files. The team used a range of existing open  source software to tackle individual processes, evaluating the performances of competing solutions to determine the  best results from the source material. Coding work was reduced to writing APIs' that parsed the outputs of one  process into the inputs of the next process in the chain. Detailed technical documentation produced by the BBC team  provides a significant 'case study' relevant to the British Library project.69     The 'modular' approach breaks down the work involved in creating a functioning radio archive into its constituent  elements:   1. Ingest   2. Storage   3. Metadata generation   4. User access.  Each is considered in turn.      1. INGEST  Ingest of live radio broadcasts is possible from:   Freeview or Freesat transmissions carry only 24 and 38 respectively of the required 700 radio channels 70    FM, AM and DAB transmissions necessitate 'listening stations' to be located across the UK   Arqiva transmission centres distribute high quality radio programmes to transmitter masts, but only for the  largest commercial stations71    Internet streams of live radio station broadcasts ('simulcasts') are available for almost all radio stations of all  types.    Our recommendation is that internet streams are used for ingest. Not only are they available publicly via a single node  for the majority of stations, but significant amounts of content metadata are embedded by broadcasters within their  IP streams (unlike radio broadcast transmissions).    Databases of UK radio station stream IP addresses are maintained by UK Radioplayer. Managing Director Michael Hill  has suggested that this database could be made available to a British Library radio archiving project via the existing  API. It should also be noted that similar services are provided by an increasing number of commercial applications and  by 'hobby' web sites such as RadioFeeds.72  In the long term, an application’s existence is not guaranteed and so the  data collection should be via a generic set of tools which can be adapted for any input type.    Commercial ingest applications are available that record multiple sources to disc. Actus Digital provides a software  solution used by many customers worldwide, including Sky in the UK to archive its 100 channels for compliance  purposes, and the Slovenian media regulator to archive 400 TV and radio channels. Media monitoring companies also  use the software to identify coverage for their clients.73     Many 'freeware' applications exist that 'rip' multiple internet audio streams to hard drives, but the objective of many  is to facilitate illegal music downloading.74  Another option is for the British Library to develop its own ingest solution  using open source software such as 'Liquidsoap' which is designed to ingest streams from remote sources and output  them to local files.75     Our recommendation is that these ingest solutions be explored in more detail, possibly commencing with working  demonstration of existing open source and commercial vendor offerings side‐by‐side (for example, archiving a sub‐set  of  radio stations from IP streams) in order to evaluate their capabilities.    page 20 of 25 
  21. 21.   2. STORAGE  The British Library proposal estimated that 200TB per annum of storage would be required to record the outputs of all  UK radio stations.76  It suggested two potential storage options:     British Library 'Digital Library System'  The British Library suggested that its existing storage system "might not be a solution" because of "the huge volumes  being constantly generated and the need to serve radio industry objectives of immediate remote access and retrieval  of own content".77      Cloud storage  The British Library noted that "online (possibly cloud) storage would provide the flexibility needed and facilitate ingest  and access. Online storage and delivery also opens up to [the radio] industry the possibility of linking an in‐demand  service to it".78     It is estimated that a continuous archive of 600 live, linear radio stations 'simulcasting' 24 hours a day, using an  average bit rate of 64kps, would require around 200 terabytes of storage for the first full year.    Cloud storage costs have been falling sharply over the last two years and look set to fall further as a result of fierce  competition between Amazon Web Services, Google Cloud Platform and Microsoft Azure.    In May 2014, Amazon S3 standard access storage with full redundancy costs £215 per terabyte per annum. Storage of  200 terabytes would total £43,000. Google Cloud costs £185 per terabyte per annum. Storage of 200 terabytes would  total £37,000. Amazon's 'Glacier' deep storage with delayed four‐hour access costs £78 per terabyte per annum.  Storage of 200 terabytes would total £15,600. These figures do not include data transfer costs.    Our recommendation is to retain a master copy of the data in ‘cold’ storage within the DLS, mirrored in the Cloud for  day‐to‐day British Library reading room access and, potentially, commercial or public use. The performance and total  costs of these storage solutions should be investigated further as part of a working trial (for example, archiving a sub‐ set of radio stations from IP streams) in order to evaluate capabilities.      3. METADATA EXTRACTION  The British Library proposal suggested that the implementation of speech‐to‐text and music recognition technologies  would greatly enhance the discovery of items within the radio archive.79     The volume and quality of metadata embedded within the ingested audio stream delivered by IP is dependent upon  each radio station's commitment to input useful data. Large organisations such as the BBC have sufficient production  resources to generate programme descriptions, running orders and 'tags'. Community radio stations are less likely to  provide much or any metadata.    Unless a system to create an additional layer of post‐archive metadata extraction is established, BBC content would be  likely to appear more regularly in users' search results of the radio archive, whilst content from many commercial and  community radio stations would remain undiscovered because it has far less detailed or in some cases no metadata  attached.    As the British Library had suggested, separate systems will be necessary to analyse the archived radio content:   Analysis of speech content to produce a draft transcript, followed by analysis of the transcript to generate  metadata tags   Analysis of music content to identify commercially available recorded music.    Both types of analyses can be achieved using any number of competing open source or proprietary applications. These  technologies are constantly evolving and improving, and are likely to have varying efficacies with different input  materials (for example, much speech on commercial radio is broadcast over music, whereas speech on BBC Radio 4 is  mostly over 'dead air').    Music identification applications are presently offered by companies such as Gracenote, Echonest, RadioMonitor,  Soundmouse, MusicBrainz. Speech‐to‐text recognition software is available from Google, Apple, Microsoft and  page 21 of 25 
  22. 22. page 22 of 25  Nuance Communications amongst others. The 'commoditisation' of these services would enable them to be deployed  to extract metadata from the archive according to which is most effective.    As an example, open source 'CMU Sphinx‐3' speech‐to‐text software and DBpedia were used to generate metadata for  the BBC World Service Radio Archive. The 26,280 hours of audio were processed in 36,729 compute hours on "small"  cloud machines, at a cost of about £1,775 over a two‐week period, using an API built to manage the process.80     Our recommendation is that an additional tier of metadata will need to be extracted from the archived radio content  to enhance user searchability. A practical experiment will prove necessary to determine the success rates of  competing speech‐to‐text‐to‐metadata and music identification systems when applied to different types of radio  output, as well as the computing resources required and the costs involved.      4. USER ACCESS  The British Library proposal suggested ways in which researchers might access the radio archive:   "Search could be restricted to the schedule data (refinements by station, date range, region, etc.)"   "Users could opt to search speech content either through real‐time search of the live online archive, or through a  databank of pre‐processed content and its time‐linked (aligned) metadata"   "Users [could] instantly identify relevant subject content … and to call up audio clips immediately"   "The researcher would also see a capsule of transcribed text to enable rapid visual scanning of the ranked results  for relevance".81     Of the user interfaces for broadcast archives with which we had hands‐on experience for this project, we concluded  that 'BBC Snippets' came closest to a relevant template for user access. Created by BBC R&D, Snippets enables staff to  locate programmes, and content within programmes, using precise keyword searches, and results can be filtered by  genre, date and other 'facets'.82     Impressively, any word spoken in any BBC television programme since 2007 is searchable in Snippets as a result of  subtitle metadata captured by the BBC Redux ingest system having been converted into verbatim transcripts for each  show. Sadly, the searchability of BBC radio programmes is limited to the full‐length programme descriptions created  by each station, because transcripts do not exist.83     Given that users of the radio archive will be academics and British Library users, the appropriate facilities for the user  interface would be:   Electronic Programme Guide  o Selected dates and times  o Selected stations or groups of stations  o Viewing by grid (time horizontal) or list (time vertical)  o Programmes highlighted by genre   Search  o Free text search in title, description, metadata  o Selected date and time ranges  o Selected stations or station types  o Programme genres  o Full Boolian search functions and saved searches   Listening  o An HTML5 or Flash player  o Ability to 'clip' programme segments  o Bookmarks   Crowdsourced metadata  o User input & amendments    Our recommendation is that a user interface is developed for the radio archive that adapts and develops the  innovative R&D work evident in 'BBC Snippets', potentially in collaboration with the BBC.     62  Paul Wilson, Radio Broadcast Archiving & The Role Of The British Library, 21 November 2012, para.12.1.1, p.16  63  Ibid., para.12.1.2, p.16  64  Ibid., para.12.1.2, p.16  Paul Wilson, British Library Proposal For A National Radio Archive, 27 February 2013, para.5, p.3 
  23. 23. 65  Paul Wilson, Radio Broadcast Archiving & The Role Of The British Library, 21 November 2012, para12.2, p.16  66  Paul Wilson, British Library Proposal For A National Radio Archive, 27 February 2013, para.3, p.2  67  Ibid.  68  http://en.wikipedia.org/wiki/BBC_Redux  69  Tristan Ferne, BBC R&D, Analysing Media In The Cloud: An Experiment And A Marketplace, presentation, [undated]  Yves Raimond, Chris Lowis & Roderick Hodgson, BBC R&D with Jonathan Tweed, MetaBroadcast, Automted Semantic Tagging Of Audio Speech,  April 2012  Georgi Kobilarov, Tom Scott, Yves Raimond, Silver Oliver, Chris Sizemore, Michael Smethurst, Christian Bizer & Robert Lee, Media Meets Semantic  Web – How The BBC Uses DBpedia And Linked Data To Make Connections, 2009  Y Raimond, M Smethurst, A McParland & C Lewis, BBC R&D, Using The Past To Explain The Present – Interlinking Current Affairs With Archives Via  The Semantic Web, BBC R&D White Paper WHP 260, August 2013  Yves Raimond & Tristan Ferne, BBC R&D, The BBC World Service Archive Prototype, [undated]  Yves Raimond & Chris Lowis, BBC R&D, Automated Interlinking Of Speech Radio Archives, April 2012  Sofia Angeletou, Michael Smethurst & Jeremy Tarling, BBC R&D, Opening Up The BBC's Data To The Web, position paper, April 2013  Tristan Ferne, Crowdsourcing The World Service Radio Archive: An Experiment From BBC R&D, BBC online blog, 24 September 2013  Dominic Tinley, ABC‐IP And Work On Audio Archiving Research, BBC R&D online blog, 8 November 2011  Yves Raimond, Automatically Tagging The World Service Archive, BBC R&D online blog, 20 March 2012  Yves Raimond, The World Service Archive Prototype, BBC R&D online blog, 29 November 2012  Andrew Nicolaou, Developing The World Service Archive Prototype, BBC R&D online blog, 29 November 2012  Pete Warren, Developing The World Service Archive Prototype: UX, BBC R&D online blog, 29 November 2012  http://worldservice.prototyping.bbc.co.uk/about  70  http://www.freeview.co.uk/whats‐on/channels  http://www.freesat.co.uk/channels  71  http://www.arqiva.com/radio/  72  http://www.radiofeeds.co.uk/  73  http://www.actusdigital.com/  74  http://streamwriter.org/en/  http://www.stationripper.com/  http://wmrecorder.com/products/wm‐recorder/  http://www.radioget.com/  http://www.voicecti.com/telephony‐product‐detail/63/vrs‐recording‐system‐radio‐multiple‐stations  75  http://savonet.sourceforge.net/  76  Paul Wilson, British Library Proposal For A National Radio Archive, 27 February 2013, para.4, p.3  77  Ibid.  78  Ibid.  79  Ibid., para.6, p.4  80  Tristan Ferne, BBC R&D, Analysing Media In The Cloud: An Experiment And A Marketplace, presentation, [undated]  81  Ibid., para.6, p.4  82  http://www.bbc.co.uk/rd/projects/snippets  83  http://newshack.co.uk/newshack‐2013/tech‐talks/bbc‐rd‐snippets/  page 23 of 25 
  24. 24. page 24 of 25  9. COSTS    The costs involved in creating a radio archive have proven impossible to determine within the short timeframe of  preparing this report.    It is evident that there is no single, end‐to‐end solution available to the British Library that might have been simple to  cost. Instead, each stage within the technical execution of the project is likely to require an individual solution, some  of which may be open source, and some of which may be proprietary. Potential solutions could require partnerships  to be created with organisations such as the BBC or BUFVC.    Our recommendation is that the long‐term costs would become more evident if a short‐term pilot project to test  some of the possible technical solutions were to be initiated by the British Library.    What is evident is that the real costs of a radio archiving project are declining over time.     
  25. 25. 10. RECOMMENDATIONS    In its 2012 paper, the British Library made four key recommendations:     It should lead a national review of UK radio archiving undertaken through the UK Radio Archive Advisory  Committee   It should work with the BBC and other partners to record Freeview digital radio at low cost in the same way that  the BFI is archiving television output   It should launch a 'community radio pilot project' to archive 20,000 hours of community radio live output over  two years   A business case for the previous two recommendations would be drafted.84     Our research has explored and developed these themes to determine the feasibility of establishing a UK radio  broadcast archive.    The apparent lack of a single end‐to‐end technical solution necessitates a more sophisticated approach to combine a  range of solutions applied to specific component tasks. However, there is a paucity of evidential data to determine the  competence of particular software or hardware within a radio archiving environment.    Following investigation of the issues involved, we make the following recommendations:     Further research is required to explore available options for individual software and hardware solutions for each  process: ingest, storage, metadata generation and user access     A small‐scale pilot scheme should adopt a sufficiently flexible approach to explore any number of approaches to  each of these processes, with the ability to react to the changing technological environment     Evaluation of the outcomes of a small‐scale pilot scheme will provide valuable insights into the relevance and  effectiveness of competing solutions     Concrete recommendations will follow for a system that can accommodate the broad scope of UK radio  broadcasting in its entirety     It would be prudent to work with radio stations that have specifically expressed an interest in contributing to the  archiving process     Collaboration should be explored with potential partners such as the BBC and BUFVC that can share their R&D  skills     International approaches to radio archiving should be explored in more detail because useful economies of scale  could result from collaboration.    84  Paul Wilson, Radio Broadcast Archiving & The Role Of The British Library, 21 November 2012, para.1, p.2  page 25 of 25 

×